A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X | Y | Z | AA | AB | |
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
1 | team | run | runtype | p@5 | ndcg@10 | map | bpref | contributed judgments | link | TREC-COVID: Effectiveness of Top-scoring Round 1 Runs | ||||||||||||||||||
6 | sabir | sab20.1.meta.docs | automatic | 0.78 | 0.608 | 0.3128 | 0.4832 | yes | report | become available, but the Round 1 scores are "fixed". The new judgments will | ||||||||||||||||||
8 | GUIR_S2 | run2 | automatic | 0.6867 | 0.6032 | 0.2601 | 0.4177 | no | report | 3. The pools used to make these judgments were quite shallow compared to normal | ||||||||||||||||||
10 | IRIT_markers | IRIT_marked_base | automatic | 0.72 | 0.588 | 0.2309 | 0.4198 | yes | report | NDCG scores are subject to change. | ||||||||||||||||||
12 | CSIROmed | CSIROmedNIR | automatic | 0.66 | 0.5875 | 0.2169 | 0.4066 | no | report | Other Notes: | ||||||||||||||||||
17 | IRIT_markers | IRIT_marked_un_pair | automatic | 0.7333 | 0.5859 | 0.2481 | 0.4299 | no | report | |||||||||||||||||||
18 | IRIT_markers | IRIT_marked_mu_pair | automatic | 0.6867 | 0.5813 | 0.2415 | 0.4209 | no | report | Full Round 1 Archive: | https://ir.nist.gov/covidSubmit/archive/archive-round1.html | |||||||||||||||||
19 | unipd.it | base.unipd.it | automatic | 0.7267 | 0.572 | 0.2081 | 0.3782 | no | report | |||||||||||||||||||
22 | udel_fang | udel_fang_run3 | automatic | 0.6333 | 0.537 | 0.2973 | 0.4538 | no | report | |||||||||||||||||||
23 | uogTr | uogTrDPH_QE | automatic | 0.64 | 0.5338 | 0.2563 | 0.4386 | yes | report | |||||||||||||||||||
24 | uogTr | uogTrDPH_QE_QQ | automatic | 0.64 | 0.5338 | 0.2563 | 0.4386 | no | report | |||||||||||||||||||
25 | unique_ptr | UP-rrf5rnd1 | automatic | 0.68 | 0.5316 | 0.247 | 0.3983 | yes | report | |||||||||||||||||||
26 | BioinformaticsUA | BioinfoUA-emb | automatic | 0.6333 | 0.5298 | 0.1903 | 0.353 | yes | report | |||||||||||||||||||
27 | UIowaS | UIowaS_Run3 | automatic | 0.6467 | 0.5286 | 0.2625 | 0.4686 | yes | report | |||||||||||||||||||
28 | covidex | T5R1 | automatic | 0.6467 | 0.5223 | 0.1919 | 0.2838 | yes | report | |||||||||||||||||||
29 | azimiv | azimiv_wk1 | automatic | 0.6067 | 0.5219 | 0.2351 | 0.4017 | yes | report | |||||||||||||||||||
31 | covidex | T5R3 | automatic | 0.6333 | 0.5124 | 0.2111 | 0.3503 | no | report | |||||||||||||||||||
32 | sabir | sab20.1.merged | automatic | 0.6267 | 0.5115 | 0.241 | 0.4819 | no | report | |||||||||||||||||||
33 | UIowaS | UIowaS_Run2 | automatic | 0.6467 | 0.5089 | 0.231 | 0.4376 | no | report | |||||||||||||||||||
34 | smith | smith.rm3 | automatic | 0.6467 | 0.5087 | 0.2844 | 0.4669 | yes | report | |||||||||||||||||||
36 | uogTr | uogTrDPH_prox_QQ | automatic | 0.62 | 0.508 | 0.2362 | 0.3981 | no | report | |||||||||||||||||||
37 | UIowaS | UIowaS_Run1 | automatic | 0.5933 | 0.5048 | 0.22 | 0.4231 | no | report | |||||||||||||||||||
38 | unipd.it | 10x20.prf.unipd.it | automatic | 0.66 | 0.5031 | 0.1899 | 0.4261 | yes | report | |||||||||||||||||||
39 | cord19.vespa.ai | bm25t5 | automatic | 0.58 | 0.4952 | 0.2243 | 0.3894 | yes | report | |||||||||||||||||||
40 | Elhuyar_NLP_team | elhuyar_rRnk_cbert | automatic | 0.6133 | 0.4864 | 0.2093 | 0.4066 | yes | report | |||||||||||||||||||
41 | BioinformaticsUA | BioinfoUA-noadapt | automatic | 0.5867 | 0.4858 | 0.1942 | 0.3745 | no | report | |||||||||||||||||||
42 | udel_fang | udel_fang_run1 | automatic | 0.6133 | 0.4838 | 0.256 | 0.4161 | no | report | |||||||||||||||||||
44 | unique_ptr | UP-cqqrnd1 | automatic | 0.5933 | 0.4753 | 0.2136 | 0.3782 | no | report | |||||||||||||||||||
45 | IRLabKU | KU_run1 | automatic | 0.5933 | 0.4693 | 0.2205 | 0.3814 | no | report | |||||||||||||||||||
46 | IRLabKU | KU_run3 | automatic | 0.5667 | 0.467 | 0.2116 | 0.3787 | yes | report | |||||||||||||||||||
47 | Technion | Technion-RRF | automatic | 0.5933 | 0.4599 | 0.2236 | 0.4066 | no | report | |||||||||||||||||||
49 | Technion | Technion-MEDMM | automatic | 0.5867 | 0.4527 | 0.2307 | 0.4143 | no | report | |||||||||||||||||||
51 | unipd.it | 10x10.prf.unipd.it | automatic | 0.5867 | 0.4493 | 0.1828 | 0.4102 | no | report | |||||||||||||||||||
52 | KoreaUniversity_DMIS | dmis-rnd1-run1 | automatic | 0.5867 | 0.4467 | 0.1202 | 0.2791 | no | report | |||||||||||||||||||
53 | Elhuyar_NLP_team | elhuyar_indri | automatic | 0.5533 | 0.4442 | 0.1867 | 0.3906 | no | report | |||||||||||||||||||
54 | Elhuyar_NLP_team | elhuyar_rRnk_sbert | automatic | 0.5867 | 0.4401 | 0.1893 | 0.3938 | no | report | |||||||||||||||||||
56 | ixa | ixa-ir-filter-query | automatic | 0.5667 | 0.44 | 0.1965 | 0.4 | yes | report | |||||||||||||||||||
57 | VirginiaTechHAT | baseline | automatic | 0.6067 | 0.4386 | 0.215 | 0.4254 | yes | report | |||||||||||||||||||
58 | Technion | Technion-JPD | automatic | 0.58 | 0.4375 | 0.1988 | 0.389 | yes | report | |||||||||||||||||||
60 | OHSU | OHSU_RUN1 | automatic | 0.5067 | 0.4311 | 0.2525 | 0.4251 | no | report | |||||||||||||||||||
61 | smith | smith.ql | automatic | 0.56 | 0.4261 | 0.22 | 0.4022 | no | report | |||||||||||||||||||
62 | smith | smith.bm25 | automatic | 0.5467 | 0.4118 | 0.2181 | 0.4071 | no | report | |||||||||||||||||||
63 | sabir | sab20.1.blind | automatic | 0.54 | 0.3933 | 0.1659 | 0.4194 | no | report | |||||||||||||||||||
65 | covidex | BM25R2 | automatic | 0.4 | 0.318 | 0.1628 | 0.4171 | no | report | |||||||||||||||||||
66 | ||||||||||||||||||||||||||||
67 | ||||||||||||||||||||||||||||
68 | ||||||||||||||||||||||||||||
69 | ||||||||||||||||||||||||||||
70 | ||||||||||||||||||||||||||||
71 | ||||||||||||||||||||||||||||
72 | ||||||||||||||||||||||||||||
73 | ||||||||||||||||||||||||||||
74 | ||||||||||||||||||||||||||||
75 | ||||||||||||||||||||||||||||
76 | ||||||||||||||||||||||||||||
77 | ||||||||||||||||||||||||||||
78 | ||||||||||||||||||||||||||||
79 | ||||||||||||||||||||||||||||
80 | ||||||||||||||||||||||||||||
81 | ||||||||||||||||||||||||||||
82 | ||||||||||||||||||||||||||||
83 | ||||||||||||||||||||||||||||
84 | ||||||||||||||||||||||||||||
85 | ||||||||||||||||||||||||||||
86 | ||||||||||||||||||||||||||||
87 | ||||||||||||||||||||||||||||
88 | ||||||||||||||||||||||||||||
89 | ||||||||||||||||||||||||||||
90 | ||||||||||||||||||||||||||||
91 | ||||||||||||||||||||||||||||
92 | ||||||||||||||||||||||||||||
93 | ||||||||||||||||||||||||||||
94 | ||||||||||||||||||||||||||||
95 | ||||||||||||||||||||||||||||
96 | ||||||||||||||||||||||||||||
97 | ||||||||||||||||||||||||||||
98 | ||||||||||||||||||||||||||||
99 | ||||||||||||||||||||||||||||
100 | ||||||||||||||||||||||||||||
101 | ||||||||||||||||||||||||||||
102 | ||||||||||||||||||||||||||||
103 | ||||||||||||||||||||||||||||
104 | ||||||||||||||||||||||||||||
105 | ||||||||||||||||||||||||||||
106 | ||||||||||||||||||||||||||||
107 | ||||||||||||||||||||||||||||
108 | ||||||||||||||||||||||||||||
109 | ||||||||||||||||||||||||||||
110 | ||||||||||||||||||||||||||||
111 | ||||||||||||||||||||||||||||
112 | ||||||||||||||||||||||||||||
113 | ||||||||||||||||||||||||||||
114 | ||||||||||||||||||||||||||||
115 | ||||||||||||||||||||||||||||
116 | ||||||||||||||||||||||||||||
117 | ||||||||||||||||||||||||||||
118 | ||||||||||||||||||||||||||||
119 | ||||||||||||||||||||||||||||
120 | ||||||||||||||||||||||||||||
121 |