ACCUEIL

Consignes aux
auteurs et coordonnateurs
Nos règles d'éthique
Autres revues >>

Document Numérique

1279-5127
 

 ARTICLE VOL 14/2 - 2011  - pp.149-168  - doi:10.3166/dn.14.2.149-168
TITRE
Impact du « biais des ex aequo » dans les évaluations de recherche d’information

RÉSUMÉ

Cet article considère la problématique de l’évaluation en recherche d’information, en particulier dans le cadre de TREC avec le programme trec_eval. Nous montrons que les systèmes de RI ne sont pas uniquement évalués en fonction de la pertinence des documents qu’ils restituent. En effet, dans le cas de documents ex aequo (trouvés avec le même score) leur nom est utilisé pour les départager. Nous assimilons cette façon de départager les ex aequo à un biais expérimental qui influence les scores attribués aux systèmes, et argumentons en faveur d’une stratégie pour les départager plus équitablement. L’étude de 22 éditions de TREC révèle une différence significative entre la stratégie conventionnelle et inéquitable de trec_eval et les stratégies équitables proposées. Ces résultats expérimentaux suggèrent l’intégration des stratégies proposées dans trec_eval afin d’encourager la réalisation d’expérimentations plus équitables.



ABSTRACT

We consider Information Retrieval evaluation in the TREC framework with the trec_eval program. It appears that IR systems obtain scores regarding not only the relevance of retrieved documents, but also according to document names in case of ties, i.e., documents retrieved with a same score. We consider this tie-breaking strategy as an uncontrolled parameter influencing measure scores, and argue the case for fairer tie-breaking strategies. A study of 22 TREC editions reveals significant difference between the conventional unfair trec_eval strategy and the fairer strategies that we propose. This experimental result advocates integrating these fairer strategies into trec_eval for conducting fairer experiments.



AUTEUR(S)
Guillaume CABANAC, Gilles HUBERT, Mohand BOUGHANEM, Claude CHRISMENT

MOTS-CLÉS
recherche d’information, évaluation, expérimentation, biais expérimental.

KEYWORDS
information retrieval, measurement, experiment, uncontrolled parameter

BIBLIOGRAPHIE
dn.revuesonline.com/revues/20/10.3166/dn.14.2.149-168.html

LANGUE DE L'ARTICLE
Français

 PRIX
GRATUIT
   
ACCÉDER A L'ARTICLE COMPLET  (432 Ko)



Mot de passe oublié ?

ABONNEZ-VOUS !

CONTACTS
Comité de
rédaction
Conditions
générales de vente

 English version >> 
made by WAW Lavoisier