Chaque Référentiel D'ia Mesure La Qualité De La Réponse. Aucun Ne Mesure Si L'ia A Compris Ce Que Vous Demandiez Réellement.
Les référentiels d'IA, dans l'ensemble, sont construits pour vérifier une chose : la réponse était-elle bonne. Précise, complète, bien raisonnée, correctement nuancée. C'est une chose réelle et utile à mesurer, et cela suppose tranquillement quelque chose que le référentiel lui-même ne vérifie jamais — que la question à laquelle on répondait était effectivement ce à quoi la personne avait besoin qu'on réponde.
Une personne peut poser une question précise et bien formulée qui est elle-même un symptôme d'un schéma plus large qu'elle n'a pas encore reconnu, obtenir une réponse techniquement excellente à exactement cette question, et repartir sans être plus proche de ce qui comptait réellement — parce que le référentiel qui appellerait cela un succès n'a aucun mécanisme pour vérifier si la question elle-même était la bonne à laquelle répondre.
Cet écart est invisible pour tout système de notation construit autour de la qualité de la réponse, parce que la qualité de la réponse est mesurée par rapport à la question telle que posée, pas par rapport à ce dont la personne derrière la question avait réellement besoin. Un système peut obtenir un score parfait sur cet axe tout en manquant complètement le point, et rien dans l'évaluation standard ne le signalerait.
Comprendre ce que quelqu'un demande réellement — par opposition à répondre précisément à ce qu'il a tapé — est une capacité différente de la qualité de la réponse, se trouve sous chaque référentiel actuellement largement utilisé, et est exactement la capacité autour de laquelle une approche axée sur la reconnaissance est construite à la place.
Fait partie de Explain Ori →
Momar Lissa Ndiaye (« MLN ») est le fondateur et CEO de weyoga Inc., société du Delaware. — weyoga.ai · mln@weyoga.ai