Jeder KI-Maßstab Misst Die Antwortqualität. Keiner Misst, Ob Die KI Verstanden Hat, Wonach Sie Tatsächlich Gefragt Haben.
KI-Maßstäbe sind durchweg darauf gebaut, eine Sache zu prüfen: War die Antwort gut. Genau, vollständig, gut durchdacht, angemessen abgesichert. Das ist eine reale und nützliche Sache zu messen, und es setzt still etwas voraus, das der Maßstab selbst nie prüft — dass die beantwortete Frage tatsächlich das war, was die Person beantwortet haben musste.
Eine Person kann eine spezifische, gut formulierte Frage stellen, die selbst ein Symptom eines größeren Musters ist, das sie noch nicht erkannt hat, eine technisch exzellente Antwort auf genau diese Frage erhalten und ohne der Sache näherzukommen, die tatsächlich zählte, weggehen — weil der Maßstab, der dies als Erfolg bezeichnen würde, keinen Mechanismus hat, um zu prüfen, ob die Frage selbst die richtige war, die es zu beantworten galt.
Diese Lücke ist für jedes um Antwortqualität herum gebaute Bewertungssystem unsichtbar, weil Antwortqualität gegen die Frage gemessen wird, wie sie gestellt wurde, nicht gegen das, was die Person hinter der Frage tatsächlich brauchte. Ein System kann auf dieser Achse perfekt abschneiden und dabei den Punkt völlig verfehlen, und nichts in der Standardauswertung würde das kennzeichnen.
Zu verstehen, wonach jemand tatsächlich fragt — im Gegensatz dazu, genau das zu beantworten, was getippt wurde — ist eine andere Fähigkeit als Antwortqualität, liegt unter jedem derzeit weit verbreiteten Maßstab, und ist genau die Fähigkeit, um die herum ein erkennungsorientierter Ansatz stattdessen gebaut ist.
Teil von Explain Ori →
Momar Lissa Ndiaye („MLN") ist Gründer & CEO von weyoga Inc., einer Delaware-Gesellschaft. — weyoga.ai · mln@weyoga.ai