Cada Referente De IA Mide La Calidad De La Respuesta. Ninguno Mide Si La IA Entendió Lo Que Usted Realmente Estaba Preguntando.
Los referentes de IA, en general, están construidos para verificar una cosa: si la respuesta fue buena. Precisa, completa, bien razonada, adecuadamente matizada. Esto es algo real y útil de medir, y silenciosamente asume algo que el propio referente nunca verifica — que la pregunta que se estaba respondiendo era realmente lo que la persona necesitaba que se respondiera.
Una persona puede hacer una pregunta específica y bien formulada que es en sí misma un síntoma de un patrón más amplio que aún no ha reconocido, obtener una respuesta técnicamente excelente a exactamente esa pregunta, y marcharse sin estar más cerca de lo que realmente importaba — porque el referente que llamaría a esto un éxito no tiene ningún mecanismo para verificar si la pregunta en sí era la correcta para responder.
Esta brecha es invisible para cualquier sistema de puntuación construido en torno a la calidad de la respuesta, porque la calidad de la respuesta se mide contra la pregunta tal como se formuló, no contra lo que la persona detrás de la pregunta realmente necesitaba. Un sistema puede puntuar perfecto en este eje mientras falla por completo el punto real, y nada en la evaluación estándar lo señalaría.
Entender qué está preguntando realmente alguien — en lugar de responder precisamente lo que escribió — es una capacidad distinta a la calidad de la respuesta, subyace a cada referente actualmente en amplio uso, y es exactamente la capacidad en torno a la cual está construido, en cambio, un enfoque centrado en el reconocimiento.
Parte de Explain Ori →
Momar Lissa Ndiaye («MLN») es fundador y CEO de weyoga Inc., sociedad de Delaware. — weyoga.ai · mln@weyoga.ai