Todo Parâmetro De IA Mede A Qualidade Da Resposta. Nenhum Deles Mede Se A IA Entendeu O Que Você Estava Realmente Perguntando.
Os parâmetros de IA, de modo geral, são construídos para verificar uma coisa: se a resposta foi boa. Precisa, completa, bem fundamentada, adequadamente ponderada. Isso é algo real e útil de medir, e presume silenciosamente algo que o próprio parâmetro nunca verifica — que a pergunta sendo respondida era de fato aquilo que a pessoa precisava que fosse respondido.
Uma pessoa pode fazer uma pergunta específica e bem formulada que é ela mesma um sintoma de um padrão maior ainda não reconhecido, obter uma resposta tecnicamente excelente exatamente para essa pergunta, e sair sem estar mais perto do que realmente importava — porque o parâmetro que chamaria isso de sucesso não tem mecanismo algum para verificar se a própria pergunta era a certa a ser respondida.
Essa lacuna é invisível para qualquer sistema de pontuação construído em torno da qualidade da resposta, porque a qualidade da resposta é medida contra a pergunta tal como formulada, não contra o que a pessoa por trás da pergunta realmente precisava. Um sistema pode pontuar perfeitamente nesse eixo enquanto perde completamente o ponto, e nada na avaliação padrão sinalizaria isso.
Entender o que alguém está realmente perguntando — em vez de responder precisamente ao que foi digitado — é uma capacidade diferente da qualidade da resposta, está por baixo de todo parâmetro atualmente em uso amplo, e é exatamente a capacidade em torno da qual uma abordagem centrada em reconhecimento é construída, em vez disso.
Parte de Explain Ori →
Momar Lissa Ndiaye ("MLN") é fundador e CEO da weyoga Inc., sociedade de Delaware. — weyoga.ai · mln@weyoga.ai