Ogni Parametro Di Riferimento Dell'IA Misura La Qualità Della Risposta. Nessuno Misura Se L'IA Ha Capito Cosa Stavate Effettivamente Chiedendo.
I parametri di riferimento dell'IA, nel complesso, sono costruiti per verificare una cosa: se la risposta era buona. Accurata, completa, ben ragionata, adeguatamente cauta. Questa è una cosa reale e utile da misurare, e presuppone tranquillamente qualcosa che il parametro stesso non verifica mai — che la domanda a cui si stava rispondendo fosse effettivamente ciò a cui la persona aveva bisogno di una risposta.
Una persona può porre una domanda specifica e ben formulata che è essa stessa un sintomo di uno schema più ampio che non ha ancora riconosciuto, ottenere una risposta tecnicamente eccellente esattamente a quella domanda, e andarsene senza essere più vicina a ciò che contava davvero — perché il parametro che chiamerebbe questo un successo non ha alcun meccanismo per verificare se la domanda stessa fosse quella giusta a cui rispondere.
Questa lacuna è invisibile per ogni sistema di punteggio costruito attorno alla qualità della risposta, perché la qualità della risposta viene misurata rispetto alla domanda così come posta, non rispetto a ciò di cui la persona dietro la domanda aveva effettivamente bisogno. Un sistema può ottenere un punteggio perfetto su questo asse mancando completamente il punto, e nulla nella valutazione standard lo segnalerebbe.
Capire cosa qualcuno sta effettivamente chiedendo — al contrario di rispondere precisamente a ciò che ha digitato — è una capacità diversa dalla qualità della risposta, sta sotto ogni parametro attualmente ampiamente utilizzato, ed è esattamente la capacità attorno a cui è costruito, invece, un approccio incentrato sul riconoscimento.
Parte di Explain Ori →
Momar Lissa Ndiaye («MLN») è fondatore e CEO di weyoga Inc., società del Delaware. — weyoga.ai · mln@weyoga.ai