Un nuovo studio pubblicato in Nature Human Behaviour rivela che GPT-3, il modello di linguaggio AI, esegue in modo simile agli studenti universitari in problemi di ragionamento. Tuttavia, la domanda rimane: sta GPT-3 imitando il ragionamento umano o sta utilizzando un processo cognitivo fondamentalmente nuovo?
Metodologia e risultati:
I ricercatori della UCLA hanno testato l’abilità di GPT-3 di risolvere problemi ispirati al test noto come Raven’s Progressive Matrices. GPT-3 ha risolto l’80% dei problemi correttamente, ben al di sopra della media umana del 60%. Inoltre, GPT-3 ha superato il punteggio medio degli studenti universitari in una serie di domande di analogia del SAT.
Limitazioni e fallimenti spettacolari
Nonostante i risultati impressionanti, GPT-3 ha ancora delle limitazioni significative. “Può fare ragionamento analogico, ma non può fare cose molto facili per le persone, come usare gli strumenti per risolvere un compito fisico. Quando gli abbiamo dato questi tipi di problemi, le cose che ha suggerito erano insensate,” ha detto Taylor Webb, ricercatore post-dottorato della UCLA.
Confronto con GPT-4 e modelli di cognizione umana
Il team ha anche confrontato GPT-3 con GPT-4, l’ultima iterazione della tecnologia di OpenAI, e con un modello di computer sviluppato dalla UCLA ispirato alla cognizione umana. GPT-3 è stato in grado di eguagliare o superare questi modelli in alcuni compiti, ma ha fallito in problemi che richiedono la comprensione dello spazio fisico.
Implicazioni e futuro della ricerca
Gli scienziati sperano di esplorare se i modelli di apprendimento del linguaggio stiano iniziando a “pensare” come gli esseri umani o stiano facendo qualcosa di completamente diverso. “Potrebbe essere che GPT-3 stia in qualche modo pensando come un essere umano,” ha detto il professor Keith Holyoak. “Ma vorremmo sapere se lo sta facendo davvero come fanno le persone, o se è qualcosa di completamente nuovo.”
