Sommario
Un recente studio condotto da ricercatori dell’università svizzera EPFL suggerisce che tra il 33% e il 46% dei lavoratori distribuiti sul servizio Amazon Mechanical Turk sembra aver “barato” nell’esecuzione di un particolare compito assegnato loro, utilizzando strumenti come ChatGPT per svolgere parte del lavoro. Se questa pratica è diffusa, potrebbe rivelarsi un problema piuttosto serio.
Amazon Mechanical Turk e il problema del “baro”
Amazon Mechanical Turk è da tempo un rifugio per gli sviluppatori frustrati che desiderano far svolgere il lavoro agli esseri umani. In sintesi, si tratta di un’interfaccia di programmazione di applicazioni (API) che assegna compiti agli umani, che li eseguono e poi restituiscono i risultati. Questi compiti sono di solito del tipo che si vorrebbe fossero meglio svolti dai computer. Tuttavia, il problema con Mechanical Turk è peggiore di quanto sembri: l’IA è ora disponibile a un costo così basso che i product manager che scelgono di utilizzare Mechanical Turk invece di una soluzione generata da macchine si affidano al fatto che gli umani siano migliori di qualcosa rispetto ai robot. Avvelenare questa fonte di dati potrebbe avere gravi ripercussioni.
Distinguere il testo generato da umani e IA
“Distinguere il testo generato da modelli di linguaggio di grandi dimensioni (LLM) da quello generato da umani è difficile sia per i modelli di apprendimento automatico che per gli umani stessi”, hanno affermato i ricercatori. Pertanto, i ricercatori hanno creato una metodologia per capire se il contenuto basato su testo è stato creato da un essere umano o da una macchina.
Il test
Il test ha coinvolto lavoratori crowdsourced a cui è stato chiesto di condensare gli abstract di ricerca del New England Journal of Medicine in riassunti di 100 parole. È importante notare che questo è esattamente il tipo di compito in cui le tecnologie di IA generative come ChatGPT sono particolarmente abili.
