ChatGPT stupida? Per alcuni può essere una bestemmia, ma gli LLM e le AIgen non sono affatto così efficaci come pensi. E col passare del tempo, stanno peggiorando. Qual è il problema?
Secondo Steven Vaughan-Nichols di Computer World “gli strumenti di intelligenza artificiale generativa (genAI) possono essere davvero utili, ma ultimamente non lo sono più. Essere ignoranti su un argomento specifico in effetti fa sembrare che le GenAi come ChatGPT, Meta AI, Gemini siano esperte, ma attenzione, sembrano utili se non sai di meglio. Le loro risposte “suonano” plausibili, ma se guardi più da vicino, anche se perdoni loro le “allucinazioni” — cioè le bugie — ti renderai conto troppo spesso che le risposte che forniscono sono sbagliate”.
Nell’analisi, il giornalista esperto di intelligenza artificiale racconta della sua esperienza con le GenAI: “So più di quanto sappia il modello di linguaggio di grandi dimensioni (LLM) medio su argomenti come Linux e il software open-source. Quello che la genAI può dirti su questi argomenti può sembrare corretto, ma più ti addentri nei dettagli, peggiore è l’informazione.
In effetti, troppo spesso il risultato finale è fastidioso e terribilmente sbagliato. Peggio ancora, è casualmente sbagliato. Se potessi contare su risposte mediocri, ma ragionevolmente accurate, potrei gestirle. Non posso”.
Non è solo la sua opinione. Come riportato da BusinessWeek, molti utenti professionali di GPT-4 lo trovano sempre più “pigro” e “stupido”. Altri sono d’accordo. Come ha detto qualcuno su Reddit di recente, “ChatGPT 3 e 4 oggi sono molto meno efficaci e utili rispetto a quando mi sono iscritto al pro un anno fa”. A molti, compreso a me, sembra una sensazione corretta.
Perchè ChatGPT sta diventando stupida?
Perché sta accadendo questo? Pur non essendo uno sviluppatore di intelligenza artificiale, è possibile individuare almeno due motivi principali per cui stanno iniziando a fallire.
Il primo è che la qualità del contenuto utilizzato per creare i principali LLM non è mai stata un granché. Molti includono materiale da siti web di “qualità” come Twitter, Reddit e 4Chan.
Andare a recuperare dati di qualità sui Social Media sembra essere il modo peggiore per addestrare i LLM, ma se vuoi chattare di sesso con strumenti genAI, il che sembra essere uno degli usi più popolari di ChatGPT, l’accuratezza probabilmente non ti interessa molto e lo strumento è ancora molto valido.
Ottenere le risposte giuste, però, è ciò che dovrebbe interessare chiunque voglia usare l’IA per il business e su questo specifico tema (esiziale, secondo il mio punto di vista) ci sono molti problemi all’orizzonte.
Man mano che i giganti della genAI continuano a cercare più dati, questo problema peggiorerà. Uno studio di Epoch AI ha rilevato che esauriremo i dati di alta qualità già entro il 2026.
Questo porta al secondo problema. Oggi, più che mai, i contenuti prodotti dalla genAI stanno sostituendo i contenuti esperti umani. Il risultato non è solo che i dati cattivi scacciano quelli buoni; è più insidioso di così.
Un recente articolo di Nature ha rilevato che “imparare indiscriminatamente dai dati prodotti da altri modelli causa un ‘collasso del modello’ — un processo degenerativo in cui, nel tempo, i modelli dimenticano la vera distribuzione dei dati, anche in assenza di uno spostamento della distribuzione nel tempo.” Alcuni lo chiamano Garbage In, Garbage Out (GIGO).
Le AI stanno diventando stupide per carenza di dati?
Al momento non c’è alcuna possibilità che le aziende smettano di usare la genAI per produrre documenti a una frazione del costo di veri esperti di materia e scrittori esperti e la qualità continuerà solo a peggiorare.
Potremmo, credeteci o no, aver già raggiunto il picco dell’IA per quanto riguarda la qualità. Non è un pensiero spaventoso?
Ora, non esageriamo. I chatbot genAI a scopo specifico basati su LLM dedicati a un argomento particolare, come la risoluzione di un problema o l’individuazione di un potenziale cancro, sono già molto utili. Altri usi, come i personaggi non giocanti guidati dall’IA nei giochi online, miglioreranno il gameplay, e gli amici IA per persone sole, come ElliQ, potrebbero aiutare molte persone.
Ma come mezzo per sostituire i lavoratori della conoscenza, cosa che troppe aziende sembrano intenzionate a fare, è possibile che saremo costretti a lasciar perdere.