GPT-3 è il terzo modello di Generative Pre-Training (GPT) di OpenAI ed è stato rilasciato il 10 giugno 2020. Si tratta di un modello di linguaggio basato su trasformatori che utilizza il deep learning per produrre testi simili a quelli umani. Il modello è stato addestrato su un vasto corpus di dati, tra cui libri, articoli e siti web. GPT-3 è stato progettato per essere più efficiente e accurato rispetto ai modelli precedenti. Può generare testo in diverse lingue e gestire diverse attività come la risposta a domande e la traduzione automatica. Uno degli obiettivi principali di GPT-3 è ridurre la quantità di dati necessari per ottenere buoni risultati. Inoltre, GPT-3 può essere utilizzato per migliorare le prestazioni di altri modelli, come quelli per la comprensione del linguaggio naturale e la traduzione automatica.

Cos’è GPT-3

GPT-3 è un modello di previsione linguistica autoregressivo che utilizza il deep learning per produrre testi simili a quelli umani. È attualmente considerato uno dei più potenti modelli di intelligenza artificiale ed è attualmente (Giungno 2022 in fase di beta). È il terzo modello della serie GPT (successore di GPT-2) creato da OpenAI, un’azienda di ricerca sull’intelligenza artificiale con sede a San Francisco. La versione completa di GPT-3 ha una capacità 175 miliardi di parametri di apprendimento automatico, è stata introdotta nel maggio 2020 ed è in grado di generare testo ad una qualità così alta che può essere difficile determinare se è stato scritto da un umano oppure no.

Come è stato addestrato GPT-3?

GPT-3 è stato allenato su una grande quantità di dati linguistici, tra cui libri, articoli di giornale e documenti web. Il modello è stato progettato per apprendere le regole del linguaggio umano in modo da poter generare testi simili a quelli scritti dagli esseri umani. Nello specifico i ricercatori e ingegneri di Open-AI hanno addestrato GPT-3 con una tecnica di apprendimento automatico nota come deep learning (o apprendimento profondo). Il deep learning è un tipo di apprendimento automatico che tenta di imitare il funzionamento del cervello umano per riconoscere i pattern in grandi quantità di dati.

Per addestrare GPT-3 la maggior parte dei dati è stata presa da una versione filtrata di Common Crawl, un archivio di Internet che contiene circa 25 petabyte di dati. OpenAI ha utilizzato anche altri dataset linguistici, tra cui libri, post e articoli online, oltre all’intero corpus di informazioni contenute in Wikipedia. I costi dello storage dei dati e delle risorse di calcolo necessarie per l’addestramento di GPT-3 sono stati stimati tra i 10 e i 20 milioni di dollari.

L’importanza di GPT-3

GPT-3 può essere considerato come un grande passo avanti nella ricerca sull’intelligenza artificiale e sulle sue applicazioni. Una delle possibili applicazioni è la scrittura automatica di contenuti online (come gli articoli o i post). Inoltre, poiché il modello punta ad imitare il funzionamento del cervello umano nell’apprendimento delle regole linguistiche, potrebbe anche costituire un importante passo verso la creazione di modelli dimostrativi di intelligenza artificiale generalizzata (capaci cioè di svolgere più attività).

Nell’ambito dello sviluppo e creazione di linguaggio, GPT-3 è inoltre in grado di scrivere in python, html, css e javascript partendo da istruzioni in linguaggio naturale. É quindi letteralmente possibile chiedere a GPT-3 di scrivere una pagina web e lui procederà a generare il codice necessario. Può essere utilizzata anche per scrivere funzioni specifiche o interi programmi in python.

É inoltre possibile farsi spiegare frammenti di codice o trasformarli da un linguaggio ad un altro.

Come funziona GPT-3

GPT-3 funziona in modo molto simile ai precedenti modelli di previsione linguistica autoregressivi. Il modello prende come input un testo e inizia a interpretare la richiesta seguendo un modello probabilistico che simuli il linguaggio naturale. In altre parole, GPT-3 “legge” il testo e tenta di capirne la struttura per comprendere cosa l’utente gli sta chiedendo. Poi inizia a rispondere nel tentativo di rispondere, completare, o eseguire qualsiasi cosa possa essergli stata richiesta in forma linguistica.

Per funzionare GPT-3 utilizza un sistema probabilistico per decidere quali sono le parole o i caratteri da restituire come output. Inoltre è possibile settare la temperatura di GPT-3, cioè il livello di randomizzazione del modello, che è un po’ come aumentarne la creatività. Più alta è la temperatura più saranno casuali le parole generate dal modello, una temperatura settata a zero significa che il modello fornirà sempre il token più probabile.

All’aumentare della temperatura i token saranno più randomici rendendo il contenuto più probabilmente originale. Ma le informazioni potrebbero essere meno attendibili. Se non vengono settati i giusti prompt, il modello fornirà risposte anche a domande di cui non conosce la risposta. Semplicemente le inventerà, pescandole da quelle più probabili.

Alcune applicazioni divertenti

Attraverso GPT-3 è davvero possibile fare molte cose, anche parecchio divertenti tra cui:

  • Conversare con un personaggio storico: con i giusti prompt è possibile chattare con un bot che simula di essere un personaggio storico a piacimento.
  • Inventare storie o trame di film o romanzi: come ad esempio inventare una plot finalmente coerente e rispettoso dell’universo di Star Wars.
  • Inventare ricette con ingredienti improbabili, potete sbizzarrirvi senza problemi.
  • Giocare a D&D con GPT-3 come master e fare una sessione di role-play.

e tante altre cose.

Applicazioni importanti di GPT-3

Ad oggi GPT-3, con il suo modello più evoluto, chiamato text-davinci-002 risulta decisamente impressionante in alcuni task o aree di applicazione come:

  • nella traduzione di testi: risulta decisamente superiore a Google Traduttore e a qualunque altro traduttore automatizzato. Consente inoltre di correggere la grammatica, creare testi con stili diversi e per finalità diverse, può riassumere testi lunghi e complessi rendendoli più corti e comprensibili.
  • nel coding: soprattutto grazie al modello Codex e alla collaborazione tra OpenAI e Git-Hub nel progetto “Git-Hub Copilot”. Un tool di autocompilazione di codice di programmazione che può essere integrato in Visual Studio Code.
  • nella creazione di testi originali: se gestito coi giusti prompt GPT-3 risulta essere un ottimo assistente alla scrittura creativa, al blog posting e alle attività di SEO. Come per questo articolo, fidatevi 😉
gpt-3 per il coding

GPT-3 è un ottimo strumento che facilita il lavoro dei programmatori nella realizzazione del loro codice. Qui alcuni esempi di modelli pensati per programmatori.

Quali sono i limiti di GPT-3?

I limiti di GPT-3 sono quelli di una AI ancora in fase di sviluppo che punta, ma ancora non riesce, a simulare la cognizione umana. I limiti più noti e dichiarati sono quelli legati all’enorme quantità di dati e risorse necessarie per l’addestramento. Inoltre, come per ogni altro modello di apprendimento automatico, anche GPT-3 può essere ingannato da testi contenenti errori e imprecisioni che possono portare il modello a generare delle risposte non corrette.

Inoltre la fase massiva di training si è fermata al 2019. Il modello sta continuando ad imparare, ma in maniera meno rapida. Sa cos’è il Covid-19 per esempio, sa che esiste il vaccino, ma non sa che è attualmente in corso una guerra tra Russia e Ucraina.

La corsa verso il superamento del Test di Turing ha fatto un altro balzo in avanti. Siamo però ancora lontani…forse…

References

Elkins, K., & Chun, J. (2020). Can GPT-3 Pass a Writer’s Turing Test? Journal of Cultural Analytics, 5(2). https://doi.org/10.22148/001c.17212

Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., … Amodei, D. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems, 2020December. https://doi.org/10.48550/arxiv.2005.14165

Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., … Amodei, D. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems, 2020December. https://doi.org/10.48550/arxiv.2005.14165

Weinberg, J. (2020). Philosophers On GPT-3 (updated with replies by GPT-3). DailyNous.Com, 3. Retrieved from https://dailynous.com/2020/07/30/philosophers-gpt-3/#chalmers

Zhang, M., & Li, J. (2021). A commentary of GPT-3 in MIT Technology Review 2021. Fundamental Research, 1(6), 831–833. https://doi.org/10.1016/J.FMRE.2021.11.011

Dou, Y., Forbes, M., Koncel-Kedziorski, R., Smith, N. A., & Choi, Y. (2021). Is GPT-3 Text Indistinguishable from Human Text? Scarecrow: A Framework for Scrutinizing Machine Text. 7250–7274. https://doi.org/10.18653/v1/2022.acl-long.501