GPT-3 è il terzo modello di Generative Pre-Training (GPT) di OpenAI ed è stato rilasciato il 10 giugno 2020. Si tratta di un modello di linguaggio basato su trasformatori che utilizza il deep learning per produrre testi simili a quelli umani. Il modello è stato addestrato su un vasto corpus di dati, tra cui libri, articoli e siti web. GPT-3 è stato progettato per essere più efficiente e accurato rispetto ai modelli precedenti. Può generare testo in diverse lingue e gestire diverse attività come la risposta a domande e la traduzione automatica. Uno degli obiettivi principali di GPT-3 è ridurre la quantità di dati necessari per ottenere buoni risultati. Inoltre, GPT-3 può essere utilizzato per migliorare le prestazioni di altri modelli, come quelli per la comprensione del linguaggio naturale e la traduzione automatica.
Contents
- Cos’è GPT-3
- I modelli di GPT-3 più potenti
- Come accedere a GPT-3
- Chat GPT-3
- Come è stato addestrato GPT-3?
- GPT Prompter – Una estensione per Chrome
- L’importanza di GPT-3
- GPT-3 e sviluppo di applicazioni
- Come funziona GPT-3
- GPT-3 costruisce testo secondo un modello probabilistico
- Temperatura in GPT-3
- Top P
- Alcune applicazioni divertenti
- Applicazioni importanti di GPT-3
- Aggiornamento dei costi (Settembre 2022)
- Quali sono i limiti di GPT-3?
- References
Cos’è GPT-3
GPT-3 è un modello di previsione linguistica autoregressivo che utilizza il deep learning per produrre testi simili a quelli umani. È attualmente considerato uno dei più potenti modelli di intelligenza artificiale ed è attualmente (Giugno 2022 in fase di beta).
È il terzo modello della serie GPT (successore di GPT-2) creato da OpenAI, un’azienda di ricerca sull’intelligenza artificiale con sede a San Francisco.
La versione completa di GPT-3 ha una capacità 175 miliardi di parametri di apprendimento automatico, è stata introdotta nel maggio 2020 ed è in grado di generare testo ad una qualità così alta che può essere difficile determinare se è stato scritto da un umano oppure no.
I modelli di GPT-3 più potenti
Ad oggi il modello più potente è ChatGPT per la conversazione e la scrittura creativa (ma non ha API a disposizione e il suo utilizzo professionale è limitato).
Mentre per lo sviluppo professionale di applicazioni il modello più potente per il completition è text-davinci-003, che è sempre un InstructGPT, che è stato recentemente rilasciato e che potete utilizzare in Playground.
Per approfondire le novità di text-davinci-003 è possibile leggere il nostro articolo “Esce text-davinci-oo3 il nuovo modello di GPT-3 by OpenAI”.
Come accedere a GPT-3
Per poter accedere a GPT tramite il Playground è possibile seguire la nostra guida: Come accedere a GPT-3 oppure, se già registrati, accedere direttamente alla dashboard di OpenAI
Chat GPT-3
Se invece si vuole familiarizzare con GPT-3 e iniziare a studiare qualche prompt consigliamo, una volta registrati, di utilizzare la versione Chat GPT per due motivi:
- utilizza come modello di AI text-davinci-003 che è il primo modello di OpenAI che, oltre all’apprendimento automatico, è stato raffinato con addestramento supervisionato. Ed è attualmente il modello più potente.
- E’ completamente gratuito e consente di sperimentare senza consumare credito. Unica pecca, dato il numero elevato di utenti connessi da tutto il mondo, spesso il servizio ha dei problemi e può crashare.
ChatGPT è il metodo più semplice e intuitivo per utilizzare GPT-3. Ma non consente la modifica dei parametri ne la scelta del modello. É sostanzialmente pensato per il largo pubblico e per ottenere dei feedback sulle risposte fornite.
ChatGPT (quindi text-davinci-003) tende ad essere molto verboso rispetto ai modelli precedenti. Come vedete dall’immagine, sulla destra trovate un modo per “votare” la risposta di GPT-3. Dato che la computazione ha un costo, ChatGPT è probabilmente pensato per ottimizzare davinci-003.
Come è stato addestrato GPT-3?
GPT-3 è stato allenato su una grande quantità di dati linguistici, tra cui libri, articoli di giornale e documenti web. Il modello è stato progettato per apprendere le regole del linguaggio umano in modo da poter generare testi simili a quelli scritti dagli esseri umani.
GPT-3 e Deep Learning
Nello specifico i ricercatori e ingegneri di Open-AI hanno addestrato GPT-3 con una tecnica di apprendimento automatico nota come deep learning (o apprendimento profondo).
Il deep learning è un tipo di apprendimento automatico che tenta di imitare il funzionamento del cervello umano per riconoscere i pattern in grandi quantità di dati.
Dati raccolti da tutto il web
Per addestrare GPT-3 la maggior parte dei dati è stata presa da una versione filtrata di Common Crawl, un archivio di Internet che contiene circa 25 petabyte di dati.
OpenAI ha utilizzato anche altri dataset linguistici, tra cui libri, post e articoli online, oltre all’intero corpus di informazioni contenute in Wikipedia. I costi dello storage dei dati e delle risorse di calcolo necessarie per l’addestramento di GPT-3 sono stati stimati tra i 10 e i 20 milioni di dollari.
GPT Prompter – Una estensione per Chrome
Iniziano già ad uscire programmi SaaS e applicazioni che utilizzano la potenza di calcolo di GPT-3.
Per favorirne l’utilizzo quotidiano vi consigliamo di dare uno sguardo a GPT Prompter una nuova estensione gratuita di Chorme che consente di utilizzare la potenza di calcolo di GPT-3 senza bisogno di dover andare tutte le volte sul Playground di OpenAI.
L’importanza di GPT-3
GPT-3 può essere considerato come un grande passo avanti nella ricerca sull’intelligenza artificiale e sulle sue applicazioni. Una delle possibili applicazioni è la scrittura automatica di contenuti online (come gli articoli o i post).
Inoltre, poiché il modello punta ad imitare il funzionamento del cervello umano nell’apprendimento delle regole linguistiche, potrebbe anche costituire un importante passo verso la creazione di modelli dimostrativi di intelligenza artificiale generalizzata (capaci cioè di svolgere più attività).
GPT-3 e sviluppo di applicazioni
Nell’ambito dello sviluppo e creazione di linguaggio, GPT-3 è inoltre in grado di scrivere in python, html, css e javascript e altri linguaggi partendo da istruzioni in linguaggio naturale.
É quindi letteralmente possibile chiedere a GPT-3 di scrivere una pagina web e lui procederà a generare il codice necessario. Può essere utilizzata anche per scrivere funzioni specifiche o interi programmi.
Come in questo caso in cui, attraverso GPT-3, abbiamo scritto un pezzo di codice in Python che dimostra il teorema centrale del limite:
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
import random import numpy as np import matplotlib.pyplot as plt list =[] mean=[] for i in range(1, 1000): list.append(random.randint(1, 1000)) # dimostra il teorema del limite centrale for i in range(1, 1000): mean.append(np.mean(random.sample(list, 100))) # plot plt.hist(mean, bins=100) plt.show() |
É inoltre possibile farsi spiegare frammenti di codice da GPT-3 o trasformarli da un linguaggio ad un altro.
Come funziona GPT-3
GPT-3 funziona in modo molto simile ai precedenti modelli di previsione linguistica autoregressivi. Il modello prende come input un testo e inizia a interpretare la richiesta seguendo un modello probabilistico che simuli il linguaggio naturale.
In altre parole, GPT-3 “legge” il testo e tenta di capirne la struttura per comprendere cosa l’utente gli sta chiedendo. Poi inizia a rispondere nel tentativo di rispondere, completare, o eseguire qualsiasi cosa possa essergli stata richiesta in forma linguistica.
GPT-3 costruisce testo secondo un modello probabilistico
Per funzionare GPT-3 utilizza un sistema probabilistico per decidere quali sono le parole (o meglio le sillabe o “token”) da restituire come output. Che non saranno mai identiche. Se infatti provate a fare una domanda a GPT-3 probabilmente risponderà sempre in modi leggermente diversi.
Temperatura in GPT-3
Fondamentale diventa quindi settare la temperatura di GPT-3, cioè il livello di randomizzazione, che è un po’ come aumentarne la creatività. Più alta è la temperatura più saranno casuali le parole generate dal modello, una temperatura settata a zero significa che il modello fornirà sempre il token più probabile.
All’aumentare della temperatura i token saranno più randomici rendendo il contenuto sempre più improbabile e intraprendendo pathway sempre più creativi.
Ma le informazioni potrebbero essere meno attendibili. Una maggiore creatività andrà a danneggiare la maggiore “sicurezza” dei nostri output (cioè delle nostre risposte).
Inoltre, se non vengono settati i giusti prompt, il modello potrà fornire risposte anche a domande di cui non conosce la risposta. Semplicemente le inventerà, pescandole da quelle più probabili.
Top P
Il top_p è un’alternativa al campionamento con temperatura, chiamato campionamento del nucleo, in cui il modello considera i risultati dei token con massa di probabilità top_p.
Quindi 0,1 significa che vengono considerati solo i token che comprendono la massa di probabilità superiore al 10%.
La Top P e la temperatura sono entrambe utilizzate per controllare il comportamento del modello di linguaggio naturale, ma hanno obiettivi leggermente diversi.
La Top P mira a controllare la probabilità di generazione delle parole e delle frasi, mentre la temperatura controlla la varietà di parole e frasi generate. In generale è bene usare uno soltanto di questi parametri per dare maggiore randomicità al modello.
Alcune applicazioni divertenti
Attraverso GPT-3 è davvero possibile fare molte cose, anche parecchio divertenti tra cui:
- Conversare con un personaggio storico: con i giusti prompt è possibile chattare con un bot che simula di essere un personaggio storico a piacimento.
- Inventare storie o trame di film o romanzi: come ad esempio inventare una plot finalmente coerente e rispettoso dell’universo di Star Wars.
- Inventare ricette con ingredienti improbabili, potete sbizzarrirvi senza problemi.
- Giocare a D&D con GPT-3 come master e fare una sessione di role-play.
e tante altre cose.
Applicazioni importanti di GPT-3
Ad oggi GPT-3, con il suo modello più evoluto, chiamato text-davinci-003 risulta decisamente impressionante in alcuni task o aree di applicazione come:
- nella traduzione di testi: risulta decisamente superiore a Google Traduttore e a qualunque altro traduttore automatizzato. Consente inoltre di correggere la grammatica, creare testi con stili diversi e per finalità diverse, può riassumere testi lunghi e complessi rendendoli più corti e comprensibili.
- nel coding: soprattutto grazie al modello Codex e alla collaborazione tra OpenAI e Git-Hub nel progetto “Git-Hub Copilot”. Un tool di autocompilazione di codice di programmazione che può essere integrato in Visual Studio Code e che consente di programmare applicazioni web o qualsiasi altra cosa, come pagine o interi siti web.
- nella creazione di testi originali: se gestito coi giusti prompt GPT-3 risulta essere un ottimo assistente alla scrittura creativa, al blog posting e alle attività di SEO. Come per questo articolo, fidatevi 😉
GPT-3 è un ottimo strumento che facilita il lavoro dei programmatori nella realizzazione del loro codice. Qui alcuni esempi pensati per programmatori.
Aggiornamento dei costi (Settembre 2022)
Una buona notizia per tutti gli utilizzatori e gli sviluppatori che utilizzano GPT-3. Da settembre 2021 infatti i costi per singolo token sono stati significativamente ridotti di circa il 60-70%.
Questo significa che, a parità di token, ora spendiamo 1/3 di quello che spendevamo prima. Qui trovate i prezzi aggiornati:
Il prezzo è calcolato in base ad un singolo token. Per maggiori informazioni su come funziona il sistema dei token, vi rimandiamo ad un futuro articolo.
Quali sono i limiti di GPT-3?
I limiti di GPT-3 sono quelli di una AI ancora in fase di sviluppo che punta, ma ancora non riesce, a simulare la cognizione umana.
I limiti più noti e dichiarati sono quelli legati all’enorme quantità di dati e risorse necessarie per l’addestramento. Inoltre, come per ogni altro modello di apprendimento automatico, anche GPT-3 può essere ingannato da testi contenenti errori e imprecisioni che possono portare il modello a generare delle risposte non corrette.
Inoltre la fase massiva di training si è fermata al 2021. Il modello sta continuando ad imparare, ma in maniera meno rapida. Ora conosce molto bene il Covid-19 e può parlare della pandemia per esempio, sa che esiste il vaccino, ma non sa che è attualmente in corso una guerra tra Russia e Ucraina.
La corsa verso il superamento del Test di Turing ha fatto un altro balzo in avanti. Siamo però ancora lontani…forse…
References
Elkins, K., & Chun, J. (2020). Can GPT-3 Pass a Writer’s Turing Test? Journal of Cultural Analytics, 5(2). https://doi.org/10.22148/001c.17212
Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., … Amodei, D. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems, 2020–December. https://doi.org/10.48550/arxiv.2005.14165
Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., … Amodei, D. (2020). Language Models are Few-Shot Learners. Advances in Neural Information Processing Systems, 2020–December. https://doi.org/10.48550/arxiv.2005.14165
Weinberg, J. (2020). Philosophers On GPT-3 (updated with replies by GPT-3). DailyNous.Com, 3. Retrieved from https://dailynous.com/2020/07/30/philosophers-gpt-3/#chalmers
Zhang, M., & Li, J. (2021). A commentary of GPT-3 in MIT Technology Review 2021. Fundamental Research, 1(6), 831–833. https://doi.org/10.1016/J.FMRE.2021.11.011
Dou, Y., Forbes, M., Koncel-Kedziorski, R., Smith, N. A., & Choi, Y. (2021). Is GPT-3 Text Indistinguishable from Human Text? Scarecrow: A Framework for Scrutinizing Machine Text. 7250–7274. https://doi.org/10.18653/v1/2022.acl-long.501
[…] mostra il costo per ogni domanda. Il costo è legato alla richiesta fatta a GPT-3, l’applicazione GTP-3 Prompter è completamente gratuita, perciò perchè sia funzionante è […]