OpenAI, l’azienda leader nella ricerca di intelligenza artificiale, ha annunciato di aver creato GPT-4, la nuova pietra miliare nel campo del deep learning. Questo modello multimodale, in grado di accettare input di testo e immagini ed emettere output di testo, rappresenta un passo avanti rispetto alla precedente versione GPT-3.5 che viene usata in ChatGPT. GPT-4 è stato presentato in diretta Youtube martedì 14 marzo alle 21.
Contents
GPT-4: una prestazione umana su diversi benchmark
Nonostante il modello non sia ancora in grado di sostituire completamente la prestazione umana in molte situazioni reali, GPT-4 è in grado di raggiungere prestazioni di livello umano in diversi benchmark professionali e accademici.
In particolare, il modello ha superato un esame simulato da bar con un punteggio tra il 10% dei migliori candidati. Il punteggio di GPT-3.5, invece, si attestava attorno al 10% dei peggiori candidati.
Caratteristiche principali di GPT-4
GPT-4 è un modello multimodale che accetta input di immagini e testi, fornendo output di testo. Grazie a questa caratteristica, può produrre output in vari formati, come linguaggio naturale, codice e altro ancora. OpenAI ha impiegato 6 mesi per allineare iterativamente GPT-4, ottenendo risultati impressionanti in termini di accuratezza, controllabilità e rispetto dei limiti imposti.
Il lavoro di sviluppo di GPT-4 è stato reso possibile grazie alla collaborazione tra OpenAI e Azure, che hanno progettato un supercomputer da zero per supportare il carico di lavoro. GPT-4 è stato addestrato utilizzando le lezioni apprese dal programma di test avversari e da ChatGPT. Rispetto al modello precedente, GPT-3.5, GPT-4 ha mostrato una maggiore stabilità e prestazioni prevedibili durante l’addestramento.
Qui il video di presentazione di GPT-4
Come è stato valutato GPT-4
Per valutare le capacità di GPT-4, il modello è stato testato su una serie di benchmark, sia in ambito accademico che professionale. I risultati hanno dimostrato che GPT-4 è più affidabile, creativo e in grado di gestire istruzioni più sfumate rispetto a GPT-3.5. Inoltre, GPT-4 ha superato le prestazioni in lingua inglese di GPT-3.5 e altri modelli di linguaggio di grandi dimensioni in 24 delle 26 lingue testate.
OpenAI sta rilasciando la funzionalità di input di testo di GPT-4 tramite ChatGPT e l’API, mentre la funzionalità di input di immagini è in fase di preparazione per una maggiore disponibilità. Per supportare ulteriori miglioramenti, OpenAI sta anche rendendo open source OpenAI Evals, il loro framework per la valutazione automatizzata delle prestazioni dei modelli di intelligenza artificiale.
Rischio e sicurezza di GPT-4
GPT-4 presenta rischi simili ai modelli precedenti, come generare consigli dannosi, codice difettoso o informazioni inaccurate. Tuttavia, le capacità aggiuntive di GPT-4 portano a nuove superfici di rischio.
Per comprendere l’entità di questi rischi, OpenAI ha coinvolto oltre 50 esperti in ambiti come rischi di allineamento AI, cybersecurity, rischio biologico, fiducia e sicurezza e sicurezza internazionale per testare il modello in modo avversario.
I loro risultati hanno permesso di testare il comportamento del modello in aree ad alto rischio che richiedono competenze specifiche per essere valutate. Il feedback e i dati di questi esperti sono stati utilizzati per le strategie di mitigazione e miglioramenti del modello.
Mitigazione del rischio e miglioramenti della sicurezza
GPT-4 incorpora un segnale di ricompensa di sicurezza aggiuntivo durante la formazione RLHF (Reinforcement Learning with Human Feedback) per ridurre le uscite dannose, addestrando il modello a rifiutare richieste per tali contenuti.
La ricompensa è fornita da un classificatore GPT-4 zero-shot che giudica i limiti di sicurezza e lo stile di completamento su prompt legati alla sicurezza.
Per evitare che il modello rifiuti richieste valide, la richiesta viene raccolta in un dataset diversificato da varie fonti e si applica il segnale di ricompensa di sicurezza su entrambe le categorie consentite e non consentite.
Risultati ottenuti
Le strategie di mitigazione hanno migliorato significativamente molte delle proprietà di sicurezza di GPT-4 rispetto a GPT-3.5. OpenAI ha ridotto del 82% la tendenza del modello a rispondere alle richieste di contenuti non consentiti rispetto a GPT-3.5, e GPT-4 risponde alle richieste sensibili in modo conforme alle loro politiche del 29% in più.
Tuttavia, il comportamento scorretto può ancora essere ottenuto ed esistono ancora “evasioni” per generare contenuti che violano le linee guida.
GPT-4 e i modelli successivi hanno il potenziale per influenzare notevolmente la società sia in modo benefico che dannoso.
OpenAI collabora con ricercatori esterni per migliorare la comprensione e valutazione degli impatti potenziali e per sviluppare valutazioni sulle capacità pericolose che potrebbero emergere nei futuri sistemi. Presto condivideranno ulteriori riflessioni sugli impatti sociali ed economici di GPT-4 e altri sistemi AI.
Processo di formazione e scalabilità di GPT-4
Il processo di formazione di GPT-4 è simile ai modelli GPT precedenti. Il modello base GPT-4 è stato addestrato per prevedere la parola successiva in un documento, utilizzando dati pubblicamente disponibili e dati ottenuti tramite licenza. Il corpus di dati è vasto e comprende soluzioni corrette e scorrette a problemi matematici, ragionamenti deboli e forti, affermazioni auto-contraddittorie e coerenti e rappresenta una grande varietà di ideologie e idee.
Per allineare il modello alle intenzioni dell’utente, si affina il comportamento del modello utilizzando il reinforcement learning con feedback umano (RLHF). Le capacità del modello sembrano derivare principalmente dal processo di pre-formazione, mentre il processo di post-formazione è ciò che consente al modello di rispondere alle domande in modo appropriato.
Scalabilità e previsione delle capacità future
Una grande parte del progetto GPT-4 si è concentrata sulla costruzione di un sistema di apprendimento profondo che scala in modo prevedibile. OpenAI ha sviluppato un’infrastruttura e un’ottimizzazione che hanno un comportamento molto prevedibile su diverse scale. Per verificare questa scalabilità, hanno previsto con precisione la perdita finale di GPT-4 sul loro codice interno, estrapolando dai modelli addestrati con la stessa metodologia ma con 10.000 volte meno calcolo.
Stanno anche lavorando per sviluppare metodologie per prevedere metriche più interpretabili, come il tasso di successo su un sottoinsieme del dataset HumanEval. Alcune capacità, tuttavia, sono ancora difficili da prevedere.
Prevedere con precisione le future capacità di apprendimento automatico è una parte importante della sicurezza. OpenAI sta intensificando gli sforzi per sviluppare metodi che forniscono alla società una migliore guida su cosa aspettarsi dai futuri sistemi.
OpenAI Evals e accesso a GPT-4
OpenAI sta rendendo open-source OpenAI Evals, il loro framework software per creare e eseguire benchmark per valutare modelli come GPT-4. Si augurano che Evals diventi uno strumento per condividere e mettere a disposizione i benchmark, rappresentando un insieme di modalità di fallimento e compiti difficili.
Per i sottoscrittori di ChatGPT Plus, GPT-4 sarà accessibile su chat.openai.com con un limite di utilizzo. In base ai modelli di traffico, potrebbero introdurre un nuovo livello di abbonamento per un utilizzo più elevato di GPT-4 e offrire un certo numero di query gratuite per permettere anche a chi non ha un abbonamento di provarlo.
Per accedere all’API di GPT-4, è possibile iscriversi alla lista d’attesa di OpenAI. Inviteranno gradualmente gli sviluppatori per bilanciare la capacità con la domanda.
I ricercatori che studiano l’impatto sociale dell’IA o le questioni di allineamento dell’IA possono anche richiedere l’accesso a tariffe ridotte tramite il Programma di Accesso per Ricercatori di OpenAI.
Conclusione e prospettive future
OpenAI spera che GPT-4 diventi uno strumento prezioso per migliorare la vita delle persone, alimentando molte applicazioni. C’è ancora molto lavoro da fare e non vedono l’ora di migliorare questo modello attraverso gli sforzi collettivi della comunità che costruisce, esplora e contribuisce al modello.
La collaborazione con ricercatori esterni è fondamentale per migliorare la comprensione e valutazione degli impatti potenziali dei sistemi AI, così come per costruire valutazioni per le capacità pericolose che potrebbero emergere nei futuri sistemi. OpenAI condividerà ulteriori riflessioni sulle possibili implicazioni sociali ed economiche di GPT-4 e altri sistemi di intelligenza artificiale.
Man mano che i modelli come GPT-4 diventano più potenti e influenti, è essenziale lavorare insieme per sviluppare metodologie di sicurezza e valutazione sempre più efficaci. La cooperazione tra istituzioni, ricercatori e sviluppatori sarà fondamentale per garantire che queste tecnologie siano utilizzate in modo responsabile e sicuro.
Infine, OpenAI si impegna a migliorare le proprietà di sicurezza di GPT-4 rispetto a GPT-3.5, riducendo la tendenza del modello a rispondere a richieste di contenuti non consentiti dell’82% e migliorando la conformità alle loro politiche per le richieste sensibili del 29%. Tuttavia, è ancora possibile ottenere comportamenti indesiderati dal modello, e ci sono ancora “evasioni” che consentono di generare contenuti contrari alle linee guida. Man mano che il “rischio per token” dei sistemi di intelligenza artificiale aumenta, sarà fondamentale raggiungere un elevato grado di affidabilità in questi interventi.
Per affrontare queste sfide, OpenAI continuerà a lavorare a stretto contatto con esperti di vari settori, come l’allineamento dei rischi dell’IA, la sicurezza informatica, il rischio biologico, la fiducia e la sicurezza, e la sicurezza internazionale. Questi esperti aiuteranno a testare e migliorare il comportamento del modello in aree ad alto rischio che richiedono competenze specifiche per essere valutate.
L’obiettivo finale è garantire un approccio olistico e collaborativo per l’uso etico, sicuro e responsabile delle tecnologie di intelligenza artificiale come GPT-4. Attraverso la ricerca, la condivisione di conoscenze e la cooperazione tra istituzioni e individui, possiamo lavorare insieme per creare un futuro in cui l’IA sia al servizio dell’umanità e contribuisca al progresso e al benessere di tutti.
Ulteriori sviluppi e ricerche
OpenAI è consapevole che per affrontare le sfide poste da GPT-4 e dai modelli futuri, è necessario un costante impegno nella ricerca e nello sviluppo di soluzioni innovative. Questo include non solo miglioramenti alle prestazioni e alle funzionalità del modello, ma anche lo sviluppo di nuove tecniche di sicurezza e l’implementazione di meccanismi di controllo più efficaci.
Un’area di particolare interesse è la possibilità di rendere i modelli AI più trasparenti e spiegabili, in modo che gli utenti possano comprendere meglio i processi decisionali e le ragioni dietro le risposte fornite dai modelli. Inoltre, OpenAI riconosce l’importanza di sviluppare metodologie di valutazione che consentano di prevedere con precisione le capacità e i limiti dei futuri sistemi di apprendimento automatico, in modo che la società possa essere meglio preparata a gestire gli impatti di queste tecnologie.
Promuovere la condivisione e la collaborazione
OpenAI è impegnata a promuovere un ambiente di condivisione e collaborazione nel campo dell’intelligenza artificiale. Una parte importante di questo impegno è rendere open-source il loro framework software, come OpenAI Evals, per creare e eseguire benchmark per valutare modelli come GPT-4. Ciò consentirà ai ricercatori e agli sviluppatori di tutto il mondo di condividere e accedere ai benchmark, facilitando la scoperta e l’analisi di nuove modalità di fallimento e compiti difficili.
Inoltre, OpenAI lavora con partner e ricercatori esterni per condividere i risultati delle loro ricerche e per migliorare la comprensione degli impatti potenziali e delle sfide poste dai sistemi AI avanzati come GPT-4. Questa cooperazione è fondamentale per garantire che le tecnologie AI siano utilizzate in modo sicuro, etico e responsabile.
Un futuro promettente
Mentre GPT-4 e altri sistemi AI avanzati continuano a migliorare e ad acquisire nuove capacità, è fondamentale che l’intera comunità di ricerca e sviluppo lavori insieme per affrontare le sfide poste da queste tecnologie. Con un impegno congiunto per la ricerca, la condivisione di conoscenze e la cooperazione, possiamo garantire che l’intelligenza artificiale sia al servizio dell’umanità e contribuisca al progresso e al benessere di tutti.
