Gli embedding di GPT-3 sono vettori di numeri che rappresentano le parole o le frasi in un modello di linguaggio. GPT-3 è un modello di linguaggio basato su transformer, che utilizza gli embedding per codificare le parole in modo da poterle utilizzare per prevedere il prossimo termine o frase in un testo. Oltre a ChatGPT uscito il 30 di novembre, continuano le novità in casa OpenAI.
Contents
Cosa sono gli embeddings?
Un embedding è un modello di rappresentazione dei dati che viene utilizzato nel machine learning e nel natural language processing per trasformare elementi di un certo spazio di input (ad esempio parole o frasi) in uno spazio di dimensione inferiore. Gli embeddings sono utili perché consentono di rappresentare gli elementi di input in modo che siano facilmente utilizzabili dai modelli di machine learning.
Gli embeddings vengono solitamente creati utilizzando un modello di apprendimento automatico che prende in input un grande dataset e produce una matrice di pesi. Ogni elemento di input viene mappato in un vettore di numeri (ad esempio, una parola viene mappata in un vettore di 100 numeri). Questi vettori sono noti come “embeddings” dell’elemento di input.
Gli embeddings vengono utilizzati in molti modelli di machine learning, come ad esempio i modelli di classificazione del testo, i modelli di traduzione automatica e i modelli di sintesi vocale. In questi modelli, gli embeddings vengono utilizzati come input per il modello di machine learning, che li utilizza per prendere decisioni su come elaborare il testo o le parole in ingresso.
Ad esempio, in un modello di classificazione del testo, gli embeddings delle parole possono essere utilizzati per determinare il tema di un documento o il sentimento espresso in una frase.
Gli embedding di GPT-3
In GPT-3, ogni parola viene mappata in un vettore di numeri di dimensione fissa (ad esempio, una parola può essere mappata in un vettore di 2048 numeri). Questi vettori vengono utilizzati come input per il modello di GPT-3, che li utilizza per comprendere il significato delle parole e delle frasi.
GPT-3 utilizza anche gli embeddings per prevedere quali parole verranno inserite successivamente in una frase o in un paragrafo. Ad esempio, se il modello vede la parola “cane” in una frase, può utilizzare gli embeddings per prevedere che la parola successiva potrebbe essere “corre” o “abbaiare”.
Gli embeddings sono una parte importante di GPT-3 e vengono utilizzati in molti modi per aiutare il modello a comprendere e generare il testo.
Gli embeddings sono rappresentazioni numeriche di concetti convertite in sequenze di numeri, che permettono ai computer di comprendere facilmente le relazioni tra questi concetti. OpenAI
Nuovi modelli di encoding per GPT-3
Buone notizie gli utilizzatori di GPT-3, soprattutto per coloro che hanno bisogno di utilizzare gli embeddings. Dal 15 dicembre 2022 è stato introdotto il nuovo modello di embedding che è significativamente più capace, conveniente e semplice da usare.
Il nuovo modello, text-embedding-ada-002, sostituisce cinque modelli separati per la ricerca di testo, la somiglianza di testo e la ricerca di codice e supera il precedente modello più performante, Davinci, nella maggior parte dei compiti, con un prezzo inferiore del 99,8%.
Miglioramenti del modello
- Miglioramento delle performance. text-embedding-ada-002 supera tutti i vecchi modelli di embedding nei compiti di ricerca di testo, ricerca di codici e somiglianza di frasi e ottiene prestazioni comparabili nella classificazione del testo ai modelli precedenti.
- Unificazione delle funzionalità. E’ stata semplificata in modo significativo l’interfaccia dell’endpoint /embeddings, unendo i cinque modelli separati mostrati in precedenza (text-similarity, text-search-query, text-search-doc, code-search-text e code-search-code) in un unico nuovo modello. Questa singola rappresentazione ha ottenuto risultati migliori rispetto ai nostri precedenti modelli di embedding in una serie di benchmark di ricerca di testo, somiglianza di frasi e ricerca di codice.
- Contesto più lungo. La lunghezza del contesto del nuovo modello è aumentata di quattro volte, da 2048 a 8192, rendendo più conveniente lavorare con documenti lunghi.
- Dimensioni ridotte dell’embedding. Le nuove incorporazioni hanno solo 1536 dimensioni, un ottavo delle dimensioni delle incorporazioni davinci-001, il che rende le nuove incorporazioni più convenienti per lavorare con i database vettoriali.
- Prezzo ridotto. è stato significativamente ridotto il prezzo dei nuovi modelli di embedding del 90% rispetto ai vecchi modelli della stessa dimensione. Il nuovo modello raggiunge prestazioni migliori o simili a quelle dei vecchi modelli Davinci a un prezzo inferiore del 99,8%.
Nel complesso, il nuovo modello di embedding è uno strumento molto più potente per l’elaborazione del linguaggio naturale e per le attività di codifica.
