Loading AI tools
modello linguistico Da Wikipedia, l'enciclopedia libera
Generative Pre-trained Transformer 3 (GPT·3) è un modello linguistico di grandi dimensioni autoregressivo che utilizza l'apprendimento profondo per produrre testo simile al linguaggio naturale umano. "Si tratta di un algoritmo di Natural Language Generation, un settore della linguistica computazionale focalizzato sulla generazione automatica di espressioni linguistiche che siano morfologicamente, sintatticamente e semanticamente corrette e il più possibile simili all’uso umano della lingua".[1]
| Generative Pre-trained Transformer 3 (GPT-3) software | |
|---|---|
 | |
| Genere | Intelligenza artificiale (non in lista) |
| Sviluppatore | OpenAI |
| Data prima versione | 28 maggio 2020 |
| Ultima versione | 175B |
| Sistema operativo | Cloud Computing (non in lista) |
| Licenza | licenza proprietaria (licenza non libera) |
| Sito web | github.com/openai/gpt-3 |
Come il precedente GPT-2, l'architettura si basa su un modello di trasformatore con 175 miliardi di parametri, che richiedono 800 GB di memoria per l'esecuzione. Il metodo di apprendimento è detto "pre-addestramento generativo", e ha lo scopo di fornire al sistema la capacità di prevedere quale sarà la prossima parola nell'ambito di una frase o di un insieme di frasi. Il modello ha dimostrato un apprendimento rapido su molte attività basate su testo.
È il modello di terza generazione della serie GPT creato da OpenAI, un laboratorio di ricerca sull'intelligenza artificiale con sede a San Francisco.[2] La versione completa di GPT-3 ha una capacità di 175 miliardi di parametri di apprendimento automatico. GPT-3, introdotto a maggio 2020 [3], segue il trend dei sistemi di elaborazione del linguaggio naturale (NLP) delle rappresentazioni linguistiche pre-addestrate.
La qualità del testo generato da GPT-3 è talmente alta che può essere difficile determinare se è stato scritto o meno da un essere umano, il che presenta sia vantaggi che rischi.[4] Trentuno ricercatori e ingegneri di OpenAI hanno presentato il documento originale che introduceva GPT-3 il 28 maggio 2020. Nell'articolo hanno avvertito dei potenziali pericoli di GPT-3 e hanno suggerito ulteriori ricerche per analizzare e mitigare il rischio. Il filosofo australiano David Chalmers ha descritto GPT-3 come "uno dei più interessanti e importanti sistemi di intelligenza artificiale mai prodotti".[5]
Microsoft ha annunciato il 22 settembre 2020 di avere in licenza l'uso "esclusivo" di GPT-3; altri enti o utilizzatori finali possono ancora utilizzare le API (Application Programming Interface) pubbliche per ricevere l'output, ma solo Microsoft ha accesso al modello sottostante di GPT-3.[6]
La versione GPT-3.5 è alla base di ChatGPT, il modello linguistico di grandi dimensioni di OpenAI, che ha raggiunto capacità sorprendenti. Dalla data del suo rilascio il 3 novembre 2022 a febbraio 2023, ha visto crescere la sua popolarità in tutto il mondo, raggiungendo velocemente i 100 milioni di utenti. ChatGPT avrà un impatto enorme nella diffusione, nell'uso e nella comprensione dell'intelligenza artificiale in tantissimi domini della società, dell'economia e della cultura umana.
Una recensione del New York Times dell'aprile 2022 ha descritto alcune capacità di GPT-3, come scrivere una prosa originale con una fluidità equivalente a quella di un essere umano.[7]
Altri modelli di intelligenza artificiale utilizzano versioni modificate di GPT-3 per generare immagini partendo da un frase in lingua inglese, in particolare DALL-E, DALL-E 2 e DALL-E 3.
Il 14 marzo 2023 OpenAI ha annunciato il rilascio della quarta generazione del modello, GPT-4, che accetta input di immagini e testo, producendo output di testo. GPT-4 mostra prestazioni a livello umano su vari benchmark professionali e accademici, sebbene sia meno capace degli uomini in molti scenari del mondo reale.
Secondo The Economist, algoritmi perfezionati, computer più potenti e l'aumento dei dati digitalizzati disponibili da Internet, hanno alimentato la rivoluzione nell'apprendimento automatico, con nuove tecniche introdotte negli anni 2010 che hanno portato a "rapidi miglioramenti nelle attività", inclusa la manipolazione del linguaggio.[8] I modelli vengono addestrati all'apprendimento utilizzando migliaia o milioni di esempi in una "struttura ... liberamente basata sull'architettura neurale del cervello".[8] Una delle architetture utilizzate nell'elaborazione del linguaggio naturale (NLP) è la rete neurale basata sul modello di deep learning introdotto per la prima volta nel 2017: il transformer. I modelli GPT-n si basano su questa architettura di rete neurale ad apprendimento profondo. Esistono numerosi sistemi NLP in grado di elaborare, estrarre, organizzare, collegare e contrastare l'input testuale, oltre a rispondere correttamente alle domande.[9]
L'11 giugno 2018, ricercatori e ingegneri di OpenAI hanno pubblicato il loro articolo originale sui modelli linguistici generativi che potrebbero essere pre-addestrati con un corpus di testo enorme e diversificato tramite insiemi di dati, in un processo che hanno chiamato "pre-allenamento generativo".[10] Gli autori hanno descritto come le prestazioni nella comprensione del linguaggio naturale sono state migliorate in GPT-n attraverso un processo di "pre-allenamento generativo" di un modello linguistico su un corpus diversificato di testo non etichettato, seguito da una messa a punto discriminativa su ogni specifico compito. Ciò ha eliminato la necessità della supervisione umana e dell'etichettatura manuale che richiede molto tempo.[10]
Nel febbraio 2020 Microsoft ha introdotto il modello Turing Natural Language Generation (T-NLG), definito all'epoca il "modello linguistico più grande mai pubblicato, con 17 miliardi di parametri".[11].
Il 28 maggio 2020, un preprint arXiv del gruppo di 31 ingegneri e ricercatori di OpenAI ha descritto lo sviluppo di GPT-3 come un "modello linguistico all'avanguardia" di terza generazione.[4] Il team ha aumentato la capacità di GPT-3 di oltre due ordini di grandezza rispetto a quella del suo predecessore, GPT-2,[12] rendendo GPT-3 il più grande modello linguistico non-sparso fino ad oggi. In un modello sparso, molti dei suoi parametri sono impostati su un valore costante, quindi anche se ci sono più parametri totali, ci sono informazioni meno significative. [2][13] Poiché GPT-3 è strutturalmente simile ai suoi predecessori, la sua maggiore precisione è attribuita alla sua maggiore capacità e al maggior numero di parametri.[13] La capacità di GPT-3 è dieci volte superiore a quella di Turing NLG di Microsoft, che era il secondo modello NLP più grande nel 2020.[4]
Il 60% del set di dati di pre-allenamento ponderato di GPT-3 proviene da una versione filtrata dell'intero web dal 2011 al 2021, detta "Common Crawl" e composta da 410 miliardi di token "codificati a coppie di byte" [10]. Altre fonti sono: 19 miliardi di token di WebText2 che rappresentano il 22% del totale ponderato; 12 miliardi di token della libreria Books1 che rappresentano l'8%; 55 miliardi di token della libreria Books2 che rappresentano l'8% e 3 miliardi di token di Wikipedia che rappresentano il 3%. GPT-3 è stato addestrato su centinaia di miliardi di parole ed è anche in grado di creare codice di programmazione in formato CSS, JavaScript eXtension e linguaggio Python, tra gli altri.[3] Una revisione del 2022 ha nuovamente evidenziato che l'addestramento continua per includere le revisioni di Wikipedia.[7]
| Set di dati | Numero di Token | Peso nel mix di addestramento |
|---|---|---|
| Common Crawl | 410 miliardi | 60% |
| WebText2 | 19 miliardi | 22% |
| Books1 | 12 miliardi | 8% |
| Books2 | 55 miliardi | 8% |
| Wikipedia | 3 miliardi | 3% |
Poiché i dati di addestramento di GPT-3 erano onnicomprensivi, non serve un'ulteriore formazione per compiti linguistici distinti.[3] I dati di addestramento contengono occasionalmente un linguaggio "tossico", pertanto GPT-3 può occasionalmente generare 'linguaggio tossico' come risultato dell'imitazione dei suoi dati di addestramento. Uno studio dell'Università di Washington ha scoperto che GPT-3 produceva linguaggio tossico a un livello di tossicità paragonabile ai modelli di GPT-2 e CTRL. GPT-3 ha prodotto un linguaggio meno tossico rispetto al precedente GPT-1, ma maggiore rispetto a CTRL Wiki, un modello linguistico addestrato interamente sui dati di Wikipedia.[14]
GPT-3 è in grado di eseguire l'apprendimento "zero-shot", "few-shot" e "one-shot".
L'11 giugno 2020, OpenAI ha annunciato che le persone potevano richiedere l'accesso alle API di GPT-3, quale "set di strumenti di apprendimento automatico", per aiutare OpenAI a "esplorare i punti di forza e i limiti" di questa nuova tecnologia.[15][16] L'invito descriveva come queste API avessero un'interfaccia generica "text in, text out" in grado di completare quasi "qualsiasi attività in lingua inglese", invece del solito caso d'uso singolo.[15] Secondo un utente, che aveva accesso a una prima versione privata delle API, GPT-3 era "stranamente bravo" a scrivere "testo sorprendentemente coerente" con solo pochi semplici suggerimenti.[17] In un esperimento iniziale, a 80 soggetti statunitensi è stato chiesto di giudicare se brevi articoli di circa 200 parole fossero stati scritti da esseri umani oppure da GPT-3. I partecipanti hanno giudicato correttamente il 52% dei casi, leggermente meglio che fare delle supposizioni aleatorie.
Poiché GPT-3 può "generare articoli di notizie che i valutatori umani hanno difficoltà a distinguere dagli articoli scritti da uomini",[4] GPT-3 ha il "potenziale per far progredire le applicazioni dei modelli linguistici sia benefiche che dannose " [34]. Nel loro articolo del 28 maggio 2020, i ricercatori di OpenAI hanno descritto in dettaglio i potenziali "effetti dannosi di GPT-3" [4] che includono "disinformazione, spam, phishing, abuso di processi legali e governativi, scrittura di saggi accademici fraudolenti e scritti pretestuosi per l'ingegneria sociale". Gli autori richiamano l'attenzione su questi pericoli chiedendo ulteriori studi sulla mitigazione del rischio.
Nel giugno 2022, Almira Osmanovic Thunström ha scritto che GPT-3 era l'autore principale di un articolo su se stesso, inviato per la pubblicazione accademica [18] e che era stato pre-pubblicato in attesa del completamento della sua revisione.[19]
Il costruttore di GPT-3, OpenAI, è stato inizialmente fondato come organizzazione no-profit nel 2015.[38] Nel 2019, OpenAI non ha rilasciato pubblicamente il modello precursore di GPT-3, rompendo con le precedenti pratiche open source di OpenAI, adducendo la preoccupazione che il modello avrebbe perpetuato notizie false. OpenAI alla fine ha rilasciato una versione di GPT-2 che era l'8% delle dimensioni del modello originale.[39] Nello stesso anno, OpenAI si è ristrutturata per essere una società a scopo di lucro.[40] Nel 2020, Microsoft ha annunciato che la società aveva la licenza esclusiva di GPT-3 per i prodotti e servizi di Microsoft a seguito di un investimento multimiliardario in OpenAI. L'accordo consente a OpenAI di offrire un'API rivolta al pubblico in modo tale che gli utenti possano inviare testo a GPT-3 per ricevere l'output del modello, ma solo Microsoft avrà accesso al codice sorgente di GPT-3.[6]
Modelli linguistici di grandi dimensioni, come GPT-3, sono stati oggetto di critiche da parte dei ricercatori di Google sull'etica dell'IA per l'impatto ambientale (consumo energetico) che richiede la fase di apprendimento e della memorizzazione dei modelli, dettagliati in un documento del 2021 di Timnit Gebru, Emily M. Bender e altri.[41]
Il crescente uso di tecnologie di scrittura automatizzate, quali GPT-3 e altri, ha sollevato preoccupazioni riguardo l'integrità accademica [42] e aumentato la posta in gioco su come le università e le scuole valuteranno ciò che costituisce una cattiva condotta accademica come il plagio.[43]
GPT-3 è stato criticato per il suo "bias algoritmico": per esempio, è più probabile che associ l'Islam al terrorismo e le persone di colore al crimine.[44]
Nella sua risposta alla richiesta di commenti sulla protezione della proprietà intellettuale per l'innovazione nell'intelligenza artificiale dell'Ufficio brevetti e marchi degli Stati Uniti ("USPTO"), OpenAI riconosce che "la protezione del copyright sorge automaticamente quando un autore crea un'opera originale e la corregge in modo tangibile, la stragrande maggioranza dei contenuti pubblicati online è protetta dalle leggi sul copyright degli Stati Uniti.[45] GPT è stato creato con i dati del Common Crawl, un conglomerato di articoli protetti da copyright, post su Internet, pagine Web e libri estratti da 60 milioni di domini in un periodo di circa 10 anni (2011-2021). TechCrunch afferma che questi dati di apprendimento includono materiale protetto da copyright, ad esempio della BBC, del The New York Times, di Reddit, il testo completo di libri online e altro ancora.[46] Nell'aprile 2021, un gruppo di informatici ha utilizzato uno strumento che identifica il testo generato da GPT nel tentativo di comprendere e isolare il motivo della comparsa di strane frasi negli articoli scientifici. Cabanac e colleghi hanno eseguito una selezione di abstract della rivista "Microprocessors and Microsystems" e hanno scoperto "difetti critici", come testo senza senso, oppure testo e immagini plagiate.[47]
Nel luglio 2023 OpenAI ha annunciato che GPT-3 sarà uno dei modelli linguistici dismessi a partire dal 4 gennaio 2024.[48]
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.
