Hello Dolly: Democratizzare la magia di ChatGPT con modelli aperti

Aggiornamento del 12 aprile 2023: abbiamo rilasciato Dolly 2.0, con licenza per uso sia di ricerca che commerciale. Leggi il nuovo post su un blog qui.

Riepilogo

Dimostriamo che chiunque può prendere un modello linguistico di grandi dimensioni (LLM) open source, pronto all'uso ma datato, e conferirgli una magica capacità di seguire le istruzioni simile a ChatGPT, addestrandolo in 30 minuti su una singola macchina con dati di addestramento di alta qualità. Sorprendentemente, la capacità di seguire le istruzioni non sembra richiedere i modelli più recenti o più grandi: il nostro modello ha solo 6 miliardi di parametri, rispetto ai 175 miliardi di GPT-3. Rendiamo open source il codice del nostro modello (Dolly) e mostriamo come può essere ricreato su Databricks. Crediamo che modelli come Dolly contribuiranno a democratizzare i LLM, trasformandoli da qualcosa che pochissime aziende possono permettersi in un prodotto di base che ogni azienda può possedere e personalizzare per migliorare i propri prodotti.

Sfondo

ChatGPT, un modello proprietario addestrato a seguire istruzioni, è stato rilasciato a novembre 2022 e ha conquistato il mondo. Il modello è stato addestrato su trilioni di parole dal web, richiedendo un numero enorme di GPU per lo sviluppo. Ciò ha portato rapidamente Google e altre aziende a rilasciare i propri modelli instruction-following proprietari. A febbraio 2023, Meta ha rilasciato ai ricercatori accademici i pesi per una serie di modelli linguistici di alta qualità (ma non di tipo instruction-following) chiamati LLaMA, addestrati per oltre 80.000 ore-GPU ciascuno. Poi, a marzo, Stanford ha creato il modello Alpaca, basato su LLaMA, ma ottimizzato su un piccolo set di dati di 50.000 domande e risposte simili a quelle umane che, sorprendentemente, gli ha conferito un'interattività simile a quella di ChatGPT.

Vi presentiamo Dolly

Oggi presentiamo Dolly, un LLM economico da realizzare che presenta un sorprendente livello di capacità di seguire le istruzioni, come quelle dimostrate da ChatGPT. Mentre il lavoro del team di Alpaca ha mostrato che i modelli all'avanguardia potevano essere indotti ad adottare un comportamento di alta qualità nel seguire le istruzioni, noi abbiamo scoperto che anche i modelli open source di vecchia data con architetture molto precedenti mostrano comportamenti sorprendenti quando vengono sottoposti a fine-tuning su un piccolo corpus di dati di addestramento basati su istruzioni. Dolly funziona prendendo un modello open source esistente da 6 miliardi di parametri di EleutherAI e modificandolo leggermente per ottenere capacità di seguire istruzioni, come il brainstorming e la generazione di testo, non presenti nel modello originale, utilizzando i dati di Alpaca.

Il modello alla base di Dolly ha solo 6 miliardi di parametri, rispetto ai 175 miliardi di GPT-3, e ha due anni, il che rende particolarmente sorprendente il suo ottimo funzionamento. Ciò suggerisce che gran parte dei miglioramenti qualitativi nei modelli all'avanguardia come ChatGPT potrebbero essere dovuti a corpus mirati di dati di addestramento per il seguire le istruzioni, piuttosto che a modelli di base più grandi o meglio ottimizzati. Abbiamo chiamato il modello Dolly, in onore della pecora Dolly, il primo mammifero clonato, perché è un clone open source di un Alpaca, ispirato a un LLaMA. Siamo agli albori della democratizzazione dell'IA per le aziende e c'è ancora molto lavoro da fare, ma crediamo che la tecnologia alla base di Dolly rappresenti una nuova ed entusiasmante opportunità per le aziende che vogliono creare in modo economico i propri modelli instruction-following.

Abbiamo valutato Dolly per le sue abilità nel seguire le istruzioni, descritte nel paper InstructGPT su cui si basa ChatGPT, e abbiamo riscontrato che mostra molte delle stesse capacità qualitative, tra cui la generazione di testo, il brainstorming e le sessioni di domande e risposte aperte. Ciò che è particolarmente degno di nota in questi esempi non è la qualità del testo generato, ma piuttosto l'enorme miglioramento della capacità di seguire le istruzioni che deriva dal fine-tuning di un modello open-source di diversi anni su un set di dati piccolo e di alta qualità.

Generazione

#DataScience #NaturalLanguageProcessing

[Link al rilascio del modello Dolly]

Modello originale:

Non sono sicuro se puoi pubblicare un luogo, qualsiasi cosa sul sito web andrà bene.

Ce l'ho solo da una settimana. È in perfette condizioni, con il cavo di ricarica e la custodia con finestra intatti. L'ho acquistato a 1800 $ con ritiro in un negozio di San Francisco. Più tasse e il prezzo non comunicato di Costco.

Qualcuno mi faccia sapere se si tratta di una truffa e non di un'offerta reale.

Ho appena ricevuto un'e-mail in cui si diceva che la fotocamera è a casa di qualcuno, quindi qualcun altro può ritirarla, e mi chiedeva se volessi inviargli un messaggio. Beh, no, la sto vendendo perché non potrei mai…

Dolly:

Cerchi una fotocamera affidabile per lavori di foto e video? Dai un'occhiata alla Nikon D-750! Questa fotocamera elegante e leggera ha un sensore da 24,2 MP e registrazione video 1080/60p, che la rendono un'ottima scelta per catturare i momenti della vita. L'impugnatura ergonomica e il sistema di autofocus a nove punti la rendono facile da usare per scattare senza problemi. Con il Wi-Fi, puoi upload facilmente le tue foto sul tuo computer o smartphone senza dover acquistare un'unità di archiviazione esterna dedicata. Acquista subito la Nikon D-750 per scoprire perché è la scelta migliore per la fotografia e la videografia!

Q&A aperta

Brainstorming

Perché i modelli aperti?

Ci sono molte ragioni per cui un'azienda preferirebbe creare il proprio modello piuttosto che inviare dati a un fornitore di LLM centralizzato che eroga un modello proprietario tramite un'API. Per molte aziende, i problemi e i set di dati che hanno maggiori probabilità di trarre vantaggio dall'AI rappresentano la loro proprietà intellettuale più sensibile e proprietaria, e affidarla a terzi può essere inaccettabile. Inoltre, le organizzazioni possono dover scendere a compromessi diversi in termini di qualità del modello, costo e comportamento desiderato. Riteniamo che la maggior parte degli utenti di ML tragga maggiori benefici a lungo termine dal possedere direttamente i propri modelli.

Stiamo rendendo open source un semplice notebook di Databricks che puoi usare per creare Dolly autonomamente su Databricks. Per scaricare e sperimentare con il modello, visita la pagina Hugging Face di Databricks! 

E adesso?

Il rilascio di Dolly è il primo di una serie di annunci di Databricks volti ad aiutare ogni organizzazione a sfruttare la potenza dei modelli linguistici di grandi dimensioni. Crediamo nell'incredibile potere dell'intelligenza artificiale di trasformare la produttività di ogni organizzazione e individuo e ti invitiamo a unirti a noi in questo viaggio. Restate sintonizzati per ulteriori novità in questo settore nelle prossime settimane! 

Puoi anche scoprire in che modo la tua azienda può trarre vantaggio dagli LLM e come Databricks ha creato Dolly nel nostro webinar del 25 aprile. Unisciti a noi!

Siamo anche entusiasti di condividere molto di più su Dolly, inclusa l'addestramento pratico e un approfondimento sulla nostra roadmap per i LLM, al Data and AI Summit di quest'anno. Vi invitiamo a registrarvi per unirvi a noi di persona o virtualmente.

Ringraziamenti

Questo lavoro deve molto agli sforzi e agli approfondimenti di molte organizzazioni incredibili. Questo non sarebbe stato possibile senza EleutherAI, che ha reso open-source e ha fornito l'addestramento di GPT-J. Traiamo ispirazione dalle idee e dai dati incredibili dello Stanford Center for Research on Foundation Models e in particolare dal team dietro ad Alpaca. L'idea di base dietro il potere smisurato dei piccoli set di dati si deve all'articolo originale su Self-Instruct. Siamo anche grati a Hugging Face per aver ospitato, reso open source e mantenuto innumerevoli modelli e librerie; il loro contributo allo stato dell'arte non può essere sopravvalutato.

Avvertenza: l'AI generativa è una tecnologia emergente e siamo nelle prime fasi della ricerca su come affrontare l'accuratezza dei fatti, il bias, le risposte offensive, la tossicità generale e le allucinazioni negli LLM. Dolly, come altri modelli linguistici, può talvolta manifestare questi comportamenti ed esortiamo i nostri utenti a usare il buon senso nella progettazione di applicazioni basate su questa tecnologia.