Hallo Dolly: Die Magie von ChatGPT mit offenen Modellen demokratisieren

Update vom 12. April 2023: Wir haben Dolly 2.0 veröffentlicht, das sowohl für die Forschung als auch für die kommerzielle Nutzung lizenziert ist. Den neuen Blogpost finden Sie hier.

Übersicht

Wir zeigen, dass jeder ein veraltetes, handelsübliches Open-Source-Large-Language-Model (LLM) nehmen und ihm durch das Training mit hochwertigen Trainingsdaten in nur 30 Minuten auf einem einzigen Rechner magische, ChatGPT-ähnliche Fähigkeiten zur Befolgung von Anweisungen verleihen kann. Überraschenderweise scheint die Befolgung von Anweisungen nicht die neuesten oder größten Modelle vorauszusetzen: Unser Modell hat nur 6 Milliarden Parameter, verglichen mit 175 Milliarden bei GPT-3. Wir veröffentlichen den Code für unser Modell (Dolly) als Open Source und zeigen, wie es auf Databricks nachgebildet werden kann. Wir glauben, dass Modelle wie Dolly dabei helfen werden, LLMs zu demokratisieren und sie von etwas, das sich nur sehr wenige Unternehmen leisten können, in ein Produkt zu verwandeln, das jedes Unternehmen besitzen und zur Verbesserung seiner Produkte anpassen kann.

Hintergrund

ChatGPT, ein proprietäres, anweisungsorientiertes Modell, wurde im November 2022 veröffentlicht und eroberte die Welt im Sturm. Das Modell wurde auf Billionen von Wörtern aus dem Web trainiert, und seine Entwicklung erforderte eine riesige Anzahl von GPUs. Dies führte schnell dazu, dass Google und andere Unternehmen ihre eigenen proprietären, anweisungsempfänglichen Modelle veröffentlichten. Im Februar 2023 veröffentlichte Meta die Gewichte für eine Reihe hochwertiger (aber nicht anweisungsgesteuerter) Sprachmodelle namens LLaMA für akademische Forscher, die jeweils über 80.000 GPU-Stunden trainiert wurden. Im März entwickelte Stanford dann das Alpaca -Modell, das auf LLaMA basierte, aber auf einem kleinen Dataset von 50.000 menschenähnlichen Fragen und Antworten abgestimmt wurde, wodurch es überraschenderweise eine ChatGPT-ähnliche Interaktivität aufwies.

Wir stellen Dolly vor

Heute stellen wir Dolly vor, ein kostengünstig zu erstellendes LLM, das ein überraschendes Maß an den von ChatGPT bekannten Fähigkeiten zur Befolgung von Anweisungen aufweist. Während die Arbeit des Alpaca-Teams gezeigt hat, dass hochmoderne Modelle zu einem hochwertigen, anweisungsfolgenden Verhalten gebracht werden können, stellen wir fest, dass selbst jahrealte Open-Source-Modelle mit viel früheren Architekturen bemerkenswerte Verhaltensweisen aufweisen, wenn sie auf einem kleinen Korpus von Anweisungs-Trainingsdaten einem Fine-Tuning unterzogen werden. Dolly funktioniert, indem ein bestehendes Open-Source- Modell mit 6 Milliarden Parametern von EleutherAI genommen und unter Verwendung von Daten von Alpaca geringfügig modifiziert wird, um Fähigkeiten wie Brainstorming und Textgenerierung hervorzurufen, die im ursprünglichen Modell nicht vorhanden sind.

Das Dolly zugrundeliegende Modell hat nur 6 Milliarden Parameter, im Vergleich zu 175 Milliarden bei GPT-3, und ist zwei Jahre alt, weshalb es besonders überraschend ist, dass es so gut funktioniert. Dies legt nahe, dass ein Großteil der qualitativen Fortschritte bei State-of-the-Art-Modellen wie ChatGPT auf gezielte Korpora von anweisungsgesteuerten Trainingsdaten zurückzuführen sein könnte und nicht auf größere oder besser abgestimmte Basismodelle. Wir nennen das Modell Dolly – nach dem Schaf Dolly, dem ersten geklonten Säugetier –, weil es ein Open-Source-Klon eines Alpaca ist, inspiriert von einem LLaMA. Wir stehen am Anfang der Demokratisierung der KI für Unternehmen und es gibt noch viel zu tun. Wir glauben aber, dass die Technologie hinter Dolly eine aufregende neue Möglichkeit für Unternehmen darstellt, die kostengünstig ihre eigenen anweisungsempfänglichen Modelle erstellen möchten.

Wir haben Dolly hinsichtlich der im InstructGPT -Paper beschriebenen Fähigkeiten zur Befolgung von Anweisungen evaluiert, auf dem ChatGPT basiert, und festgestellt, dass es viele der gleichen qualitativen Fähigkeiten aufweist, darunter Textgenerierung, Brainstorming und offene Q&A. Besonders bemerkenswert an diesen Beispielen ist nicht die Qualität des generierten Textes, sondern vielmehr die enorme Verbesserung der Fähigkeit, Anweisungen zu befolgen, die sich aus dem Fine-Tuning eines jahrealten Open Source-Modells mit einem kleinen, hochwertigen Dataset ergibt.

Generierung

#DataScience #NaturalLanguageProcessing

[Link zur Veröffentlichung des Dolly-Modells]

Originalmodell:

Ich bin mir nicht sicher, ob du einen Standort posten kannst – alles auf der Website ist in Ordnung.

Ich habe es erst seit einer Woche. Es ist in neuwertigem Zustand, mit intaktem Ladekabel und intakter Schutzhülle. Ich habe es für 1800 $ zur Abholung in einem Geschäft in San Francisco gekauft. Zuzüglich Steuern und dem nicht genannten Costco-Preis.

Kann mir bitte jemand sagen, dass das ein Betrug und nicht wirklich ein Angebot ist.

Ich habe gerade eine E-Mail erhalten, in der stand, dass die Kamera bei jemandem zu Hause ist, damit sie jemand anderes abholen kann, und ob ich ihnen eine Nachricht schreiben wollte. Also nein, ich verkaufe sie, da ich niemals …

Dolly:

Suchen Sie eine zuverlässige Kamera für Foto- und Videoarbeiten? Schau dir die Nikon D-750 an! Diese elegante, leichte Kamera hat einen 24,2-MP-Sensor und eine 1080/60p-Videoaufnahme und ist damit eine großartige Wahl, um die besonderen Momente des Lebens festzuhalten. Der ergonomische Griff und das Neun-Punkt-Autofokussystem erleichtern die Handhabung und ermöglichen problemloses Fotografieren. Mit WLAN können Sie Ihre Bilder einfach auf Ihren Computer oder Ihr Smartphone uploaden, ohne einen dedizierten externen Speicher kaufen zu müssen. Kaufen Sie jetzt die Nikon D-750, um zu erleben, warum sie die beste Wahl für Fotografie und Videografie ist!

Offenes Q&A

Brainstorming

Warum offene Modelle?

Es gibt viele Gründe, warum ein Unternehmen lieber ein eigenes Modell entwickelt, anstatt Daten an einen zentralen LLM-Anbieter zu senden, der ein proprietäres Modell über eine API bereitstellt. Für viele Unternehmen stellen die Probleme und Datasets, die am ehesten von KI profitieren, ihr sensibelstes und proprietäres geistiges Eigentum dar, und die Übergabe an Dritte ist möglicherweise inakzeptabel. Darüber hinaus haben Organisationen möglicherweise unterschiedliche Abwägungen in Bezug auf Modellqualität, Kosten und gewünschtes Verhalten. Wir sind davon überzeugt, dass es für die meisten ML-Nutzer langfristig am besten ist, ihre Modelle direkt zu besitzen.

Wir stellen ein einfaches Databricks Notebook als Open Source zur Verfügung, mit dem Sie Dolly auf Databricks selbst erstellen können. Um das Modell herunterzuladen und damit zu experimentieren, besuchen Sie die Hugging Face -Seite von Databricks! 

Was kommt als Nächstes?

Die Veröffentlichung von Dolly ist die erste in einer Reihe von Ankündigungen von Databricks, die darauf abzielen, jede Organisation dabei zu unterstützen, die Leistungsfähigkeit von großen Sprachmodellen zu nutzen. Wir glauben an die unglaubliche Kraft der künstlichen Intelligenz, die Produktivität jeder Organisation und jedes Einzelnen zu transformieren, und laden Sie ein, uns auf dieser Reise zu begleiten. Bleiben Sie dran, in den kommenden Wochen gibt es hier mehr dazu! 

In unserem Webinar am 25. April können Sie außerdem erfahren, wie Ihr Unternehmen von LLMs profitieren kann und wie Databricks Dolly entwickelt hat. Mach mit!

Wir freuen uns außerdem darauf, auf dem diesjährigen Data and KI Summit mehr über Dolly zu berichten, darunter ein Hands-on-Training und einen tieferen Einblick in unsere LLM-Roadmap. Wir laden Sie ein, sich zu registrieren, um vor Ort oder virtuell teilzunehmen.

Danksagung

Diese Arbeit ist den Anstrengungen und Erkenntnissen vieler großartiger Organisationen zu verdanken. Dies wäre nicht möglich gewesen, ohne dass EleutherAI GPT-J als Open-Source-Software veröffentlicht und trainiert hätte. Wir wurden von den großartigen Ideen und Daten des Stanford Center for Research on Foundation Models und insbesondere von dem Team hinter Alpaca inspiriert. Die Kernidee hinter der überproportionalen Leistungsfähigkeit kleiner Datasets ist dem ursprünglichen Paper über Self-Instruct zu verdanken. Wir sind auch Hugging Face dankbar für das Hosting, die Open-Source-Bereitstellung und die Pflege unzähliger Modelle und Bibliotheken; ihr Beitrag zum Stand der Technik kann nicht hoch genug eingeschätzt werden.

Haftungsausschluss: Generative KI ist eine aufstrebende Technologie, und wir befinden uns in einem frühen Forschungsstadium, wie wir Faktentreue, Voreingenommenheit, beleidigende Antworten, allgemeine Toxizität und Halluzinationen in LLMs angehen können. Dolly kann, wie andere Sprachmodelle auch, manchmal diese Verhaltensweisen aufweisen, und wir bitten unsere Nutzer dringend, bei der Gestaltung von Anwendungen dieser Technologie Urteilsvermögen walten zu lassen.