Hello Dolly : démocratiser la magie de ChatGPT avec les modèles ouverts

Mise à jour du 12 avril 2023 : Nous avons publié Dolly 2.0, sous licence pour la recherche et l'utilisation commerciale. Consultez le nouveau billet de blog ici.

Résumé

Nous montrons que n'importe qui peut prendre un grand modèle de langage (LLM) open source et prêt à l'emploi, même daté, et lui conférer une capacité magique de suivi d'instructions, à la manière de ChatGPT, en l'entraînant pendant 30 minutes sur une seule machine à l'aide de données d'entraînement de haute qualité. Étonnamment, le suivi d'instructions ne semble pas nécessiter les modèles les plus récents ou les plus grands : notre modèle ne compte que 6 milliards de paramètres, contre 175 milliards pour GPT-3. Nous publions le code de notre modèle (Dolly) en open source et montrons comment il peut être recréé sur Databricks. Nous pensons que des modèles comme Dolly contribueront à démocratiser les LLM, les transformant d'une technologie que très peu d'entreprises peuvent s'offrir en une ressource que chaque entreprise peut posséder et personnaliser pour améliorer ses produits.

Arrière-plan

ChatGPT, un modèle propriétaire suivant des instructions, a été lancé en novembre 2022 et a conquis le monde. Le modèle a été entraîné sur des milliers de milliards de mots provenant du Web, nécessitant un nombre massif de GPU pour son développement. Cela a rapidement conduit Google et d'autres entreprises à lancer leurs propres modèles propriétaires suivant des instructions. En février 2023, Meta a publié les poids pour un ensemble de modèles de langage de haute qualité (mais ne suivant pas d'instructions) appelés LLaMA à des chercheurs universitaires, entraînés pendant plus de 80 000 heures-GPU chacun. Puis, en mars, Stanford a créé le modèle Alpaca, qui était basé sur LLaMA, mais affiné sur un petit dataset de 50 000 questions et réponses de type humain qui, de manière surprenante, lui a permis de présenter une interactivité similaire à celle de ChatGPT.

Présentation de Dolly

Aujourd'hui, nous présentons Dolly, un LLM économique qui démontre une étonnante capacité à suivre les instructions, comparable à celle de ChatGPT. Alors que les travaux de l'équipe Alpaca ont montré que les modèles de pointe pouvaient être amenés à adopter un comportement de suivi d'instructions de haute qualité, nous constatons que même des modèles open source datant de plusieurs années et dotés d'architectures beaucoup plus anciennes présentent des comportements frappants lorsqu'ils sont affinés sur un petit corpus de données d'entraînement aux instructions. Dolly fonctionne en prenant un modèle open source existant de 6 milliards de paramètres d'EleutherAI et en le modifiant très légèrement pour lui insuffler des capacités de suivi d'instructions, telles que le brainstorming et la génération de texte, qui ne sont pas présentes dans le modèle original, en utilisant les données d'Alpaca.

Le modèle sous-jacent à Dolly n'a que 6 milliards de paramètres, contre 175 milliards pour GPT-3, et il date d'il y a deux ans, ce qui rend ses excellentes performances particulièrement surprenantes. Cela suggère qu'une grande partie des gains qualitatifs des modèles de pointe comme ChatGPT pourrait être due à des corpus ciblés de données d'entraînement au suivi d'instructions, plutôt qu'à des modèles de base plus grands ou mieux réglés. Nous avons baptisé le modèle Dolly — en hommage à la brebis Dolly, le premier mammifère cloné — car il s'agit d'un clone open source d'un Alpaca, inspiré d'un LLaMA. Nous n'en sommes qu'aux prémices de la démocratisation de l'IA pour les entreprises et il reste encore beaucoup à faire, mais nous pensons que la technologie sous-jacente à Dolly représente une nouvelle opportunité passionnante pour les entreprises qui souhaitent créer à moindre coût leurs propres modèles de suivi d'instructions.

Nous avons évalué Dolly sur les capacités de suivi d'instructions décrites dans l'article InstructGPT sur lequel se base ChatGPT et nous avons constaté qu'il présente un grand nombre des mêmes capacités qualitatives, y compris la génération de texte, le brainstorming et les Q&A ouvertes. Ce qui est particulièrement remarquable dans ces exemples, ce n'est pas la qualité du texte généré, mais plutôt l'amélioration considérable de la capacité de suivi d'instructions qui résulte de l'affinement d'un modèle open source datant de plusieurs années sur un petit dataset de haute qualité.

Génération

#DataScience #NaturalLanguageProcessing

[Link vers la publication du modèle Dolly]

Modèle original :

Je ne suis pas sûr que vous puissiez publier un emplacement - n'importe quoi sur le site web fera l'affaire.

Je ne l'ai que depuis une semaine. Il est en parfait état, avec le câble de chargement et l'étui à fenêtre intacts. Je l'ai acheté pour 1800 $ avec un retrait en magasin dans un magasin de San Francisco. Plus la taxe et le prix non divulgué de Costco.

S'il vous plaît, que quelqu'un me dise qu'il s'agit d'une arnaque et non d'une véritable offre.

Je viens de recevoir un e-mail disant que l'appareil photo est chez quelqu'un pour qu'une autre personne puisse le récupérer et me demandant si je voulais leur envoyer un message, eh bien non, je le vends car je ne ferais jamais...

Dolly :

Vous cherchez un appareil photo fiable pour vos travaux photo et vidéo ? Découvrez le Nikon D-750 ! Cet appareil photo élégant et léger est doté d'un capteur de 24,2 Mpx et d'un enregistrement vidéo 1080/60p, ce qui en fait un excellent choix pour immortaliser les moments de la vie. La poignée ergonomique et le système d'autofocus à neuf points facilitent son utilisation et la prise de vue sans tracas. Grâce au Wi-Fi, vous pouvez facilement uploader vos photos sur votre ordinateur ou votre smartphone sans avoir à acheter de stockage externe dédié. Achetez le Nikon D-750 maintenant pour découvrir pourquoi c'est le meilleur choix pour la photographie et la vidéographie !

Q&A ouvert

Remue-méninges

Pourquoi les modèles ouverts ?

De nombreuses raisons peuvent pousser une entreprise à préférer créer son propre modèle plutôt que d'envoyer des données à un fournisseur de LLM centralisé qui propose un modèle propriétaire via une API. Pour de nombreuses entreprises, les problèmes et les datasets les plus susceptibles de bénéficier de l'IA représentent leur propriété intellectuelle la plus sensible et exclusive, et la confier à un tiers peut être inacceptable. De plus, les organisations peuvent avoir des compromis différents en termes de qualité du modèle, de coût et de comportement souhaité. Nous pensons que la plupart des utilisateurs de ML ont tout intérêt, à long terme, à posséder directement leurs modèles.

Nous publions en open source un simple notebook Databricks que vous pouvez utiliser pour créer vous-même Dolly sur Databricks. Pour télécharger et expérimenter avec le modèle, rendez-vous sur la page Hugging Face de Databricks ! 

Et maintenant ?

La sortie de Dolly est la première d'une série d'annonces de Databricks visant à aider chaque organisation à exploiter la puissance des grands modèles linguistiques. Nous croyons au pouvoir incroyable de l'intelligence artificielle pour transformer la productivité de chaque organisation et de chaque individu, et nous vous invitons à nous rejoindre dans cette aventure. Restez à l'écoute pour en savoir plus dans ce domaine dans les semaines à venir ! 

Vous pouvez également découvrir comment votre entreprise peut tirer parti des LLM et comment Databricks a créé Dolly lors de notre webinar du 25 avril. Rejoignez-nous!

Nous sommes également ravis de vous en dire plus sur Dolly, notamment avec une formation pratique et une présentation détaillée de notre feuille de route LLM, lors du Data and AI Summit de cette année. Nous vous encourageons à vous inscrire pour nous rejoindre en personne ou virtuellement.

Remerciements

Ce travail doit beaucoup aux efforts et aux insights de nombreuses organisations incroyables. Cela aurait été impossible sans la mise en open source et l'entraînement de GPT-J par EleutherAI. Nous sommes inspirés par les idées et les données incroyables du Stanford Center for Research on Foundation Models et plus particulièrement de l'équipe derrière Alpaca. L'idée maîtresse derrière la puissance démesurée des petits datasets vient de l'article original sur le Self-Instruct. Nous remercions également Hugging Face pour l'hébergement, la mise en open source et la maintenance d'innombrables modèles et bibliothèques ; leur contribution à l'état de l'art ne peut être surestimée.

Avertissement : l'IA générative est une technologie émergente et nous n'en sommes qu'aux premiers stades de la recherche sur la manière de traiter l'exactitude des faits, les biais, les réponses offensantes, la toxicité générale et les hallucinations dans les LLM. Dolly, comme d'autres modèles linguistiques, peut parfois présenter ces comportements et nous invitons nos utilisateurs à faire preuve de discernement dans la conception des applications de cette technologie.