Ankündigung der GA für AI-Modell-Sharing

Besonderer Dank geht an Daniel Benito (CTO, Bitext), Antonio Valderrabanos (CEO, Bitext), Chen Wang (Lead Solution Architect, AI21 Labs), Robbin Jang (Alliance Manager, AI21 Labs) und Alex Godfrey (Partner Marketing Lead, AI21 Labs) für ihre wertvollen Einblicke und Beiträge zu diesem Blog

Wir freuen uns, die allgemeine Verfügbarkeit von AI Model Sharing innerhalb von Databricks Delta Sharing und dem Databricks Marketplace bekannt zu geben. Dieser Meilenstein folgt auf die Ankündigung der Public Preview im Januar 2024. Seit dem Start der Public Preview haben wir mit neuen Kunden und Anbietern von AI Model Sharing wie Bitext, AI21 Labs und Ripple zusammengearbeitet, um AI Model Sharing weiter zu vereinfachen.

Mit Delta Sharing können Sie AI-Modelle ganz einfach und sicher teilen und bereitstellen. Die Freigabe kann innerhalb Ihrer Organisation oder extern über verschiedene Clouds, Plattformen und Regionen hinweg erfolgen. Darüber hinaus bietet der Databricks Marketplace mittlerweile über 75 AI-Modelle, darunter neue branchenspezifische AI-Modelle von John Snow Labs, OLA Krutrim und Bitext sowie Foundation Models wie Databricks DBRX, Llama 3, AI21 Labs, Mistral und viele andere. In diesem Blog beleuchten wir den geschäftlichen Bedarf für AI-Modell-Sharing und befassen uns näher mit Anwendungsfällen, die auf dem Foundation Model Jamba 1.5 Mini von AI21 und den Modellen von Bitext basieren.

AI-Modelle sind jetzt auch direkt „out-of-the-box“ im Unity Catalog verfügbar, was den Zugriff und die effiziente Bereitstellung von Modellen für Benutzer vereinfacht. Diese Entwicklung optimiert nicht nur die Benutzererfahrung, sondern verbessert auch die Zugänglichkeit von AI-Modellen und unterstützt die nahtlose Integration und Bereitstellung über verschiedene Plattformen und Regionen hinweg.

3 Vorteile von AI-Modell-Sharing

Hier sind die 3 Vorteile von AI-Modell-Sharing mit Databricks, die wir bei Early Adortern und Launch-Partnern beobachtet haben:

1. Geringere Kosten: Das AI-Modell-Sharing mit Delta Sharing senkt die Gesamtbetriebskosten, indem es die Ausgaben für Anschaffung, Entwicklung und Infrastruktur minimiert. Unternehmen können auf vorgefertigte Modelle oder Modelle von Drittanbietern zugreifen – entweder über Delta Sharing freigegeben oder aus dem Databricks Marketplace –, was die Anfangsinvestition und die Entwicklungszeit verkürzt. Das Teilen von Modellen mit Delta Sharing über Clouds und Plattformen hinweg optimiert die Infrastrukturnutzung, reduziert Redundanzen sowie Kosten und ermöglicht die Bereitstellung von Modellen näher am Endbenutzer, um die Latenz zu minimieren.
2. Produktionsreife Qualität: Mit Delta Sharing können Sie Modelle erwerben, die zu den Anwendungsfällen der Kunden passen, und diese auf einer einzigen Plattform für den gesamten AI-Lebenszyklus erweitern. Durch die Freigabe von Modellen auf der Databricks-Plattform erhalten Kunden Zugriff auf AI- und Governance-Funktionen, um jedes Modell in die Produktion zu überführen. Dies umfasst End-to-End-Funktionen zur Modellentwicklung, vom Model Serving bis zum Fine-Tuning, zusammen mit den Sicherheits- und Verwaltungsfunktionen von Unity Catalog wie Lineage und Lakehouse-Monitoring, was ein hohes Vertrauen in die Modelle und die zugehörigen Daten gewährleistet.
3. Vollständige Kontrolle: Bei der Arbeit mit Modellen von Drittanbietern ermöglicht Ihnen das AI-Modell-Sharing die volle Kontrolle über die entsprechenden Modelle und Datensätze. Da Delta Sharing es Kunden ermöglicht, vollständige Modellpakete zu erwerben, verbleiben das Modell und Ihre Daten in der Infrastruktur des Kunden und unter dessen Kontrolle. Sie müssen keine vertraulichen Daten an einen Anbieter senden, der das Modell im Namen des Kunden bereitstellt.

Wie funktioniert also AI-Modell-Sharing?

AI-Modell-Sharing basiert auf Delta Sharing. Anbieter können AI-Modelle entweder direkt über Delta Sharing mit Kunden teilen oder sie im Databricks Marketplace listen, der ebenfalls Delta Sharing nutzt.

Delta Sharing macht es einfach, AI-Modelle überall dort einzusetzen, wo Sie sie benötigen. Sie können Modelle an jedem beliebigen Ort trainieren und sie dann überall verwenden, ohne sie manuell verschieben zu müssen. Die Modellgewichte (d. h. Parameter, die das AI-Modell während des Trainings gelernt hat) werden automatisch in den Serving-Endpunkt geladen (d. h. an den Ort, an dem das Modell „lebt“). Dies erübrigt das mühsame Verschieben von Modellen nach jedem Modelltraining oder Fine-Tuning, sichert eine Single Source of Truth und optimiert den Bereitstellungsprozess. Beispielsweise können Kunden Modelle in der Cloud und Region trainieren, die die günstigste Trainingsinfrastruktur bietet, und das Modell dann in einer anderen Region näher am Endbenutzer bereitstellen, um die Inferenzlatenz zu minimieren (d. h. die Zeit zu verkürzen, die ein AI-Modell benötigt, um Daten zu verarbeiten und Ergebnisse zu liefern).

Der Databricks Marketplace, powered by Delta Sharing, ermöglicht es Ihnen, ganz einfach über 75 AI-Modelle zu finden und zu nutzen. Sie können diese Modelle so einrichten, als befänden sie sich auf Ihrem lokalen System, und Delta Sharing aktualisiert sie automatisch bei der Bereitstellung oder bei Upgrades. Sie können Modelle auch mit Ihren eigenen Daten für Aufgaben wie die Verwaltung einer Wissensdatenbank anpassen. Als Anbieter benötigen Sie nur eine einzige Kopie Ihres Modells, um es mit all Ihren Databricks-Clients zu teilen.

Welche geschäftlichen Auswirkungen hat das?

Seit der Ankündigung der Public Preview von AI Model Sharing im Januar 2024 haben wir mit mehreren Kunden und Partnern zusammengearbeitet, um sicherzustellen, dass AI-Modell-Sharing Unternehmen erhebliche Kosteneinsparungen bringt.

„Wir setzen in einigen unserer Produkte Reinforcement-Learning-Modelle (RL) ein. Im Vergleich zu Modellen für überwachtes Lernen haben RL-Modelle längere Trainingszeiten und viele Zufallsquellen im Trainingsprozess. Diese RL-Modelle müssen in 3 Workspaces in separaten AWS-Regionen bereitgestellt werden. Mit dem Modell-Sharing können wir ein einziges RL-Modell in mehreren Workspaces verfügbar machen, ohne es erneut trainieren zu müssen oder mühsame manuelle Schritte zum Verschieben des Modells durchzuführen.“ — Mihir Mavalankar, Machine Learning Engineer, Ripple

Jamba 1.5 Mini von AI21 Labs: Large-Context-AI-Modelle im Databricks Marketplace

AI21 Labs, ein führender Anbieter im Bereich der generativen AI und großer Sprachmodelle, hat Jamba 1.5 Mini, Teil der Jamba 1.5-Modellfamilie, im Databricks Marketplace veröffentlicht. Jamba 1.5 Mini von AI21 Labs stellt einen neuartigen Ansatz für AI-Sprachmodelle im Unternehmenseinsatz vor. Seine innovative hybride Mamba-Transformer-Architektur ermöglicht ein effektives Kontextfenster von 256K Token sowie außergewöhnliche Geschwindigkeit und Qualität. Dank der Optimierung von Mini für eine effiziente Rechenleistung kann es Kontextlängen von bis zu 140K Token auf einer einzigen GPU verarbeiten.

„AI21 Labs freut sich, bekannt zu geben, dass Jamba 1.5 Mini ab sofort im Databricks Marketplace verfügbar ist. Über Delta Sharing können Unternehmen auf unsere Mamba-Transformer-Architektur mit einem Kontextfenster von 256K zugreifen, was außergewöhnliche Geschwindigkeit und Qualität für transformative AI-Lösungen garantiert.“— Pankaj Dugar, SVP & GM, AI21 Labs

Ein effektives Kontextfenster von 256K Token in AI-Modellen bezieht sich auf die Fähigkeit des Modells, 256.000 Token Text auf einmal zu verarbeiten und zu berücksichtigen. Dies ist von großer Bedeutung, da es dem AI21-Modell ermöglicht, große und komplexe Datensätze zu verarbeiten. Dadurch eignet es sich besonders für Aufgaben, die das Verstehen und Analysieren umfangreicher Informationen erfordern, wie z. B. lange Dokumente oder komplexe, datenintensive Workflows, und verbessert die Retrieval-Phase jedes RAG-basierten Workflows. Die Hybridarchitektur von Jamba stellt sicher, dass sich die Qualität des Modells bei zunehmendem Kontext nicht verschlechtert, im Gegensatz zu dem, was typischerweise bei den behaupteten Kontextfenstern von Transformer-basierten LLMs zu beobachten ist.

Sehen Sie sich dieses Video-Tutorial an, das zeigt, wie Sie das Modell AI21 Jamba 1.5 Mini aus dem Databricks Marketplace beziehen, feintunen und bereitstellen können.

Anwendungsfälle

Das 256K-Kontextfenster von Jamba 1.5 Mini bedeutet, dass die Modelle das Äquivalent von 800 Seiten Text in einem einzigen Prompt effizient verarbeiten können. Hier sind einige Beispiele dafür, wie Databricks-Kunden in verschiedenen Branchen diese Modelle nutzen können:

1. Dokumentenverarbeitung: Kunden können Jamba 1.5 Mini nutzen, um lange Berichte, Verträge oder Forschungsarbeiten schnell zusammenzufassen. Für Finanzinstitute können die Modelle Ergebnisberichte zusammenfassen, Markttrends aus umfangreichen Finanzdokumenten analysieren oder relevante Informationen aus behördlichen Einreichungen extrahieren
2. Optimierung agentenbasierter Workflows: Für Gesundheitsdienstleister kann das Modell bei komplexen medizinischen Entscheidungsprozessen helfen, indem es mehrere Patientendatenquellen analysiert und Behandlungsempfehlungen gibt.
3. Verbesserung von Prozessen der Retrieval-Augmented Generation (RAG): In RAG-Systemen für Einzelhandelsunternehmen können die Modelle präzisere und kontextuell relevantere Antworten auf Kundenanfragen generieren, indem sie ein breiteres Spektrum an Produktinformationen und die Kundenhistorie berücksichtigen.

Wie vertikalisierte AI-Modelle von Bitext im Databricks Marketplace das Kunden-Onboarding verbessern

Bitext bietet vortrainierte, vertikalisierte Modelle im Databricks Marketplace an. Diese Modelle sind Versionen des Mistral-7B-Instruct-v0.2-Modells, die für die Erstellung von Chatbots, virtuellen Assistenten und Copilots für den Bereich Retail Banking feinabgestimmt wurden. Sie bieten Kunden schnelle und präzise Antworten auf ihre Fragen rund ums Banking. Diese Modelle können für jede Familie von Foundation-Modellen erstellt werden: GPT, Llama, Mistral, Jamba, OpenELM…

Use Case: Onboarding mit AI verbessern

Eine führende Social-Trading-App verzeichnete hohe Absprungraten beim User-Onboarding. Sie nutzte die vortrainierten, vertikalisierten Banking-Modelle von Bitext um ihren Onboarding-Prozess zu modernisieren und statische Formulare in eine dialogorientierte, intuitive und personalisierte User Experience zu verwandeln.

Bitext stellte dem Kunden das vertikalisierte AI-Modell zur Verfügung. Auf Basis dieses Modells führte ein Data Scientist das erste Fine-Tuning mit kundenspezifischen Daten wie häufig gestellten Fragen (FAQs) durch. Dieser Schritt stellte sicher, dass das Modell die spezifischen Anforderungen und die Sprache der Nutzerschaft verstand. Darauf folgte ein erweitertes Fine-Tuning mit Databricks.

Sobald das Bitext-Modell feinabgestimmt war, wurde es über Databricks AI Model Serving bereitgestellt.

1. Das feinabgestimmte Modell wurde im Unity Catalog registriert
2. Ein Endpunkt wurde erstellt.
3. Das Modell wurde auf dem Endpunkt bereitgestellt

Die Zusammenarbeit setzte neue Maßstäbe für die Benutzerinteraktion im Social-Finance-Sektor und verbesserte das Kundenengagement sowie die Kundenbindung erheblich. Dank des schnellen Einstiegs durch das gemeinsam genutzte AI-Modell konnte die gesamte Implementierung innerhalb von 2 Wochen abgeschlossen werden.

Sehen Sie sich die Demo, die zeigt, wie Sie das vertikalisierte AI-Modell von Bitext aus dem Databricks Marketplace installieren und feinabstimmen, hier an.

"Im Gegensatz zu generischen Modellen, die viele Trainingsdaten erfordern, reduziert der Start mit einem spezialisierten Modell für eine bestimmte Branche die für die Anpassung benötigten Daten. Dies hilft Kunden, maßgeschneiderte AI-Modelle schnell bereitzustellen. Wir freuen uns sehr über das AI Model Sharing. Unsere Kunden konnten mit unseren spezialisierten AI-Modellen, die im Databricks Marketplace verfügbar sind, eine Reduzierung der Ressourcenkosten um bis zu 60 % (weniger Data Scientists und geringerer Rechenaufwand) und eine Reduzierung der betrieblichen Beeinträchtigungen um bis zu 50 % (schnelleres Testen und Bereitstellen) verzeichnen." — Antonio S. Valderrábanos , Gründer & CEO, Bitext

Kosteneinsparungen durch den zweistufigen Modelltrainingsansatz von Bitext

Nächste Schritte

Da das AI Model Sharing nun sowohl für Delta Sharing als auch für neue AI-Modelle im Databricks Marketplace allgemein verfügbar (GA) ist, empfehlen wir Ihnen Folgendes:

• Sehen Sie sich die Session „Unlocking new AI use cases“ vom Data and AI Summit an, um weitere Einblicke zu erhalten.
• Schauen Sie sich die Demo an, in der erklärt wird, wie Sie ein vortrainiertes AI-Modell mithilfe von Delta Sharing bereitstellen und an Ihre spezifischen Anforderungen anpassen.
• Besuchen Sie den Databricks Marketplace, um alle verfügbaren AI-Modelle zu durchsuchen.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag