Mosaic AI: Erstellen und Bereitstellen von KI-Agentensystemen in Produktionsqualität

Im letzten Jahr haben wir eine Flut von kommerziellen und Open-Source-Foundation-Modellen erlebt, die starke Schlussfolgerungsfähigkeiten bei allgemeinen Wissensaufgaben zeigen. Während allgemeine Modelle ein wichtiger Baustein sind, setzen produktive KI-Anwendungen oft Compound AI Systems ein, die mehrere Komponenten wie abgestimmte Modelle, Retrieval, Tool-Nutzung und Reasoning Agents nutzen. Diese KI-Agentensysteme erweitern Foundation-Modelle, um eine deutlich bessere Qualität zu erzielen und Kunden dabei zu helfen, diese GenAI-Apps sicher in die Produktion zu bringen. 

Heute auf dem Data and AI Summit haben wir mehrere neue Funktionen angekündigt, die Databricks Mosaic AI zur besten Plattform für den Aufbau von KI-Agentensystemen in Produktionsqualität machen. Diese Funktionen basieren auf unserer Erfahrung mit Tausenden von Unternehmen, die KI-gestützte Anwendungen in die Produktion bringen. Die heutigen Ankündigungen umfassen die Unterstützung für das Fine-Tuning von Foundation-Modellen, einen Enterprise-Katalog für KI-Tools, ein neues SDK für die Erstellung, Bereitstellung und Bewertung von KI-Agenten sowie ein einheitliches KI-Gateway zur Steuerung bereitgestellter KI-Dienste.

Mit dieser Ankündigung hat Databricks die Modellierungsfähigkeiten, die ursprünglich in unserer MosaicML-Akquisition vor einem Jahr enthalten waren, vollständig integriert und erheblich erweitert.

Erstellung und Bereitstellung von Compound AI Systems

Die Bewertung von monolithischen KI-Modellen hin zu Compound-Systemen ist ein aktives Forschungsgebiet sowohl in der akademischen Welt als auch in der Industrie. Aktuelle Ergebnisse haben gezeigt, dass „State-of-the-Art-KI-Ergebnisse zunehmend durch Compound-Systeme mit mehreren Komponenten erzielt werden, nicht nur durch monolithische Modelle.“ Diese Erkenntnisse werden durch das, was wir bei unseren Kunden sehen, bestätigt. Nehmen wir zum Beispiel die Finanzforschungsfirma FactSet – als sie ein kommerzielles LLM für ihren Anwendungsfall „Text-to-Financial-Formula“ einsetzten, erreichten sie nur eine Genauigkeit von 55 % bei der generierten Formel. Die Modularisierung ihres Modells in ein Compound-System ermöglichte es ihnen jedoch, jede Aufgabe zu spezialisieren und eine Genauigkeit von 85 % zu erreichen. Databricks Mosaic AI unterstützt den Aufbau von KI-Systemen durch die folgenden Produkte:

• Fine-Tuning mit Databricks Model Training: Egal, ob Sie ein Modell auf einem kleinen Datensatz feinabstimmen oder ein Modell von Grund auf neu vortrainieren (wie DBRX) mit Billionen von Tokens auf über 3.000 GPUs, wir bieten eine einfach zu bedienende, verwaltete API für das Modelltraining, die die zugrunde liegende Infrastruktur abstrahiert. Wir sehen, dass unsere Kunden Erfolge beim Fine-Tuning kleinerer Open-Source-Modelle für Systemkomponenten erzielen, um Kosten und Latenz zu reduzieren und gleichzeitig die Leistung von GPT-4 bei Unternehmensaufgaben mit proprietären Daten zu erreichen. Model Training ermöglicht es Kunden, ihre Modelle und Daten vollständig zu besitzen, sodass sie die Qualität iterativ verbessern können.  

Benutzer müssen nur eine Aufgabe und ein Basismodell auswählen und Trainingsdaten (als Delta-Tabelle oder .jsonl-Datei) bereitstellen, um ein vollständig feinabgestimmtes Modell zu erhalten, das ihnen für ihre spezialisierte Aufgabe gehört

• Shutterstock ImageAI, Powered by Databricks: Unser Partner Shutterstock hat heute ein neues Text-zu-Bild-Modell angekündigt, das ausschließlich auf dem erstklassigen Bildbestand von Shutterstock trainiert wurde und Databricks Model Training nutzt. Es generiert maßgeschneiderte, hochauflösende, vertrauenswürdige Bilder, die auf spezifische Geschäftsanforderungen zugeschnitten sind.
• Mosaic AI Vector Search, jetzt mit Unterstützung für Customer Managed Keys und Hybrid Search: Wir haben Vector Search kürzlich allgemein verfügbar gemacht. Zusätzlich unterstützt Vector Search jetzt das GTE-large-Embedding-Modell, das eine gute Retrieval-Leistung bietet und eine Kontextlänge von 8K unterstützt. Vector Search unterstützt jetzt auch Customer Managed Keys, um mehr Kontrolle über die Daten zu bieten, und unterstützt Hybrid Search zur Verbesserung der Retrieval-Qualität.
• Mosaic AI Agent Framework für schnelle Entwicklung: RAG-Anwendungen sind die beliebtesten GenAI-Anwendungen, die wir auf unserer Plattform sehen, und heute freuen wir uns, die Public Preview unseres Agent Frameworks anzukündigen. Dies macht es sehr einfach, ein KI-System zu erstellen, das durch Ihre proprietären Daten erweitert wird – sicher verwaltet und gesteuert im Unity Catalog.
• Databricks Model Serving-Unterstützung für Agenten; Allgemeine Verfügbarkeit der Foundation Model API Verfügbarkeit: Zusätzlich zur Echtzeit-Bereitstellung von Modellen können Kunden jetzt Agenten und RAG mit Model Serving bereitstellen. Wir machen auch Foundation Model APIs allgemein verfügbar – Kunden können einfach Foundation-Modelle nutzen, die sowohl als Pay-per-Token als auch mit Provisioned Throughput für Produktions-Workloads verfügbar sind.
• Mosaic AI Tool Catalog und Function-Calling: Heute haben wir den Mosaic AI Tool Catalog angekündigt, der es Kunden ermöglicht, ein Unternehmensverzeichnis gängiger Funktionen, sowohl interner als auch externer, zu erstellen und diese Tools organisationsweit für KI-Anwendungen freizugeben. Tools können SQL-Funktionen, Python-Funktionen, Modellendpunkte, Remote-Funktionen oder Retriever sein. Wir haben Model Serving auch so erweitert, dass es Function-Calling nativ unterstützt, sodass Kunden beliebte Open-Source-Modelle wie Llama 3-70B als Reasoning Engine ihres Agenten verwenden können. 

Databricks Model Serving unterstützt jetzt Function-Calling und Benutzer können Funktionen und Basismodelle schnell im AI Playground ausprobieren

Bewertung von KI-Systemen

Allzweck-KI-Modelle sind für Benchmarks wie MMLU optimiert, aber bereitgestellte KI-Systeme sind stattdessen darauf ausgelegt, spezifische Benutzeraufgaben als Teil eines breiteren Produkts zu lösen (z. B. eine Supportanfrage beantworten, eine Abfrage generieren oder eine Antwort vorschlagen). Um sicherzustellen, dass diese Systeme gut funktionieren, ist ein robustes Bewertungs-Framework zur Definition von Qualitätsmetriken, zum Sammeln von Qualitätssignalen und zur Leistungsiteration unerlässlich. Heute freuen wir uns, mehrere neue Bewertungstools ankündigen zu können:

• Databricks MLflow für automatisierte und menschliche Bewertungen: Agent Evaluation ermöglicht es Ihnen zu definieren, wie qualitativ hochwertige Antworten für Ihr KI-System aussehen, indem „Goldstandard“-Beispiele erfolgreicher Interaktionen bereitgestellt werden. Sobald dieser Qualitätsmaßstab vorhanden ist, können Sie Permutationen des Systems untersuchen, Modelle abstimmen, Retrieval ändern oder Tools hinzufügen und verstehen, wie sich Systemänderungen auf die Qualität auswirken. Agent Evaluation ermöglicht es Ihnen auch, Fachexperten aus Ihrer Organisation – auch solche ohne Databricks-Konten – einzuladen, die Ausgabe Ihres KI-Systems zu überprüfen und zu kennzeichnen, um Bewertungen in Produktionsqualität durchzuführen und einen erweiterten Bewertungsdatensatz zu erstellen. Schließlich können systemgestützte LLM-Richter die Sammlung von Bewertungsdaten weiter skalieren, indem sie Antworten nach gängigen Kriterien wie Genauigkeit oder Hilfreichkeit bewerten. Detaillierte Produktions-Traces können helfen, qualitativ minderwertige Antworten zu diagnostizieren.

Databricks MLflow bietet KI-gestützte Metriken, um Entwicklern schnelle Einblicke zu ermöglichen

Databricks MLflow ermöglicht Stakeholdern, auch außerhalb der Databricks-Plattform, die Bewertung von Modellausgaben und die Bereitstellung von Bewertungen zur Qualitätsverbesserung

• MLflow 2.14: MLflow ist ein modellagnostisches Framework zur Bewertung von LLMs und KI-Systemen, das es Kunden ermöglicht, Parameter in jedem Schritt zu messen und zu verfolgen. Mit MLflow 2.14 freuen wir uns, MLflow Tracing ankündigen zu können. Mit Tracing können Entwickler jeden Schritt der Modell- und Agenteninferenz aufzeichnen, um Leistungsprobleme zu debuggen und Bewertungsdatensätze zu erstellen, um zukünftige Verbesserungen zu testen. Tracing ist eng in Databricks MLflow Experiments, Databricks Notebooks und Databricks Inference Tables integriert und liefert Leistungseinblicke von der Entwicklung bis zur Produktion.

Corning ist ein Materialwissenschaftsunternehmen – unsere Glas- und Keramiktechnologien werden in vielen industriellen und wissenschaftlichen Anwendungen eingesetzt, daher ist das Verstehen und Handeln auf Basis unserer Daten unerlässlich. Wir haben einen KI-Forschungsassistenten mit dem Databricks Mosaic AI Agent Framework erstellt, um Hunderttausende von Dokumenten, einschließlich Daten des US-Patentamts, zu indizieren. Es war für uns äußerst wichtig, dass unser LLM-gestützter Assistent Fragen mit hoher Genauigkeit beantwortet – so konnten unsere Forscher die Aufgaben, an denen sie arbeiteten, finden und weiterführen. Zur Implementierung haben wir das Databricks Mosaic AI Agent Framework verwendet, um eine Hi Hello Generative AI-Lösung zu erstellen, die mit den Daten des US-Patentamts erweitert wurde. Durch die Nutzung der Databricks Data Intelligence Platform haben wir die Abrufgeschwindigkeit, die Antwortqualität und die Genauigkeit erheblich verbessert. — Denis Kamotsky, Principal Software Engineer, Corning

Verwaltung Ihrer KI-Systeme

Angesichts der rasanten Entwicklung modernster Foundation Models hat unsere Kundenbasis neue Modelle schnell übernommen: DBRX hatte tausend Kunden, die es innerhalb von zwei Wochen nach der Veröffentlichung ausprobierten, und wir sehen Hunderte von Kunden, die die kürzlich veröffentlichten Llama3-Modelle ausprobieren. Viele Unternehmen finden es schwierig, diese neueren Modelle innerhalb eines angemessenen Zeitrahmens auf ihrer Plattform zu unterstützen, und Änderungen an Prompt-Strukturen und Abfrage-Schnittstellen erschweren deren Implementierung. Darüber hinaus werden die Leute begeistert sein und eine Menge Zeug bauen, wenn Unternehmen den Zugang zu den neuesten und besten Modellen öffnen, was schnell zu einem Durcheinander von Governance-Problemen eskalieren kann. Häufige Governance-Probleme sind das Erreichen von Ratenlimits, die Produktionsanwendungen beeinträchtigen, explodierende Kosten, da Leute GenAI-Modelle auf großen Tabellen ausführen, und Bedenken hinsichtlich Datenlecks, da PII an Drittanbieter von Modell-Providern gesendet wird. Heute freuen wir uns, neue Funktionen in AI Gateway für Governance und einen kuratierten Modellkatalog zur Ermöglichung der Modellentdeckung anzukündigen. Zu den Funktionen gehören:

• Agent Bricks AI Gateway für zentralisierte KI-Governance: Agent Bricks AI Gateway ermöglicht es Kunden, eine einheitliche Schnittstelle zu haben, um Modelle einfach zu verwalten, zu steuern, zu bewerten und zu wechseln. Es sitzt auf Model Serving, um Ratenbegrenzung, Berechtigungen und Anmeldeinformationsverwaltung für Modell-APIs (extern oder intern) zu ermöglichen. Es bietet auch eine einzige Schnittstelle für die Abfrage von Foundation Model APIs, sodass Kunden Modelle in ihren Systemen einfach austauschen und schnelle Experimente durchführen können, um das beste Modell für einen Anwendungsfall zu finden. Gateway Usage Tracking verfolgt, wer jede Modell-API aufruft, und Inference Tables erfassen, welche Daten ein- und ausgegeben wurden. Dies ermöglicht es Plattformteams zu verstehen, wie Ratenlimits geändert, Gebührenmodelle implementiert und Datenlecks auditiert werden können.
• Mosaic AI Guardrails: Fügen Sie Endpunkt- oder Anforderungsebene-Sicherheitsfilter hinzu, um unsichere Antworten zu verhindern, oder fügen Sie sogar PII-Erkennungsfilter hinzu, um sensible Datenlecks zu verhindern.
• system.ai Catalog: Wir haben eine Liste von modernsten Open-Source-Modellen kuratiert, die in Unity Catalog verwaltet werden können. Stellen Sie diese Modelle einfach mit Model Serving Foundation Model APIs bereit oder trainieren Sie sie mit Model Training fein. Kunden können auch alle unterstützten Modelle auf der Mosaic AI Homepage finden, indem sie zu Einstellungen > Entwickler > Personalisierte Homepage gehen. 

Databricks Model Serving beschleunigt unsere KI-gesteuerten Projekte, indem es den sicheren Zugriff und die Verwaltung mehrerer SaaS- und Open-Modelle, einschließlich derjenigen, die auf oder außerhalb von Databricks gehostet werden, erleichtert. Sein zentralisierter Ansatz vereinfacht die Sicherheits- und Kostenverwaltung, sodass sich unsere Datenteams mehr auf Innovation und weniger auf den administrativen Aufwand konzentrieren können. — Greg Rokita, AVP, Technology bei Edmunds.com

Databricks Mosaic AI befähigt Teams, zusammengesetzte KI-Systeme von einer einzigen Plattform aus zu erstellen und zusammenzuarbeiten, mit zentralisierter Governance und einer einheitlichen Schnittstelle zum Trainieren, Verfolgen, Bewerten, Austauschen und Bereitstellen. Durch die Nutzung von Unternehmensdaten können Organisationen von allgemeinem Wissen zu Datenintelligenz übergehen. Diese Entwicklung ermöglicht es Organisationen, schneller zu relevanten Erkenntnissen zu gelangen.

Wir sind gespannt, welche Innovationen unsere Kunden als Nächstes entwickeln werden!

Mehr entdecken

• Databricks Mosaic AI
• Dokumentation

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag