Databricks übernimmt Quotient AI, um die Evaluierung von KI-Agenten zu ermöglichen.

Databricks freut sich, die Übernahme von Quotient AI bekannt zu geben, einem Innovator in den Bereichen Evaluierung und bestärkendes Lernen für KI-Agenten. Quotient hilft Unternehmen, das Verhalten von Agenten in der Produktion zu überwachen, kritische Probleme zu erkennen und diese Signale zu nutzen, um die Performance der Agenten kontinuierlich zu verbessern. Da Unternehmen KI-Agenten in geschäftskritischen Workflows einsetzen, benötigen sie zuverlässige Methoden, um sicherzustellen, dass diese Systeme in der realen Welt wie erwartet funktionieren. Indem wir Quotient in Databricks integrieren, stärken wir Genie, Genie Code und Agent Bricks mit kontinuierlicher Evaluierung und Lernen, wodurch wir sowohl Entwickler als auch Organisationen mit KI-Agenten befähigen, die im Laufe der Zeit genauer, zuverlässiger und spezialisierter werden.

Die Herausforderung des Produktionseinsatzes von KI-Agenten meistern
Wenn Unternehmen KI-Agenten von Pilotprojekten in die Produktion überführen, entsteht eine neue Herausforderung: Wie kann man die Leistung zuverlässig und in großem Scale messen, debuggen und verbessern. Da Agenten komplexe Verbundsysteme aus Modellen, Speicher, Werkzeugen, Fähigkeiten und anderen Komponenten sind, müssen Teams nicht nur die Qualität bewerten, sondern auch schnell Einblicke in die Ursache von Fehlern gewinnen. Ohne ein robustes Evaluierungssystem, das Systemfehler interpretieren kann, verlangsamt sich die Problembehebung zur Performance-Steigerung und Produktleiter gewinnen nicht das nötige Vertrauen für die Produktionsfreigabe.

Wir stellen vor: Quotient
Quotient wurde entwickelt, um die Lücke bei der Agenten-Evaluierung und dem kontinuierlichen Lernen zu schließen. Das Team wurde von den Ingenieuren gegründet, die die Qualitätsverbesserung für GitHub Copilot leiteten, und bringt umfassende Expertise in der Messung und Verbesserung von großen Scale-KI-Systemen mit. Die Quotient-Plattform analysiert vollständige Agenten-Traces aus Produktionssystemen, um Probleme wie Halluzinationen, Denkfehler und falsche Werkzeugnutzung zu erkennen. Diese Signale werden automatisch geclustert und in strukturierte Bewertungsdatensätze und Belohnungssignale umgewandelt, die zur Überwachung und Feinabstimmung von Agenten verwendet werden können. Dieser Ansatz ermöglicht es Organisationen, nicht nur das Verhalten von Agenten zu beobachten, sondern es auch systematisch zu verbessern. So werden KI-Systeme zu Fachexperten, die kontinuierlich aus der realen Nutzung lernen.

Quotient + Databricks 
Databricks bietet bereits leistungsstarke Tools zur Bewertung und Verbesserung von KI-Agenten. Mit Quotient stärken wir diese Fähigkeiten auf unserer gesamten Plattform, indem wir eine Schicht zur kontinuierlichen Bewertung und Verbesserung einbetten, die Kunden präzisere und zuverlässigere KI-Systeme bietet. Dies stärkt drei Key Produktbereiche bei Databricks:

• Genie ist ein KI-Agent, der es jedem Mitarbeiter ermöglicht, mit seinen Daten zu chatten und Einblicke daraus zu gewinnen.
• Genie Code, das ebenfalls heute eingeführt wird, ist ein autonomer KI-Agent, der Datenteams bei der Planung, Erstellung und Ausführung von Workflows für Data Engineering, Machine Learning und Analytics unterstützt.
• Agent Bricks erleichtert es Organisationen, hochwertige Agenten auf ihren Daten zu erstellen und mit Scale zu wachsen.

Da KI-Agenten unternehmensweit mehr Verantwortung übernehmen, benötigen Organisationen Systeme, denen sie vertrauen können. Durch die Kombination der Funktionen von Quotient mit der Databricks AI-Forschung und -Plattform können Kunden KI-Agenten anwenden, die nicht nur in der Produktion in Ausführung sind, sondern sich im Laufe der Zeit auch verbessern.

Wir freuen uns, das Team von Quotient bei Databricks willkommen zu heißen und bauen damit die zuverlässigste Plattform für die Entwicklung, Bereitstellung und Verbesserung von Agentensystemen auf Scale weiter aus.

Erfahren Sie mehr über die Databricks-KI-Forschung und den Genie-Code-Start.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag