Databricks AI Runtime und NVIDIA erleichtern die Anpassung offener Modelle mit Unternehmensdaten

GPUs treiben die fortgeschrittensten AI-Workloads von heute an – von modernsten Sprachmodellen bis hin zu multimodalen AI-Systemen und Agenten. Immer mehr Unternehmen passen Open Models an ihre eigenen Daten und Geschäftsanforderungen an. Der gesicherte Zugriff auf GPUs ist jedoch nur ein Teil der Herausforderung. Teams müssen auch Trainings-Jobs konfigurieren, den Datenzugriff steuern und die GPU-Infrastruktur verwalten. Dadurch bleibt weniger Zeit, um mit Modellen zu experimentieren und zu evaluieren, wie gut sie die Geschäftsanforderungen erfüllen.

Databricks und NVIDIA bieten einen nahtlosen Weg von Unternehmensdaten zu maßgeschneiderten AI-Modellen – vom Feintuning kleinerer Modelle bis hin zu groß angelegtem verteilten Training. Über Unity Gateway bietet Databricks Entwicklern gesteuerten Zugriff auf Frontier- und Open-Source-Modelle. Für Teams, die Modelle anpassen müssen, bringt AI Runtime (AIR) das AI-Software-Ökosystem von NVIDIA und serverlose GPUs zu den Unternehmensdaten. Teams können auf AIR mit Modellen experimentieren, sie feintunen und evaluieren und sie anschließend über Databricks Model Serving für Echtzeit-Inferenz bereitstellen – alles innerhalb der Databricks Platform, mit weniger Aufwand für Infrastruktur und Governance.

Heute auf der GTC Berlin erweitern Databricks und NVIDIA ihre Zusammenarbeit, um es Unternehmen noch einfacher zu machen, Open Models anzupassen. Databricks AIR ist ab sofort allgemein verfügbar: Entwickler können NVIDIA NeMo, NGC-Container und neue Nemotron-Cookbooks nutzen, um Open Models auf serverlosen NVIDIA-GPUs zu trainieren und zu feintunen. Zusammen bieten diese Funktionen Teams mehr Flexibilität, um Modelle an geschäftsspezifische Aufgaben anzupassen und sie in Anwendungen und Agenten einzusetzen.

blockquote>

AI Runtime hat Modelltraining und Reinforcement Learning für Unternehmensdaten zugänglich gemacht, die für Machine Learning Engineers traditionell unerreichbar waren. Mit AI Runtime und dem AI-Software-Ökosystem von NVIDIA können Teams Open-Weight-Modelle wie Nemotron für ihre individuellen Anwendungsfälle und ihren Geschäftskontext spezialisieren. Mit gesteuertem Datenzugriff, einfacher Bedienbarkeit für groß angelegtes Training und Genie Code für automatisiertes Debugging wird AI Runtime den Vormarsch maßgeschneiderter Modelle in Unternehmen beschleunigen.

— Hanlin Tang, CTO for Neural Networks, Databricks

blockquote>

Agenten sind dann am wertvollsten, wenn sie auf der tatsächlichen Funktionsweise eines Unternehmens aufbauen – seinen Daten, Workflows und seiner Expertise. NVIDIA und Databricks bringen Open Models wie Nemotron und Kumo direkt zu gesteuerten Unternehmensdaten. Damit erhalten Teams die Modelle, Tools und beschleunigte Rechenleistung, um spezialisierte Agenten zu entwickeln, die logische Rückschlüsse auf Basis von Unternehmenswissen ziehen, künftige Entwicklungen vorhersagen und Handlungen ausführen können.

— Pat Lee, VP of Strategic Partnerships, NVIDIA

Schneller trainieren und feintunen mit AI Runtime 

AIR bietet serverlose NVIDIA-GPUs für Training und Feintuning, sodass Entwickler ihren bestehenden Code und ihre Container skaliert ausführen können, ohne GPU-Infrastruktur verwalten zu müssen. Dank der Unterstützung für verteiltes Training über mehrere Knoten hinweg können Teams größere Workloads über GPU-Knoten hinweg skalieren. NVIDIA Quantum InfiniBand bietet Netzwerke mit hoher Bandbreite und geringer Latenz mit Remote Direct Memory Access (RDMA), während die NVIDIA Collective Communications Library (NCCL) die Kommunikation zwischen GPUs übernimmt. Databricks verwaltet die zugrundeliegenden Cluster und Netzwerke.

Ein Unternehmen, das beispielsweise einen Support-Agenten entwickelt, könnte mit einem Open Model von NVIDIA Nemotron starten und es anhand von gelabelten Support-Tickets mit NVIDIA NeMo auf AIR feintunen. Das Team könnte mit verschiedenen Trainingsansätzen experimentieren und MLflow nutzen, um die Ergebnisse bei der Anpassung des Modells an seine spezifischen Support-Workflows zu verfolgen.

Entwickler können Lakehouse-Daten vorbereiten und in GPU-gestützten Notebooks oder über die AIR-CLI experimentieren – unter Nutzung von hochperformantem Datenladen und Standardumgebungen, die PyTorch und CUDA enthalten. Sie können Frameworks für verteiltes Training nutzen oder eigene Bibliotheken und benutzerdefinierte Trainingsschleifen einbringen.

Sobald Experimente bereit für die wiederholbare Ausführung sind, können Lakeflow Jobs das Training zusammen mit der vorgelagerten Datenvorbereitung und der nachgelagerten Evaluierung orchestrieren und so einzelne Durchläufe in wiederholbare Workflows verwandeln. Declarative Automation Bundles unterstützen CI/CD für die Bereitstellung und Aktualisierung dieser Workflows.

MLflow verfolgt Trainingsexperimente sowie die GPU-Auslastung und hilft Teams dabei, Modellergebnisse und Rechenleistung zu vergleichen. Unity Catalog steuert den Zugriff auf Trainingsdaten, und native Systemtabellen bieten Einblick in die CPU- und GPU-Nutzung. Zusammen ermöglichen diese Integrationen den Teams die Nutzung der Daten-, Governance- und Betriebstools, auf die sie sich in Databricks bereits verlassen.

Workloads mit NVIDIA AI Software beschleunigen

Das Trainieren und Feintunen von Deep-Learning-Modellen erfordert mehr als nur GPU-Rechenleistung – Teams benötigen auch Flexibilität bei ihren Frameworks, Bibliotheken und Umgebungen. AIR unterstützt jetzt Docker und private Registries, sodass Entwickler benutzerdefinierte Container-Umgebungen in ihre GPU-Workloads einbringen können.

Entwickler können GPU-optimierte Container aus dem NVIDIA NGC Catalog mit der Databricks Artifact Registry nutzen, um NVIDIA-Software in AIR einzubinden. Das Caching von Umgebungen sorgt dafür, dass diese Workloads schnell starten. Dies reduziert den Einrichtungsaufwand, während Teams am Trainingscode iterieren und Experimente erneut ausführen.

Entwickler können außerdem NVIDIA-Profiling-Tools installieren, um die GPU-Ausführung zu analysieren und Performance-Engpässe zu untersuchen. Zusammen mit den in MLflow erfassten Metriken zur GPU-Auslastung helfen diese Tools Teams zu verstehen, wo Trainings-Workloads Zeit verbrauchen, und Möglichkeiten zur Leistungsverbesserung zu identifizieren. Teams können ihre Software und ihren Trainingscode optimieren, während AIR die zugrundeliegende GPU-Infrastruktur verwaltet.

AIR unterstützt Anpassungen über LLMs hinaus, darunter einen validierten Feintuning-Workflow für NVIDIA Kumo Anomaly, ein Open-Research-Modell zur Erkennung von Zeitreihen-Anomalien, inklusive MLflow-Tracking und Unity Catalog-Checkpoints. Dies unterstützt NVIDIAs Vision einer Agent Knowledge Foundation zum Aufbau einer Agenten-Wissensschicht. Die Kombination von Kumo-Anomaly mit der Genie Ontology eröffnet einen Weg zu kontextbewussten Agenten, die ungewöhnliche Muster in Zeitreihendaten mit betriebswirtschaftlicher Bedeutung verknüpfen, um nächste Schritte abzuleiten.

Nemotron-Modelle anpassen und bereitstellen

Mit der Veröffentlichung von Nemotron 3.5 Lightning und Super VL können Databricks-Kunden diese Modelle vom ersten Tag an auf Databricks laden, damit experimentieren, sie anpassen und bereitstellen. 

AIR unterstützt die Modellanpassung mit NVIDIA NeMo und NeMo Automodel, sodass Teams die Tools und Frameworks von NVIDIA auf serverlosen NVIDIA-GPUs nutzen können. Im Beispiel des Support-Agenten bedeutet dies, dass Entwickler diese Tools nutzen können, um Nemotron mit historischen Support-Tickets zu feintunen. Dies hilft dem Modell, unternehmensspezifische Produkte, Begrifflichkeiten und Workflows zur Fehlerbehebung besser zu verstehen. Das Training bleibt dabei direkt mit den Unternehmensdaten und -workflows in Databricks verbunden.

Genie Code kann Entwicklern auch dabei helfen, das Trainingsskript direkt in einem Notebook zu erstellen und anzupassen. Entwickler können die benötigten Änderungen beschreiben, Hilfe bei der Konfiguration eines Feintuning-Durchlaufs anfordern und Fehler direkt bei deren Auftreten beheben. Sie können den vorgeschlagenen Code überprüfen und verfeinern, bevor sie ihn auf serverlosen NVIDIA-GPUs ausführen.

Für das Feintuning kombiniert AIR optimiertes Laden von Daten, Checkpointing und Training mit integrierten Observability- und Debugging-Tools. Entwickler können Experimente und GPU-Metriken in MLflow verfolgen und Genie Code für Folgendes nutzen:

• Modellcode debuggen und Trainingsfehler untersuchen.
• GPU-Performance-Engpässe identifizieren, einschließlich Speicherproblemen und Kommunikations-Overhead.
• NVIDIA-spezifische Anleitungen zu CUDA, cuDNN, NCCL und Profiling-Tools anwenden.

Nach dem Fine-Tuning und der Evaluierung können Teams angepasste Modelle über Databricks Model Serving in der Produktion bereitstellen. In unserem Beispiel zum technischen Support könnte das feingetunte Nemotron-Modell einen Agenten betreiben, der eingehende Supportanfragen interpretiert und Antworten generiert, die auf den Produkten und Fehlerbehebungs-Workflows des Unternehmens basieren. Dies vervollständigt den Workflow von der Modellanpassung auf serverlosen NVIDIA-GPUs bis hin zur Echtzeit-Inferenz.

Erste Schritte mit Databricks AI Runtime und NVIDIA

Um mehr zu erfahren, besuchen Sie unsere Webseite, AIR-Dokumentation und erkunden Sie die Cookbooks zu Nemotron 3.5 SuperVL und Nemotron 3.5 Lightning, um mit dem GPU-Training und Fine-Tuning auf Databricks zu beginnen.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag