AI Runtime ist allgemein verfügbar

Heute freuen wir uns, die allgemeine Verfügbarkeit (General Availability) von AI Runtime (AIR) bekanntzugeben. Damit bringen wir eine vollständig verwaltete GPU-Infrastruktur direkt in Databricks, sodass Kunden ihre anspruchsvollsten Modelle dort trainieren können, wo ihre Unternehmensdaten bereits liegen.

Viel zu oft verbringen KI-Teams mehr Zeit damit, GPU-Kapazitäten zu sichern, Ausfälle zu verwalten und auf den Start von Experimenten zu warten, als ihre Modelle zu verbessern. Der Betrieb von GPU-Infrastruktur getrennt von ihrem Lakehouse führt zu Governance-Lücken und gefährdet sensible Trainingsdaten. Da Coding-Agenten immer mehr Trainingsexperimente durchführen, nehmen diese Engpässe und Risiken zu – was eine zuverlässige, schnelle und verwaltete Infrastruktur unerlässlich macht.

AIR führt GPU-Infrastruktur, Entwickler-Tools und Data Governance zusammen, sodass Teams im großen Maßstab trainieren, schneller iterieren und jeden Workload absichern können – ohne einen separaten GPU-Stack verwalten zu müssen. Hunderte von Unternehmen, darunter Robinhood, PicPay, Merck, Flo Health, TinyFish und FactSet, nutzen AIR bereits, um Deep-Learning-Modelle zu trainieren und in der Produktion bereitzustellen. Die Anwendungsfälle reichen vom Gesundheitswesen über die Fertigung bis hin zu kundenorientierten Agenten. Unser eigenes Databricks AI Research-Team nutzt AIR, um die Modelle hinter KARL und AI Parse zu trainieren.

Mit AIR können Kunden:

• Skaliert trainieren mit müheloser GPU-Infrastruktur: Serverloser On-Demand-Zugriff auf fortschrittliche GPUs, unterstützt durch zuverlässiges Multi-Node-Training, optimierte Performance und praxiserprobt in Trainingsläufen von mehr als 100.000 GPU-Stunden.
• Schneller experimentieren mit nahezu sofortigen Startzeiten und einfachem Debugging: Bringen Sie Ihren eigenen Code, Ihre Container und Ray-Workloads mit – und erzielen Sie Startzeiten im Sekundenbereich auf RDMA-fähigen GPUs. Environment-Caching und integrierte Debugging-Tools sparen Zeit bei jeder Trainingsschleife.
• Jeden GPU-Workload absichern und verwalten: AIR arbeitet innerhalb der Governance-Grenzen von Databricks und Unity Catalog und basiert auf jahrelangen Investitionen in Serverless-Sicherheit. AIR trägt dazu bei, dass GPU-Workloads wertvolle Trainingsdaten schützen, Zugriffsrichtlinien einhalten und nachverfolgbar sowie überprüfbar sind.

Mühelose GPU-Infrastruktur

Die Verwaltung von GPU-Infrastruktur erfordert erheblichen betrieblichen Aufwand – von der Kapazitätsplanung und Node-Wartung bis hin zur Vernetzung und Überwachung. 

Mit AIR übernimmt Databricks die operative Arbeit der Bereitstellung von GPUs, der Aufrechterhaltung einer voll funktionsfähigen Infrastruktur und der Optimierung von Workloads, sodass sich Ihr Team auf das Training konzentrieren kann:

• Holen Sie sich die benötigte GPU-Kapazität bei Bedarf. Databricks kümmert sich um GPU-Beschaffung, Cluster-Konfiguration und Vernetzung, sodass Ihr Team direkt mit dem Training beginnen kann, ohne eine eigene GPU-Plattform aufbauen und betreiben zu müssen.
• Zuverlässig skalieren auf einer stabilen Infrastruktur. Databricks führt Dutzende von Prüfungen für den GPU- und Netzwerkzustand vor und während des Trainings durch, sodass Ihre Workloads zuverlässig auf Hunderte von GPUs skaliert werden können.
• Standardmäßig effizientes Training: Integrierte Data Loader streamen und zwischenspeichern Trainingsdaten, um Wartezeiten bei I/O zu reduzieren. Nutzen Sie Tools wie UCVolumeDataset, um den Datendurchsatz zu verbessern, ohne eine benutzerdefinierte Lade-Pipeline erstellen zu müssen.

Mithilfe von Databricks AI Runtime haben wir unser großflächiges Training von einem Single-Node-Setup mit 8 A100-GPUs auf ein Multi-Node-Setup mit 16 H100-GPUs umgestellt. Dadurch verringerte sich die Trainingszeit von etwa sieben Tagen auf 48 Stunden – eine 3,5-fache Beschleunigung. Das macht es für unser Team viel einfacher, bei größeren Modellexperimenten zu iterieren und effizienter zu trainieren.- Kostia Omelianchuk, Applied Research Scientist und Area Tech Lead, Superhuman

Nutzen Sie GPUs überall dort, wo Sie arbeiten

Greifen Sie über die CLI oder interaktiv in Notebooks oder IDEs auf GPUs zu. Für Ihren ersten Workload ist nur ein einziger CLI-Befehl erforderlich. Mit Databricks AIR Skills erfordert die Migration von einem K8S- oder SLURM-Cluster lediglich einen einzigen Prompt in natürlicher Sprache.

 

GPU-Workloads souverän mit Lakeflow orchestrieren

AIR lässt sich nativ in Lakeflow integrieren, sodass Sie GPU-Workloads mit Upstream- und Downstream-Pipelines synchron halten können. Der Übergang in die Produktion erfordert nur wenige zusätzliche Zeilen YAML mit integrierter Priorisierung/Preemption, die GPU-Leerlaufzeiten minimiert, sowie Überwachungstools wie Genie ZeroOps, die den betrieblichen Aufwand reduzieren.

 

Schneller experimentieren, debuggen und iterieren

Verteilte Trainings-Workloads sind mühsam einzurichten und zu starten. KI-Teams verschwenden Zeit damit, Trainingsumgebungen zu konfigurieren, auf das Hochfahren von GPU-Clustern zu warten und Fehler über den gesamten Stack hinweg zu beheben.

AIR hilft Ihnen, in Sekundenschnelle vom Code zum Training zu gelangen. Sie können vorgefertigte Umgebungen nutzen oder Ihren eigenen Container mitbringen und von einem hochgradig optimierten Environment-Caching profitieren, sodass Sie Umgebungen nur einmal erstellen müssen. AIR ist mit allen gängigen Frameworks kompatibel, einschließlich Ray, sodass Sie Code mit minimalem Konfigurationsaufwand übernehmen können.  

Databricks AI Runtime ermöglicht es uns, dort zu trainieren, wo unsere Daten bereits liegen – mit der Zuverlässigkeit, Sicherheit und Performance, die wir für das Modelltraining im großen Maßstab benötigen. Wir können weniger Zeit mit der Verwaltung der GPU-Infrastruktur verbringen und mehr Zeit für die Verbesserung der Modelle selbst aufwenden.- Vladislav Nedosekin, Director of Engineering, Data & AI Platform, Flo Health

Starten Sie Ihr nächstes Experiment in Sekundenschnelle

Wenn Sie ein Trainingsskript iterieren und entwickeln, macht sich jede Sekunde Verzögerung immer wieder bemerkbar. Deshalb haben wir jede Ebene des Bereitstellungs-Stacks optimiert, sodass Workloads – selbst große RDMA-fähige Cluster mit Dutzenden von GPUs – in Sekundenschnelle hochfahren.

 

Verteiltes Training an einem einzigen Ort debuggen

Wir haben eine völlig neue Observability-Erfahrung in MLflow entwickelt, dem branchenweit führenden Tool für Experiment-Tracking. Mit dieser neuen Oberfläche ist das Debugging Ihrer Logs, die wenige Sekunden nach dem Senden gestreamt werden, so einfach wie das Hinzufügen von –watch zu Ihrem AIR-Befehl. Für tiefere Analysen können Sie unseren neuen Log-Viewer nutzen, der speziell für Multinode-Training entwickelt wurde.

Databricks AI Runtime hat das Training eines benutzerdefinierten Text-To-Formula (TTF)-Modells erheblich vereinfacht. Ohne Aufwand für die Infrastruktur-Einrichtung oder Verzögerungen war es einfach, die passende Compute-Ressource basierend auf Prompt-Größe und Output-Token-Generierung zu wählen. So konnten wir schnell agieren, unsere Lakehouse-Workflows beibehalten und ein hochwertiges Modell mit vollständiger Governance bereitstellen – wodurch sich die Zeit für Einrichten, Trainieren und Bereitstellen von Tagen auf Stunden reduzierte.- Nikhil Sunderraj, Principal Machine Learning Engineer, FactSet

Agentisches Debugging mit integriertem Genie Code

Genie Code ist direkt in das gesamte Nutzungserlebnis eingebunden und enthält vorgefertigte Agenten-Skills, die Ihnen beim Debugging von Problemen und bei der Optimierung der GPU-Trainingsleistung helfen. Zu diesen Skills gehören Erkenntnisse unserer Research- und Performance-Teams, wie etwa die Frage, wie wir die Qwen-Trainingszeit auf AIR um das Sechsfache reduziert haben.

Bei Robinhood hilft AI Runtime unseren Teams, schneller vom Experimentieren zum Training überzugehen – ohne den sonst üblichen Infrastruktur-Overhead. Das Fine-Tuning verläuft nahtlos, sodass wir direkt dort trainieren können, wo unsere Daten liegen, während Governance und Datenkontrollen integriert bleiben. So verbringen unsere Ingenieure mehr Zeit mit der Entwicklung besserer Modelle und weniger Zeit mit der Verwaltung komplexer GPU-Setups.- Robert Macy III, Machine Learning Engineer, Robinhood

Mit Databricks AI Runtime können wir verteiltes Training auf Serverless-GPUs über Millionen von Datensätzen hinweg skalieren – direkt in unseren bestehenden Daten-Workflows. Da immer mehr der 20 führenden Biopharma-Unternehmen auf unsere Modelle vertrauen, um Entwicklungsentscheidungen zu treffen, ermöglicht diese Geschwindigkeit und Einfachheit unserem Team, die Modelle kontinuierlich zu verbessern, anstatt die Infrastruktur zu verwalten.- Eran Barash, VP of Artificial Intelligence and Machine Learning, QuantHealth

Jeden GPU-Workload als Teil des Lakehouse sichern und steuern

Wenn die GPU-Infrastruktur getrennt von den Unternehmensdaten verwaltet wird, entstehen Governance-Lücken, fragmentierte Zugriffskontrollen und unnötige Datenkopien. Während Agenten hunderte Trainings-Experimente parallel ausführen, müssen Teams sicherstellen, dass sensible Daten geschützt bleiben und Workloads sicher isoliert sind – ganz ohne manuelle Überwachung. Der OpenAI-Huggingface-Vorfall unterstreicht dieses Risiko. 

AIR erweitert Ihre vertrauten Datenkontrollen und Governance auf jeden GPU-Workload. Unity Catalog setzt konsistente Lese- und Schreibrechte für alle Aspekte eines GPU-Workloads durch (Datenzugriff, Checkpoints, Logs usw.), sodass Ihre GPU-Plattform und Ihre Data-Governance-Schicht jetzt genau dieselbe Sprache sprechen. 

Workloads isolieren und Netzwerkzugriff steuern

AIR basiert auf jahrelangen Investitionen in Serverless-Sicherheit, Isolation und private Netzwerke. Im Gegensatz zu GPU-Isolationsmechanismen, die den Host-Kernel offenlegen, bietet AIR Isolation auf VM-Ebene und unterstützt PrivateLink sowie Serverless-Egress-Kontrollen. Dadurch bietet AIR einen wesentlich stärkeren Schutz für Trainings-Workloads im Vergleich zu herkömmlichen Systemen. 

Verstehen, wofür Ihr GPU-Budget genutzt wird

Verfolgen Sie die Nutzung und Kosten von AIR über Databricks Billing System Tables, zusammen mit Ihren anderen Databricks-Workloads. Nutzen Sie Nutzungsprotokolle auf Workload-Ebene, um zu identifizieren, welche Trainings-Workloads Ihr GPU-Budget verbrauchen, und um Entscheidungen über zukünftige Ausführungen zu steuern. 

Mit Databricks AI Runtime und Serverless konnten wir LLM-Training und -Inferenz schneller skalieren und mit größeren Modellen, mehreren H100-GPUs sowie großen Datenmengen arbeiten. Die Integration in unsere bestehenden Pipelines zusammen mit den Orchestrierungs- und Monitoring-Funktionen von Databricks hat den End-to-End-Workflow einfacher und effizienter gemacht und gleichzeitig die Komplexität der Infrastruktur sowie die Entwicklungszyklen reduziert.- Vitor Rolim, Staff Machine Learning Engineer, PicPay

Das Training des Modells ist für uns nur ein Teil der Aufgabe. Wir müssen wissen, ob eine Änderung den Agenten tatsächlich bei der Erledigung realer Aufgaben verbessert, und diese Verbesserung dann schnell in die Produktion bringen. Mit AI Runtime können wir auf GPUs trainieren, mit MLflow evaluieren und unser webnatives Modell bereitstellen, ohne für jede Phase einen separaten Stack aufbauen zu müssen.- Zach Richardson, Head of AI, TinyFish

Starten Sie mit Ihrem ersten GPU-Workload

Um Ihnen den Einstieg zu erleichtern, haben wir mehrere Template-Notebooks und Starter-Guides zusammengestellt: 

• Werfen Sie einen Blick in unseren Quickstart, um loszulegen und sich in Sekundenschnelle mit AI Runtime zu verbinden. 
• Um mehr über AI Runtime zu erfahren, schauen Sie sich unsere dreiminütige Demo an und besuchen Sie unsere Webseite.
• Möchten Sie AIR anhand eines Beispiels ausprobieren? Klonen Sie unser Cookbook-Repository, um mit nur einem CLI-Befehl zu starten!

Wenden Sie sich gerne an Ihr Account-Team, um mehr zu erfahren oder falls Sie Fragen haben!

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag