Databricks und NVIDIA: Entwickeln für die Ära der Agenten

Der gesamte AI-Stack, beschleunigt

NVIDIA-beschleunigtes Computing treibt einige der anspruchsvollsten AI-Workloads auf Databricks an – von groß angelegtem Training, Fine-Tuning und Inferenz bis hin zu branchenspezifischen AI-Lösungen. Heute auf dem Data + AI Summit zeigen wir, wie die AI-Infrastruktur von NVIDIA im Mittelpunkt neuer Ankündigungen für Databricks AI Runtime, Model Serving und Industry AI-Lösungen steht. Dazu gehört auch ein Blick darauf, wie die neue NVIDIA Vera CPU die nächste Generation agentischer Infrastruktur antreiben wird.

„Unsere Partnerschaft mit NVIDIA erstreckt sich über den gesamten AI-Lebenszyklus. Von der NVIDIA-beschleunigten Infrastruktur für verteiltes Training in AI Runtime bis hin zu Software, die auf unseren Serving- und Entwicklerplattformen läuft. Wir freuen uns darauf, die Technologie von NVIDIA mit den Daten- und Governance-Funktionen von Databricks zu kombinieren, um unseren Kunden einen unglaublichen Mehrwert zu bieten: Enterprise-AI, die schnell, skalierbar und auf einem Fundament aufgebaut ist, dem sie vertrauen können.“— Adam Conway, SVP, Product, Databricks

„Databricks ermöglicht es Unternehmen, AI-Agenten zu erstellen, bereitzustellen, zu skalieren und zu verwalten, die auf ihrer wertvollsten Ressource basieren: ihren Geschäftsdaten. Durch unsere erweiterte Partnerschaft geben NVIDIA und Databricks der nächsten Welle von Enterprise-AI einen enormen Schub, indem sie das gesamte Spektrum des NVIDIA-beschleunigten Computings mit Vera-CPUs, Rubin-GPUs, NVIDIA Quantum InfiniBand-Netzwerken und der NVIDIA Agent Toolkit-Software in die Databricks-Plattform integrieren.“— Pat Lee, Vice President, Enterprise Strategic Partnerships, NVIDIA

Erfahren Sie hier, wie Databricks und NVIDIA gemeinsam eine AI-Plattform aufbauen – von GPUs für Training und Inferenz bis hin zu speziell entwickelten CPUs für die Ära der Agenten.

1. Training und Fine-Tuning

Databricks AI Runtime (AIR) bringt die NVIDIA-GPU-Beschleunigung direkt zu Daten- und AI-Teams, sodass sie Modelle auf verwalteten Unternehmensdaten trainieren und fine-tunen können, ohne eine separate GPU-Infrastruktur verwalten zu müssen. Mit AIR erhalten Kunden die fortschrittliche Hardware und Netzwerktechnologie von NVIDIA direkt dort, wo sich ihre verwalteten Daten auf Databricks befinden:

• NVIDIA Hopper-GPUs mit NVIDIA Quantum InfiniBand: speziell entwickelt für verteiltes Multi-Node-Training. Unabhängig davon, ob Sie ein Foundation-Modell vortrainieren oder ein groß angelegtes Fine-Tuning durchführen, bietet AIR integrierte Unterstützung für die GPU-Verbindungen von NVIDIA mit hoher Bandbreite und geringer Latenz (RDMA-fähige Netzwerke), wodurch Kommunikationsengpässe zwischen den Nodes vermieden werden. AIR wird auch auf die NVIDIA Blackwell-Architektur vorbereitet, sodass Kunden immer an der Spitze des beschleunigten Computings stehen.
• NVIDIA-GPUs in der Free Edition: Wir freuen uns, auf dem DAIS die Unterstützung von GPUs in der Databricks Free Edition anzukündigen. Damit unterstützen wir Entwickler, Studenten und Start-ups weltweit beim Erstellen und Bereitstellen ihrer AI-Workloads auf GPUs.
• Unterstützung für NVIDIA-Container: In Kürze wird Databricks NGC-Container und benutzerdefinierte NVIDIA CUDA-Umgebungen unterstützen, sodass diese nativ auf Daten innerhalb der Plattform ausgeführt werden können.

AI Runtime ermöglicht den nahtlosen Zugriff auf NVIDIA-GPUs innerhalb von Databricks.

2. Inferenz: NVIDIA-Beschleunigung in Databricks Model Serving

Databricks Model Serving treibt die Produktionsinferenz für Tausende von Databricks-Kunden an. Im Kern von Model Serving liefern Hardware und Software von NVIDIA die Inferenz mit geringer Latenz und hohem Durchsatz in großem Maßstab, die unsere Kunden benötigen – und das über Frontier-Modelle wie Qwen, GPT-OSS und benutzerdefinierte neuronale Netze hinweg, die unsere Kunden erstellen. Zu den weiteren Serving-Funktionen gehören NVIDIA-Hardware und der Triton Inference Server. Model Serving unterstützt führende, für Inferenz optimierte GPUs, wobei das fortschrittliche dynamische Batching von Triton und eine optimierte Leistung in Kürze verfügbar sein werden. Mit Model Serving können Kunden die Modelle, die sie auf NVIDIA-Hardware trainieren, direkt auf der verwalteten Databricks-Infrastruktur bereitstellen.

3. Agentische Infrastruktur: Untersuchung von NVIDIA Vera für den nächsten Compute-Engpass

Der Aufstieg autonomer Agenten bringt eine neue Herausforderung für die Infrastruktur mit sich. Während GPUs sich hervorragend für die Modellinferenz eignen, laufen das Agent-Harness, Tool-Aufrufe, CPU-gestützte Analysen und die Verwaltung mehrstufigen logischen Denkens (Multi-Step Reasoning) alle auf CPUs. Heutige CPUs sind oft der Engpass: Latenzzeiten bei Tool-Aufrufen, Kommunikations-Overhead zwischen den Schritten des Agenten und inkonsistente Leistung unter Last beeinträchtigen das agentische Erlebnis.

NVIDIA Vera ist eine CPU der nächsten Generation, die speziell für diese Workloads entwickelt wurde. Entwickelt für drei Kernanwendungsfälle – agentische Workloads, Reinforcement Learning und CPU-basierte Datenanalysen – bietet Vera:

• Leistungsstarke, von NVIDIA entwickelte, Arm-kompatible Kerne, die bis zu 3-mal schnellere SQL-Abfragen und eine um 80 % schnellere agentische Leistung liefern, optimiert für latenzempfindliche, stoßweise Compute-Muster wie Tool-Aufrufe und Agenten-Orchestrierung
• Enorme Speicherbandbreite für die datenintensiven Operationen, die Agenten zwischen Modellaufrufen durchführen
• Schnelle Core-to-Core-Kommunikation, die zu einer vorhersagbaren Leistung beiträgt, wenn die Komplexität der Agenten skaliert

Die Vision ist ein durchgängig NVIDIA-beschleunigter Stack auf Databricks: Modelle laufen auf NVIDIA-GPUs für die Inferenz, während das Agent-Harness und die Tool-Aufrufe auf Vera-CPUs laufen könnten – jeder Workload auf einem Chip, der speziell für seine Eigenschaften entwickelt wurde. Entwickler passen Modelle auf Databricks mithilfe proprietärer Daten an, stellen sie über Model Serving bereit, und die umgebende agentische Infrastruktur läuft auf einer Compute-Infrastruktur, die von Grund auf für genau dieses Muster entwickelt wurde.

4. Developer Experience: Die Erstellung beschleunigter AI vereinfachen

NVIDIA Agent Toolkit: Bereitstellung auf Databricks

Aufbauend auf Databricks Apps können Teams das NVIDIA Agent Toolkit – die Open-Source-Entwicklungsplattform von NVIDIA zum Erstellen, Anpassen und Bereitstellen agentischer AI-Workflows – direkt in ihrer Databricks-Umgebung hosten und ausführen. Das bedeutet für Sie:

• Funktionen des NVIDIA Agent Toolkits: Guardrails, Tool-Nutzung, Retrieval-Augmented Generation und mehrstufiges logisches Denken, ausgeführt in auf Databricks gehosteten Anwendungen.
• Databricks Apps als Hosting-Ebene: Stellen Sie jede Codebasis, einschließlich der mit dem NVIDIA Agent Toolkit erstellten Agenten oder Dienste, als verwaltete Anwendungen mit integrierter Authentifizierung, Netzwerkfunktionen und Governance über den Unity Catalog bereit.
• Nahtlose Integration mit den Daten, Modellen und der Serving-Infrastruktur von Databricks. Ihre Agenten können auf verwaltete Daten zugreifen, Modelle über FMAPI aufrufen und die gesamte Plattform nutzen, ohne die Umgebung zu verlassen.

Verwendung von Genie Code für GPU-Workloads

GPUs sind leistungsstark, aber eine hohe Auslastung zu erzielen, Leistungsprobleme zu diagnostizieren und Workloads zu debuggen, erforderte traditionell tiefgehendes Systemwissen. Wir ändern das mit einem Agent-First-Ansatz:

Genie Code unterstützt Skills, die speziell auf die Hardware und Software von NVIDIA abgestimmt sind. Entwickler können:

• GPU-Workloads im Dialog debuggen: Beschreiben Sie das Problem und erhalten Sie konkrete Handlungsempfehlungen
• Leistung optimieren: Identifizieren Sie Auslastungsengpässe, Speicherprobleme und Kommunikations-Overhead
• NVIDIA-spezifisches Wissen nutzen: Skills, die CUDA, cuDNN, NCCL und NVIDIA-Profiling-Tools verstehen

Genie Code und die Debugging-Tools von NVIDIA sind außerdem vollständig in verschiedene Databricks-Produktoberflächen integriert, darunter:

• Notebooks: erstklassige GPU-Überwachung, Profilerstellung und Debugging in der Notebook-Umgebung
• MLflow: Verfolgen Sie GPU-Metriken und -Auslastung parallel zu Experimenten
• Model Serving: Diagnostizieren Sie den Zustand von Endpunkten und die GPU-Leistung, und identifizieren Sie Möglichkeiten zur Optimierung der Endpunktmechanik wie Autoscaling

5. Industry AI: NVIDIA-Software auf verwalteten Databricks-Daten

Jede Branche steht vor einzigartigen rechnerischen Herausforderungen, die durch die von ihr generierten Daten und die von ihr erstellten Modelle geprägt sind. Diese Herausforderungen reichen von der Analyse von Genomen und der Beschleunigung der Arzneimittelforschung bis hin zur Optimierung von Lieferketten, der Interpretation medizinischer Bilder und der Simulation von Fabriken, Robotern und digitalen Zwillingen.

Um zur Lösung dieser Probleme beizutragen, hat NVIDIA massiv in domänenspezifische Bibliotheken und Frameworks für beschleunigtes Computing investiert. Wir freuen uns, diese Funktionen direkt in die Databricks-Plattform zu bringen.

Kunden können den beschleunigten Computing-Stack von NVIDIA über die gesamte Databricks-Erfahrung hinweg nutzen – von Data Engineering und Experimenten bis hin zu Modellentwicklung und Produktions-Workflows. Ab sofort können auch fachspezifische F&E-Teams die beschleunigten Funktionen von NVIDIA nutzen, ohne die Databricks-Plattform zu verlassen.

Die Partnerschaft erstreckt sich auf die beschleunigten Computing-Bibliotheken und Domain-Frameworks von NVIDIA, die Kunden mit Databricks für branchenspezifische KI-Workloads nutzen können:

Ausblick: Entwicklung für die Ära der KI-Agenten

Die KI-Infrastruktur von NVIDIA unterstützt kritische KI-Ebenen auf Databricks: die GPUs für Training und Inferenz, die Vera-CPUs für Ihre Agenten-Orchestrierung und Datenanalysen, das NVIDIA Agent Toolkit für Ihre Agenten-Anwendungen sowie die Entwicklertools, mit denen Sie das Beste aus jedem Rechenzyklus herausholen.

Egal, ob Sie als Startup mit Ihrem ersten GPU-Workload in der Free Edition experimentieren, als Pharmaunternehmen BioNeMo für die Wirkstoffforschung einsetzen oder als Großunternehmen Frontier-Modelle in großem Maßstab bereitstellen – Databricks und NVIDIA bieten Ihnen gemeinsam die Leistung, Einfachheit und Governance, die Sie benötigen.

Legen Sie noch heute los: Testen Sie NVIDIA-GPUs in der Databricks Free Edition, stellen Sie das NVIDIA Agent Toolkit auf Databricks Apps bereit oder erkunden Sie unsere Foundation Model API, die auf der beschleunigten Rechenleistung von NVIDIA basiert.

(Dieser Blogbeitrag wurde mit KI-gestützten Tools übersetzt.) Originalbeitrag