Modellbereitstellung
Einheitliche Bereitstellung und Governance für alle KI-Modelle und -Agenten
Was ist Databricks Model Serving?
Databricks Model Serving bietet Unternehmen eine robuste Lösung für die Bereitstellung klassischer ML-Modelle, generativer KI-Modelle und KI-Agenten. Es unterstützt proprietäre Modelle wie Azure OpenAI, AWS Bedrock und Anthropic sowie Open-Source-Modelle wie Llama und Mistral. Kunden können außerdem fein abgestimmte Open-Source-Modelle oder klassische ML-Modelle bereitstellen, die mit ihren eigenen Daten trainiert wurden. Kunden können die bereitgestellten Modelle ganz einfach als Endpunkte in ihren Workflows verwenden, z. B. für große Batch-Inferenz- oder Echtzeitanwendungen. Model Serving bietet außerdem integrierte Funktionen für Governance, Datenherkunft und Monitoring, sodass konsistente und hochwertige Outputs gewährleistet sind.
Was Kunden über Databricks Model Serving sagen
Einfachere Bereitstellung sämtlicher KI-Modelle und -Agenten
Sie können beliebige Modelltypen bereitstellen, von vortrainierten Open-Source-Modellen bis hin zu benutzerdefinierten Modellen, die auf Ihren eigenen Daten basieren – sowohl auf CPUs als auch auf GPUs. Die automatisierte Erstellung von Containern und das Infrastrukturmanagement senken Wartungskosten und beschleunigen die Bereitstellung. So können Sie sich ganz auf den Aufbau Ihrer KI-Agent-Systeme konzentrieren und schneller geschäftlichen Mehrwert schaffen.
Einheitliche Verwaltung aller Modelle
Sie können alle Modelle verwalten, einschließlich benutzerdefinierter ML-Modelle wie PyFunc, scikit-learn und LangChain, Foundation Models (FMs) auf Databricks wie Llama 3, MPT und BGE sowie Foundation Models, die anderswo gehostet werden wie ChatGPT, Claude 3, Cohere und Stable Diffusion. Model Serving macht alle Modelle über eine einheitliche Benutzeroberfläche und API zugänglich, einschließlich der von Databricks oder von einem anderen Modellanbieter auf Azure und AWS gehosteten Modelle.
Batch-Inferenz mit KI-Funktionen
Model Serving ermöglicht effiziente, serverlose KI-Inferenz auf großen Datensätzen über alle Datentypen und Modelle hinweg. Integrieren Sie Databricks SQL, Notebooks und Workflows nahtlos, um KI in großem Maßstab einzusetzen. Mit KI-Funktionen führen Sie groß angelegte Batch-Inferenzen sofort aus – ganz ohne Infrastrukturverwaltung – und stellen dabei Geschwindigkeit, Skalierbarkeit und Governance sicher.
Integrierte Governance mit Unity Gateway
Integrieren Sie mit Unity Gateway, um strengen Sicherheits- und erweiterten Governance-Anforderungen gerecht zu werden. Sie können geeignete Berechtigungen durchsetzen, die Modellqualität überwachen, Zugriffslimits festlegen und die Herkunft aller Modelle nachverfolgen, unabhängig davon, ob sie von Databricks gehostet werden oder von einem anderen Modellanbieter.
Hosten Sie feinabgestimmte und RAG-Modelle, die auf Ihren Daten basieren
Beschleunigen Sie Bereitstellungen und reduzieren Sie Fehler durch eine umfassende Integration mit der Data+AI-Plattform. Sie können problemlos verschiedene klassische ML- und generative KI-Modelle hosten, die mit Ihren Unternehmensdaten erweitert (RAG) oder optimiert wurden. Model Serving bietet automatisierte Suchanfragen, Monitoring und Governance über den gesamten KI-Lebenszyklus hinweg.
Preisgestaltung mit Pay-per-Token oder bereitgestelltem Durchsatz
Sie können Modelle als API mit niedriger Latenz auf einem hochverfügbaren serverlosen Service mit CPU- und GPU-Unterstützung bereitstellen. Skalieren Sie mühelos von Null, um Ihre wichtigsten Anforderungen zu erfüllen – und wieder herunter, wenn sich die Anforderungen ändern. Sie können schnell mit einem oder mehreren vorab bereitgestellten Modellen und Pay-per-Token (On-Demand, ohne Verpflichtungen) oder Pay-for-provisioned-Compute-Workloads für garantierten Durchsatz loslegen. Databricks übernimmt die Infrastrukturverwaltung und die Wartungskosten, sodass Sie sich auf die Schaffung von Mehrwert für Ihr Unternehmen konzentrieren können.
Erste Schritte mit diesen Ressourcen
Blogposts zu Databricks Model Serving
Dokumentation zu Databricks Model Serving
E-Books zu MLOps, RAG und LLM Fine-Tuning
Häufig gestellte Fragen
Databricks Model Serving ist eine einheitliche Bereitstellungs- und Governance-Lösung für klassische ML-Modelle, generative KI-Modelle und KI-Agenten. Es unterstützt proprietäre Modelle wie Azure OpenAI, AWS Bedrock und Anthropic sowie Open-Source-Modelle wie Llama und Mistral und Sie können fein abgestimmte Open-Source-Modelle oder klassische ML-Modelle bereitstellen, die mit Ihren eigenen Daten trainiert wurden. Bereitgestellte Modelle können als Endpunkte für großvolumige Batch-Inferenz oder Echtzeitanwendungen verwendet werden, mit integrierter Governance, Lineage und Überwachung, um qualitativ hochwertige Ausgaben zu gewährleisten.