Modellbereitstellung
Einheitliche Bereitstellung und Governance für alle KI-Modelle
Einführung
Databricks Model Serving ist ein einheitlicher Dienst zum Bereitstellen, Steuern, Abfragen und Überwachen von Modellen, die von Databricks (z. B. Llama 2, MosaicML MPT oder BGE) oder von beliebigen anderen Modellanbietern (z. B. Azure OpenAI, AWS Bedrock, AWS SageMaker und Anthropisch) optimiert und vorab bereitgestellt wurden. Unser einheitlicher Ansatz macht es einfach, mit Modellen von beliebigen Clouds oder Anbietern zu experimentieren und in Produktion zu bringen, um den besten Kandidaten für Ihre Echtzeitanwendung zu finden. Sie können A/B-Tests verschiedener Modelle durchführen und die Modellqualität anhand von Live-Produktionsdaten überwachen, sobald diese bereitgestellt sind. Model Serving beinhaltet auch vorab bereitgestellte Modelle wir Llama2 70B, mit denen Sie die Entwicklung von KI-Anwendungen wie Retrieval Augmented Generation (RAG) beschleunigen und Pay-per-Token-Zugriff oder Pay-for-provisioned-Compute zur Gewährleistung von Durchsatz bereitstellen können.
Kundenzitate
Vereinfachte Bereitstellung für alle KI-Modelle
Stellen Sie beliebige Modelltypen bereit, von vortrainierten Open-Source-Modellen bis hin zu benutzerdefinierten Modellen, die auf Ihren eigenen Daten basieren – sowohl auf CPU als auch auf GPU. Automatisierte Containererstellung und Infrastrukturverwaltung reduzieren die Wartungskosten und beschleunigen die Bereitstellung, sodass Sie sich auf die Umsetzung Ihrer KI-Projekte konzentrieren und schneller einen Mehrwert für Ihr Unternehmen schaffen können.
Einheitliche Verwaltung aller Modelle
Verwalten Sie alle Modelle, einschließlich benutzerdefinierter ML-Modelle wie PyFunc, Scikit-Learn und LangChain, Foundation-Modelle (FMs) auf Databricks wie Llama 2, MPT und BGE sowie anderswo gehosteter Foundation-Modelle wie ChatGPT, Claude 2, Cohere und Stable Diffusion. Durch die Modellbereitstellung sind alle Modelle über eine einheitliche Benutzeroberfläche und API zugänglich, einschließlich der von Databricks oder von einem anderen Modellanbieter auf Azure und AWS gehosteten Modelle.
Integrierte Governance
Erfüllen Sie strenge Sicherheits- und Governance-Anforderungen, indem Sie die erforderlichen Berechtigungen erzwingen, die Modellqualität überwachen, Ratenlimits festlegen und die Herkunft aller Modelle rückverfolgen – unabhängig davon, ob diese von Databricks oder einem anderen Modellanbieter gehostet werden.
Datenzentrierte Modelle
Beschleunigen Sie Bereitstellungen und reduzieren Sie Fehler durch eine umfassende Integration mit der Data-Intelligence-Plattform. Sie können problemlos verschiedene generative KI-Modelle hosten, die augmentiert (RAG) oder mit Unternehmensdaten optimiert wurden. Model Serving bietet automatisierte Suchanfragen, Monitoring und Governance über den gesamten KI-Lebenszyklus hinweg.
Kosteneffizient
Stellen Sie Modelle als API mit geringer Latenz auf einem hochverfügbaren Serverless-Dienst mit CPU- und GPU-Unterstützung bereit. Skalieren Sie mühelos von Null, um Ihre wichtigsten Anforderungen zu erfüllen, und wieder herunter, wenn sich die Anforderungen ändern.Sie können schnell mit einem oder mehreren vorab bereitgestellten Modellen und Pay-per-Token (on demand ohne Verpflichtungen) oder Pay-for-provisioned-Compute zur Gewährleistung von Durchsatz loslegen. Databricks übernimmt die Infrastrukturverwaltung und die Wartungskosten, sodass Sie sich auf die Schaffung von Mehrwert für Ihr Unternehmen konzentrieren können.
Erste Schritte mit diesen Ressourcen
Blog
Dokumentation
E-Book
