Patrones de arquitectura de IA generativa
Desarrolla IA generativa de calidad de producción para cualquier patrón de arquitectura
Comienza a diseñar tu solución de IA generativa
Hay cuatro patrones arquitectónicos a considerar al construir una solución de modelo de lenguaje grande (LLM).
Databricks es el único proveedor que te permite crear soluciones de alta calidad a bajo costo en los cuatro patrones de arquitectura de IA generativa:
Ingeniería de prompts
La ingeniería de indicaciones es la práctica de personalizar las indicaciones para obtener mejores respuestas sin cambiar el modelo subyacente. La ingeniería de indicaciones es fácil en Databricks: encuentra los modelos disponibles en el Marketplace (incluidos modelos populares de código abierto como Llama 2 y MPT), sirve modelos detrás de un punto de conexión en Model Serving, y evalúa las indicaciones en una IU fácil de usar con Playground o MLflow.
Generación aumentada por recuperación (RAG)
RAG encuentra datos o documentos relevantes para una pregunta o tarea y los proporciona como contexto para que el LLM ofrezca respuestas más pertinentes.
Databricks tiene un conjunto de herramientas RAG que ayuda a combinar y optimizar todos los aspectos del proceso RAG, como la preparación de datos, los modelos de recuperación, los modelos de lenguaje (ya sea SaaS o de código abierto), las canalizaciones de clasificación y posprocesamiento, la ingeniería de prompts y el entrenamiento de modelos en datos empresariales personalizados.
Ajuste fino
El ajuste fino adapta un modelo LLM de uso general existente mediante un entrenamiento adicional utilizando la propiedad intelectual de tu organización con tus datos. El ajuste fino de Databricks te permite hacerlo fácilmente al permitirte comenzar con tu modelo LLM preferido, incluidos los modelos seleccionados por Databricks como MPT-30B, Llama 2 y BGE, y brindarte la capacidad de realizar un entrenamiento adicional en nuevos conjuntos de datos.
Preentrenamiento
El preentrenamiento es la práctica de construir un nuevo modelo LLM desde cero para garantizar que el conocimiento fundamental del modelo se adapte a tu dominio específico. Al capacitar en la propiedad intelectual de tu organización con tus datos, creas un modelo personalizado que se diferencia de manera única. Databricks Mosaic AI Pretraining es una solución de entrenamiento optimizada que puede crear nuevos LLM de parámetros multimillonarios en días con costos de entrenamiento hasta 10 veces más bajos.
Elegir el mejor patrón
Estos patrones de arquitectura no son mutuamente excluyentes. Más bien, pueden (y deben) combinarse para aprovechar las fortalezas de cada uno en diferentes implementaciones de IA generativa. Databricks es el único proveedor que habilita los cuatro patrones de arquitectura de IA generativa, lo que garantiza que tengas la mayor cantidad de opciones y puedas evolucionar según lo exijan los requisitos de tu negocio.