Construindo o futuro dos agentes de AI e aplicativos de inteligência: comemorando 4 anos do R&D da Databricks em Seattle

Em novembro de 2021, anunciamos a abertura da nossa unidade de R&D em Seattle e nosso plano de contratar engenheiros para desenvolver a Databricks Intelligence Platform. Hoje, temos centenas de engenheiros em Bellevue e Seattle trabalhando em iniciativas de missão crítica, que vão desde a otimização da infraestrutura e casos de uso de GenAI até recursos que ajudam nossos clientes a gerar percepções mais rapidamente. 

Todos esses esforços estão alinhados com nosso objetivo no Databricks de simplificar e democratizar os dados e a AI em serviço de permitir que nossos clientes resolvam os problemas mais difíceis do mundo — desde tornar o próximo meio de transporte uma realidade até acelerar o desenvolvimento de avanços médicos. Fazemos isso construindo e operando a melhor plataforma de infraestrutura de dados e AI do mundo. 

Em nosso aniversário de quatro anos, estamos entusiasmados em compartilhar exemplos do trabalho inovador em andamento em nossos escritórios!  

Ciência de dados e analítica com tecnologia de AI

O Databricks continuou a avançar em sua experiência nativa de AI para ciência de dados e analítica, simplificando a forma como os usuários exploram dados, escrevem código e criam pipeline de dados.

Este ano, a equipe lançou vários recursos importantes, incluindo:

• Lakeflow Designer: uma nova experiência de produto para permitir a analítica de negócios de autoatendimento por meio de uma interface low-code de arrastar e soltar. O Designer foi criado do zero para ser uma experiência nativa de AI, aproveitando a completa data intelligence platform para fornecer respostas precisas geradas por AI. Tudo no fluxo de trabalho visual é representado por um arquivo SQL subjacente que pode ser armazenado no Git para CI/CD, controle de versão e colaboração entre as equipes de dados.
• Data Science Agent no Databricks Assistant: um novo fluxo de trabalho autônomo que transforma o Assistant de um assistente de conversação para um parceiro prático para ciência de dados. Os usuários podem pedir ao Agent para explorar dados, gerar e execução de código, ensinar e avaliar modelos de ML e resolver erros.
• Disponibilidade Geral do novo Editor de SQL: oferece uma experiência de criação unificada e moderna para analistas de SQL com execução mais rápida, colaboração em tempo real, edição em tela dividida, visualização de resultados aprimorada e integração profunda com o Databricks Assistant para escrever SQL. 

Com o apoio do trabalho dos engenheiros de Seattle Michael Piatek, Tomas Isdal, Weston Hutchins e Zhong Chen.

Analítica Inteligente Democratizada

O Databricks AI/BI oferece uma experiência completa de BI com tecnologia de AI. Ele combina recursos avançados de dashboarding e relatórios com o Genie, uma interface de conversação que transforma perguntas em linguagem natural em percepções.

Principais recursos recentes:

• Disponibilidade geral do Genie + Genie Research Agent: Nova análise ad hoc via upload de arquivos, suporte para avaliação e benchmarks e atualizações significativas de precisão para respostas de alta qualidade. A equipe também lançou o Genie Research Agent, que fornece percepções mais profundas sobre os dados e respostas para questões de negócios complexas, usando raciocínio de várias etapas e investigação de hipóteses.
• Análise incorporada: em muitas organizações, a analítica mais valiosa é aquela que precisa ser compartilhada com clientes, fornecedores ou parceiros. Os clientes da Databricks agora podem pegar um dashboard que já existe no Databricks e inseri-lo diretamente em um aplicativo voltado para o cliente ou parceiro. A experiência é totalmente interativa e em tempo real, e os preços com base no consumo significam que os clientes podem escalar a analítica para milhares de visualizadores sem incorrer em taxas imprevisíveis.
• Você pode ler mais sobre as últimas inovações da equipe em AI/BI aqui. 

Desenvolvido com a ajuda dos engenheiros de Seattle Kanit Wongsuphasawat, Justin Talbot, Miranda Luna, Amir Hormati, Yi Liu,  Alnur Ali e Clark Wildenradt.

Data warehousing na era da AI 

A equipe do Serverless Apache Spark, dá suporte a todas as nossas aplicações baseadas em Serverless Spark no Databricks. 

A equipe está focada em construir uma plataforma altamente confiável capaz de executar milhões de VMs por dia, garantindo ao mesmo tempo que as cargas de trabalho tenham um desempenho eficiente. Os principais projetos incluem: 

• Aproveitamento do uso histórico para melhorar o binpacking de sessões em clusters Serverless Spark
• Oferecendo a melhor relação preço-desempenho da categoria por meio da integração profunda com o Spark para escala horizontal e vertical de nossos clusters Spark com base nas cargas de trabalho dos usuários
• Habilitação do provisionamento de baixa latência, O(seconds), analisando a demanda e pré-aquecendo o compute de acordo
• Desbloqueio do uso do Serverless removendo a divergência de recursos entre o Serverless e o Classic (ou seja, Políticas de orçamento, Controles de custo, instance profile etc.)

Liderado pelos engenheiros Mitchell Webster, Lev Novik, Akshay Singla, Swapandeep Singh e Anwell Wang.

Compartilhamento de dados e colaboração abertos 

O ingrediente fundamental para a AI são os dados. E, cada vez mais, as empresas precisam buscar fontes externas para enriquecer e expandir seus dados. 

Nossa equipe de Bellevue trabalhou nos principais produtos de compartilhamento de dados da Databricks, incluindo o Delta Sharing, o Databricks Marketplace (criado do zero por engenheiros de Seattle) e o Databricks Cleanrooms. 

O impacto já é visível no mundo real. Ouça a Mastercard falar sobre como o Databricks Clean Rooms os ajudam a colaborar em dados confidenciais com segurança e em escala. 

Avanços recentes tornaram a colaboração aberta ainda mais poderosa:

• Inovações do Delta Sharing: Interoperabilidade total com Iceberg, um novo gateway de rede de compartilhamento delta que simplifica a conectividade entre organizações e governança detalhada para compartilhamentos usando Controles de Acesso Baseados em Atributos (ABAC). Essas melhorias facilitam para os provedores o compartilhamento de dados governados com um grande número de destinatários em escala. 
• Compartilhamento de Modelos e Agentes - Provedores agora podem publicar MCP no Databricks Marketplace, facilitando a descoberta e a conexão com ferramentas MCP para acelerar o desenvolvimento de AI.
• Melhorias nos Clean Rooms: As colaborações multipartidárias agora estão em GA com aprovações de privacidade avançadas. Os Clean Rooms também se integram com os principais parceiros de identidade para permitir a Resolução de Identidade centrada na privacidade. Esses novos recursos tornam os clean rooms ainda mais poderosos para a colaboração com preservação da privacidade

Os engenheiros de Seattle  Mengxi Chen, Moe Derakhshani, Qihua Wang e Tao Tao desempenharam um papel central na construção dessas capacidades de compartilhamento de dados e colaboração. 

Otimizando desempenho e eficiência

O Databricks não pode fornecer os melhores produtos da categoria se eles não estiverem sendo executados na infraestrutura mais performática e confiável do mundo.  Aqui estão alguns dos maiores avanços de infraestrutura desenvolvidos por nossos engenheiros de Seattle:

• Um sistema operacional leve e altamente personalizado que pode inicializar VMs super rápido
• Um Runtime de contêiner especializado que pode aquecer o Spark em segundos
• Um snapshotter de contêiner especializado que pode buscar rapidamente os pesos do LLM
• Um registro de contêiner altamente escalável que distribui binários a 10 Tbps

Leia mais sobre nosso trabalho:

• Inicializando VMs da Databricks 7x mais rápido para Serverless Compute
• Fazendo download de dezenas de milhões de imagens de contêiner diariamente do Artifact Registry otimizado para Serverless

Anders Liu, Max Wolffe, Shuo Chen, Shuai Chang lideraram a equipe da Node Platform que construiu a infraestrutura de contêiner para cada produto do Databricks, ajudando a manter nossas máquinas seguras, confiáveis e a melhorar a eficiência em toda a frota.

The Money Team: a interseção entre negócios e tecnologia 

A Money Team é responsável pelos sistemas que mantêm o coração financeiro do Databricks pulsando. Esta equipe é responsável pela jornada de ponta a ponta de transformar produtos de Data + AI em um negócio sustentável, evoluindo os modelos de negócios suportados, acelerando a velocidade de lançamento, integrando aquisições e protegendo contra fraudes e abusos. 

Esta equipe construiu o único mecanismo de classificação integrado multinuvem do mundo, capaz de processar trilhões de eventos de uso de parceiros primários e terceirizados — incluindo AWS, Azure, GCP e SAP — tudo unificado em uma única plataforma que opera em mais de 85 regiões e funciona uma ordem de magnitude mais rápido do que os concorrentes do setor. Este feito foi possível porque eles desenvolveram seus sistemas com base nos produtos inovadores de Data + AI da Databricks, trabalhando em estreita colaboração com as equipes de R&D para impulsionar novos requisitos que fazem os produtos avançarem.

Além disso, a equipe Money tem sido fundamental para a missão da Databricks de democratizar dados + AI, permitindo-nos oferecer, do setor, o único trial grátis de verdade, sem necessidade de cartão de crédito. Esta é uma ferramenta poderosa para estudantes e desenvolvedores que desejam aprender as mais recentes tecnología, mas não têm grandes orçamentos. Nós possibilitamos isso com nossos sistemas de controle de acesso de ponta, que protegem os produto da Databricks contra abuso e uso indevido.

Saiba mais sobre nosso trabalho e nossa equipe:

• Como reduzimos a carga operacional para permitir mais investimento em inovação
• Voltadas para o cliente ferramentas de gerenciamento de custos que lançamos
• Nosso líder de gerenciamento de produtos compartilha por que ele acredita na Databricks 

A Money Team foi construída com a liderança dos engenheiros de Seattle Kazi Al-Rashid, Li Xiong e Mahesh Venkataramani, com seu Líder de Produto Greg Kroleski.

Estamos crescendo!

Estamos entusiasmados com o progresso que nossas equipes de engenharia de Bellevue e Seattle fizeram nos últimos quatro anos! Do AI/BI à equipe Money Team, nossas equipes aqui estão construindo alguns dos sistemas mais complexos da plataforma e impulsionando várias de nossas iniciativas de produtos mais estratégicas. Se você se empolga em resolver problemas difíceis em grande escala, estamos contratando aqui em Bellevue/Seattle e em nossas outras unidades de R&D. Para saber mais sobre as vagas disponíveis, visite nossa página de Carreiras. 

(This blog post has been translated using AI-powered tools) Original Post