AI/BI Genie agora está Disponível Geralmente

Em junho passado, anunciamos Databricks AI/BI, nossa entrada na categoria de Inteligência de Negócios, construída em torno de uma IA que compreende profundamente seus dados, semântica e padrões de uso, e arquitetada desde o início para aproveitar a Plataforma de Inteligência de Dados. AI/BI não apenas oferece uma experiência convencional de BI através de Painéis, mas também apresenta Genie, uma experiência de análise conversacional que permite a todos responderem suas próprias perguntas de dados através de linguagem natural. Hoje, estamos entusiasmados em compartilhar que o Genie AI/BI agora se juntará aos Painéis AI/BI como Disponível Geralmente em todas as nuvens.

O que é Genie?

Em sua essência, o AI/BI Genie permite que os usuários façam perguntas em linguagem natural e obtenham insights instantâneos a partir dos dados. Os usuários de negócios podem fazer perguntas como “Como está minha pipeline de vendas?” e o Genie responderá com uma combinação de resumos de texto, dados tabulares e visualizações. Com cada resposta, o Genie também fornece uma explicação de como chegou à resposta para dar aos usuários confiança no resultado.

Nosso objetivo com o Genie é oferecer uma experiência de análise conversacional que realmente funciona conforme anunciado no mundo real - respostas confiáveis que são precisas e relevantes dentro do contexto único da sua organização. Este é um desafio até mesmo para os mais recentes e avançados LLMs, pois eles não compreendem o contexto único ou a semântica específica de cada organização e seus dados e negócios.

O AI/BI Genie resolve esse problema permitindo que os analistas empacotem dados (como tabelas e visualizações) junto com semânticas (como definições de métricas, consultas de amostra, instruções de texto e ativos certificados) em um espaço Genie focado em um tópico específico - por exemplo, o pipeline de vendas.

O espaço Genie atua como um repositório local de conhecimento, unindo semânticas extraídas de ativos existentes na Plataforma de Inteligência de Dados com curadoria e feedback fornecidos por analistas especializados. Em essência, este sistema permite que os analistas de dados ampliem seu impacto criando um agente conhecedor que pode responder a perguntas de dados da mesma forma que eles fariam. Ele capacita os usuários de negócios a fazerem perguntas que não são cobertas pelos painéis e relatórios existentes, liberando os analistas para se concentrarem em trabalhos de maior valor.

Atualizações desde o anúncio

Desde que anunciamos o AI/BI Genie em junho passado, temos trabalhado duro para introduzir mais capacidades, qualidade de resposta confiável e experiências de usuário refinadas com base no feedback de nossos clientes de pré-visualização.  Aqui estão alguns destaques:

• Precisão de primeira classe:   A qualidade da resposta é a prioridade máxima para a equipe do produto Genie, e nosso foco tem sido em resolver problemas reais levantados por milhares de clientes ativos. Por exemplo, adicionamos o conceito de dicionários de valores, que - como mostrado no exemplo abaixo - permite que o Genie combine semanticamente um pedido de "primeiro grupo de nível" com o valor literal "grupo de suporte de primeira linha" com base no que está nos dados subjacentes. O Genie também agora é capaz de lidar com conjuntos de dados muito maiores (sem restrições de contagem de colunas), instruções complexas e passou por vários ciclos de atualizações de modelo. 

• Visões de Métricas do Catálogo Unity: Genie é construído nativamente na Plataforma de Inteligência de Dados, e continuamos a expandir essa base. Por exemplo, adicionamos suporte para Métricas do Catálogo Unity, permitindo que os clientes usem modelos de dados governados e confiáveis para garantir a precisão para casos de uso críticos. Com o Genie AI/BI, o Catálogo Unity serve como a única fonte de verdade para dados e semântica - eliminando a necessidade de modelagem redundante.
• Suporte para avaliação e benchmarks: Engenheiros qualificados dirão que qualquer esforço de IA deve começar com uma fase de avaliação. Não fazer isso significa falhar na produção. As experiências de análise conversacional não são diferentes - quando você cria um novo espaço Genie, você está realmente criando um novo sistema de IA para um domínio específico. É por isso que adicionamos recursos como Benchmarks e Solicitar Revisão. Os Benchmarks do Genie são perguntas de teste curadas com respostas SQL esperadas que permitem aos autores avaliar e melhorar a precisão das respostas do Genie ao longo do tempo, enquanto 'Solicitar Revisão' permite que os usuários finais sinalizem respostas específicas para verificação ou correção pelos administradores do espaço, promovendo confiança e colaboração entre usuários de negócios e equipes de dados.

• Análise ad-hoc com o Upload de Arquivo Genie: Um padrão de análise comum que descobrimos durante o período de pré-visualização foi a necessidade de combinar uma planilha local (como uma lista de leads de uma campanha) com um conjunto de dados gerenciado no Catálogo Unity (como contas e contatos do Salesforce) para completar uma tarefa ad-hoc. Com o Upload de Arquivo Genie, você pode simplesmente arrastar e soltar arquivos Excel ou CSV no Genie e completar qualquer análise abrangente por meio de linguagem natural.

• Genie em todo lugar: Painéis e Genie funcionam melhor juntos - é por isso que todo Painel AI/BI inclui um espaço Genie integrado. Os painéis mostram quais dados estão disponíveis para exploração, enquanto Genie permite que os usuários vão além dos limites de fatias, filtros e combinações predefinidos - tudo dentro da mesma experiência. Além disso, com o novo APIs de Conversação Genie, os desenvolvedores podem incorporar o Genie em ferramentas de colaboração como Slack, Microsoft Teams ou aplicativos internos personalizados. Isso abre novas maneiras para os usuários de negócios acessarem análises conversacionais no fluxo de trabalho - sem mudar de contexto ou fazer login em uma interface separada.

Também entregamos uma série de outras melhorias - desde visualizações aprimoradas até uma interface de usuário redesenhada para orientar os usuários finais em suas análises. Planejamos continuar com esse alto nível de velocidade de recursos após o GA; por favor, confira as notas de lançamento de AI/BI e fique atento para mais blogs à medida que continuamos a adicionar recursos ao longo do tempo.

Sucesso real com o Genie

Estamos entusiasmados com a rápida adoção do Genie; mais de 4000 clientes adotaram o AI/BI Genie durante sua pré-visualização para democratizar os dados e capacitar seus usuários não técnicos. Aqui está uma amostra do que alguns de nossos clientes de pré-visualização compartilharam conosco sobre o Genie:

Genie está mudando a forma como capacitamos as equipes na HP. Com sua interface intuitiva de linguagem natural, estamos permitindo que os usuários acessem instantaneamente dados críticos, sem necessidade de codificação, tornando as percepções baseadas em dados mais rápidas e eficientes.  — Bruce Hillsberg, VP, Engenharia de Dados & Insights, Tecnologia & Inovação, HP Inc

Os usuários estavam constantemente enviando mensagens para os analistas para perguntar - Ei, como foram as vendas na região sudoeste em comparação com o ano anterior? - A ideia de poder apenas perguntar ao Genie, em vez de procurar o analista certo e esperar que eles acertem a resposta, tem sido muito empolgante para o negócio.  — Shahmeer Mirza, Diretor Sênior de Dados, AI/ML, e P&D, 7-Eleven

Executivos e outros líderes de LOB em marketing e finanças podem usar o Genie para acessar os dados de que precisam apenas usando inglês simples. Absolutamente incrível. — Felix Baker, diretor de serviços de dados, SEGA Europe

Temos muitos outros clientes que tiveram um enorme sucesso com o Genie, incluindo Premier Inc, Magic Orange, The AA, e Casas Bahia para citar alguns. Estamos animados em permitir que mais organizações se juntem a eles tornando o Genie geralmente disponível. 

Loja de conhecimento de próxima geração

O coração do Genie é sua loja de conhecimento - um modelo semântico vivo que o sistema de IA do Genie consulta cada vez que responde a uma pergunta. Estamos agora lançando a próxima geração de nossa loja de conhecimento, que permite aos autores curar conhecimento com muito mais detalhes e com muito menos esforço. Os autores podem adicionar conhecimento diretamente aos ativos de dados, incluindo sinônimos de nível de coluna e valores amostrados, bem como contexto de nível de tabela, como junções de chave primária/estrangeira ou métricas certificadas e mais. O sistema de IA composto do Genie pode recuperar as peças certas de conhecimento para cada pergunta para fornecer respostas precisas às perguntas dos usuários. 

Mesmo com esses aprimoramentos, a curadoria de semânticas ainda é uma tarefa. Para tornar esse processo significativamente mais fácil, o Genie agora realiza mineração de conhecimento e extração. 

A mineração de conhecimento (acima) permite que o Genie vasculhe a linhagem do Catálogo Unity e o histórico de consultas, preservando as garantias de governança do Catálogo Unity, para sugerir novas instruções ou destacar padrões recorrentes que merecem promoção para a loja de conhecimento, reduzindo a curadoria manual para os proprietários de espaço. 

Também temos muitos clientes utilizando o Genie para casos de uso totalmente novos onde não há referência anterior para inicializar o armazenamento de conhecimento.  Para lidar com esses casos, aprimoramos a extração de conhecimento do Genie para que a curadoria ocorra como parte do uso regular. Durante cada sessão de chat, o Genie extrai informações semânticas, propõe trechos concisos de conhecimento e, uma vez que o usuário aprova, os armazena. 

Juntamente com o monitoramento de atividades integrado e os loops de feedback, o uso diário se torna um pipeline de aprendizado contínuo que mantém o modelo semântico do Genie preciso sem revisões periódicas.

Pesquisa Profunda do Genie

Embora o GA do Genie seja um marco significativo, não estamos diminuindo o ritmo em nossa jornada para reimaginar o BI com uma abordagem centrada em IA. Estamos animados em anunciar a prévia do Genie Deep Research - um novo modo no Genie projetado para responder perguntas mais complexas e de várias etapas. Até agora, o Genie foi otimizado para perguntas do tipo "o que aconteceu" (por exemplo, "Qual é o nosso pipeline de vendas?"). Responder perguntas "por que" e "como" (por exemplo, "Por que as vendas estão em baixa?" ou "Como podemos aumentar nosso pipeline?") exigia que os usuários formassem suas próprias hipóteses e pedissem ao Genie para testar cada uma individualmente. Com o Deep Research, o Genie aproveitará os últimos avanços na pesquisa LLM para abordar esses tipos de perguntas produzindo um plano de pesquisa e analisando várias hipóteses em paralelo antes de resumir os resultados.

Assim como o resto do Genie, a Deep Research se baseará e ampliará a loja de conhecimento do Genie para fornecer resultados precisos e confiáveis. Genie também fornecerá explicitamente citações para as conclusões que tirou e fornecerá experiências fáceis de um clique para examinar qualquer trabalho realizado ao longo do caminho.   Deep Research estará disponível como um recurso experimental para os clientes do Genie ainda neste verão. 

Trazendo o AI/BI Genie para suas equipes de negócios 

Uma das poucas preocupações que ouvimos dos clientes sobre a implementação ampla do Genie é que o acesso ao AI/BI até agora exigia a navegação pelo espaço de trabalho técnico do Databricks - uma experiência que pode ser intimidante para usuários de negócios não técnicos. Como parte de nossos anúncios do Data and AI Summit, também estamos introduzindo Databricks One — uma nova experiência que dá às equipes de negócios acesso simples e seguro aos Painéis de AI/BI e espaços Genie, bem como aos Apps Databricks. Assim como o AI/BI, Databricks One está disponível gratuitamente para todos os clientes do Databricks SQL.  

Saiba mais

O AI/BI Genie e os Painéis agora estão disponíveis para os clientes do Databricks SQL sem a necessidade de licenças adicionais. Se você quiser saber mais, pode conferir a página do AI/BI Genie e começar explorando o seguinte conteúdo:

1. Documentação: Aprofunde-se nos detalhes com nossa documentação.
2. Demonstrações: Assista nossas demonstrações vídeos, faça tours de produtos e obtenha tutoriais práticos para ver esses AI/BI em ação.
3. Treinamento: Comece com o produto gratuito treinamento através da Databricks Academy
4. eBook: Baixe o Business Intelligence Meets AI eBook

Se você não é um cliente existente do Databricks, também pode testar o Genie e outros produtos Databricks se inscrevendo para um teste gratuito.

(This blog post has been translated using AI-powered tools) Original Post