Apresentando o AI/BI: analítica inteligente para dados do mundo real

Hoje, temos o prazer de anunciar Databricks AI/BIum novo tipo de produto Business Intelligence desenvolvido desde o início para entender profundamente a semântica de seus dados e permitir que qualquer pessoa analise os dados por conta própria. AI/BI foi desenvolvido com base em um sistema de IA composto que extrai percepções sobre seus dados de todo o ciclo de vida na plataforma Databricks, incluindo o pipeline ETL, a linhagem e outras consultas. Ele potencializa duas experiências de produto complementares:

1. AI/BI Dashboards: uma solução de dashboarding de baixo código, baseada em IA, que inclui todos os recursos convencionais do BI que você esperaria que viessem prontos para responder a um conjunto fixo de perguntas comerciais; e
2. genieInterface de conversação : uma interface de conversação que pode aprender os dados subjacentes e a semântica continuamente com base no feedback humano e pode responder a um conjunto muito mais amplo de perguntas comerciais com base em seus recursos de raciocínio, ao mesmo tempo em que fornece respostas certificadas para padrões de consulta especificados pelas equipes de dados.

Esses recursos tornam o AI/BI um passo significativo em direção ao verdadeiro autosserviço BI, ampliando significativamente a gama de análises que os usuários comuns podem realizar. Além disso, a integração do AI/BI com o Databricks' Data Intelligence Platform garante governança unificada, acompanhamento de linhagem, compartilhamento seguro e desempenho de alto nível em qualquer escala de dados.

No restante dos blogs, discutimos os motivos pelos quais a GenAI tem dificuldades para trabalhar até agora em BI, além das demonstrações. Em seguida, discutimos por que acreditamos que o projeto do AI/BI pode superar esses problemas e o validamos por meio de evidências do mundo real.

Por que a GenAI ficou aquém do BI

Nos últimos 30 anos, os usuários corporativos têm recebido relatórios e painéis para responder às suas perguntas sobre dados. No entanto, à medida que as empresas evoluem, esses usuários dependem de profissionais de dados escassos e sobrecarregados para criar novas visualizações e responder a novas perguntas. Os usuários corporativos e as equipes de dados ficam presos nesse ciclo insatisfatório e interminável que gera inúmeros painéis, mas ainda deixa muitas perguntas sem resposta.

Com a empolgação em torno dos LLMs, as BI indústrias começam uma nova onda de incorporação de assistentes de IA nas ferramentas BI para tentar resolver esse problema. Infelizmente, embora essas ofertas sejam promissoras em termos de conceito e sejam usadas em demonstrações de produtos impressionantes, elas tendem a falhar no mundo real. Quando confrontados com os dados confusos, a linguagem ambígua e as complexidades matizadas da análise de dados reais, essas experiências de IA do "" têm dificuldade para fornecer respostas úteis e precisas.

A realidade é que não basta apenas apontar um LLM para um esquema de banco de dados e transformar texto em SQL, porque o esquema em si não tem muito conhecimento, como definições de processos e métricas de negócios ou como lidar com dados confusos. A outra abordagem é capturar esse entendimento em modelos semânticos formais, mas eles exigem um investimento inicial significativo, não conseguem capturar todas as nuances e são impraticáveis de manter atualizados à medida que os dados e os processos comerciais evoluem.

Sistema de IA composto

O modelo semântico "real" vive na cabeça das pessoas e é revelado sempre que elas interagem com os sistemas Databricks para executar consultas, criar painéis e realizar análises. Databricks AI/BI é um novo produto BI que captura esse entendimento das interações em Databricks para aumentar o contexto já disponível na Plataforma de Inteligência de Dados e aproveita o conhecimento resultante para fornecer respostas úteis no mundo real.

No centro do AI/BI está um sistema de AI composto que utiliza um conjunto de agentes de AI para raciocinar sobre questões comerciais e gerar respostas úteis como retorno. Cada agente é responsável por uma tarefa limitada, mas importante, como planejamento, geração de SQL, explicação, visualização e certificação de resultados. Devido à sua especificidade, podemos criar estruturas de avaliação rigorosas e LLMs de última geração ajustados para eles. Além disso, esses agentes são apoiados por outros componentes, como um subsistema de classificação de respostas e um índice de vetores. Juntos, eles oferecem recursos de raciocínio muito além de qualquer modelo individual e monolítico.

O sistema foi projetado para aprender e melhorar continuamente seu desempenho com base no feedback humano. Por exemplo, se for informada a definição de um cliente que abandonou a empresa, o site AI/BI não só usará esse conhecimento para abordar consultas semelhantes (por exemplo clientes que foram cancelados na EMEA em comparação com a América), mas também usar esse conhecimento para calcular a taxa de cancelamento ou inferir o significado de clientes retidos. AI/BI persiste esse conhecimento além de uma única análise ou conversa para se tornar cada vez melhor, como um analista humano. Além disso, o AI/BI aprende com outras informações sobre seus dados na plataforma Databricks, como o pipeline ETL, a linhagem, as estatísticas de popularidade e outras consultas sobre os dados.

Esse sistema composto de AI é então usado para alimentar os painéis e o site genie.

AI/BI Painéis

Apesar das deficiências mencionadas, os painéis ainda são o meio mais eficaz de operacionalizar análises pré-elaboradas para consumo regular. Os AI/BI Dashboards tornam esse processo o mais simples possível, com uma experiência de criação de baixo código baseada em IA que facilita a configuração dos dados e gráficos que você deseja.

Eles vêm com os recursos padrão do site BI que você espera, incluindo visualizações elegantes, filtragem cruzada e PDF Snapshot periódico via email. Mas, notavelmente, eles também não vêm com coisas que você não quer - nenhum modelo semântico complicado, nenhuma extração de dados e nenhum novo serviço para você gerenciar. Além disso, a exploração de percepções não disponíveis no painel está a um clique de distância em um espaço genie complementar.

Genie

Para responder ao conjunto grande e em constante mudança de perguntas que não são respondidas por um painel, expomos os recursos do mecanismo de raciocínio do AI/BI por meio de uma interface de conversação, chamada genie. Não mais limitado a um conjunto fixo de gráficos, o genie pode aprender os dados subjacentes e responder de forma flexível às perguntas dos usuários com consultas e visualizações. Ele solicitará esclarecimentos quando necessário e proporá caminhos diferentes quando apropriado.

Mas o mais importante é que o genie não é apenas uma caixa preta inescrutável. O tipo de perguntas que os usuários corporativos fazem pode ser de alto risco, e eles não devem confiar cegamente em um sistema de IA de caixa preta para fornecer a resposta. Como resultado, todo o fluxo de trabalho do genie foi projetado para melhorar a AI ao longo do tempo por meio de feedback humano: ele fornece um conjunto de ferramentas para que o analista verifique as suposições e preencha as lacunas conforme necessário. Instruções, respostas certificadas, voto de confiança e monitoramento de qualidade ajudam as equipes de dados a ajustar, selecionar e avaliar o desempenho do genie, garantindo que o que eles entregam aos usuários corporativos seja o mais confiável possível.

genie também usa o conceito agêntico de "ferramentas" para fornecer um mecanismo para garantir a confiabilidade. O conceito de "respostas certificadas" permite que o analista informe ao sistema sobre uma parte confiável da lógica governada, como Unity Catalog Functions e métricas, que pode ser usada como uma "ferramenta" para responder a uma pergunta. Isso elimina qualquer possibilidade de inferência lógica incorreta por parte do sistema. O genie incorpora essas "ferramentas" à estrutura de raciocínio do AI/BI e as invoca conforme apropriado para responder às perguntas, compartilhando com o usuário o status confiável da resposta fornecida.

Integração da plataforma

AI/BI é construído em cima e totalmente integrado à nossa Plataforma de Inteligência de Dados. Isso significa um recurso pronto para uso, AI/BI:

• Governança e linhagem unificadas: AI/BI está profundamente integrado ao Databricks Unity Catalog. Ele segue a mesma estrutura de governança, e todas as políticas globais definidas pelos administradores serão aplicadas em AI/BI. E, graças ao recurso de linhagem do Unity Catalog, os produtores ou administradores de dados podem observar como seus dados ativos são usados no AI/BI, e os usuários finais podem confiar mais em suas análises, pois podem rastrear as origens de seu conjunto de dados até a ingestão de dados.
• Compartilhamento sem esforço, sem novas licenças de usuário: o AI/BI está incorporado diretamente na plataforma Databricks IAM , que se integra diretamente a IDPs como Entra AD ou Okta, para que você possa compartilhar facilmente sua análise com qualquer pessoa em sua organização. Como o Databricks AI/BI não tem restrições baseadas em licenças, você pode adicionar qualquer pessoa da sua organização sem ter que se preocupar com a aquisição de novas licenças.
• preço-desempenho líder da indústria: o AI/BI é totalmente integrado ao Databricks SQL O data warehouse e o mecanismo Photon, que contêm otimizações exclusivas para proporcionar interações de alto desempenho. Você obterá o melhor desempenho independentemente do volume de dados, de megabytes a petabytes.
• Não é necessária a extração de dados: Consequentemente, você não precisa mais extrair o conjunto de dados de interesse para um mecanismo BI separado, o que leva a uma melhor atualização dos dados, bem como a uma governança de dados mais simples.

Validação no mundo real

Nos últimos meses, testamos o AI/BI em uma visualização privada com vários clientes. Queremos enfatizar que o AI/BI não é uma AI onisciente que tem todas as respostas prontas. No entanto, o feedback inicial é extremamente encorajador: usuários de todos os tipos de formação, desde usuários de negócios até executivos de empresas, relataram que agora podem reduzir a dependência de suas equipes de dados e responder a mais perguntas por conta própria.

Veja o que alguns de nossos primeiros usuários têm a dizer sobre o AI/BI:

Brian Fox, CTO da Sonatype: "Comparar o uso do AI/BI genie com os esforços anteriores é como comparar noite e dia. Faz 20 anos que não trabalho seriamente com SQL, portanto, fazer com que a IA recupere dados é mágico. Agora, posso fazer essa análise sem precisar da ajuda de alguém que usa SQL todos os dias."

Felix Baker, diretor de serviços de dados da SEGA Europa: "Na SEGA, estamos usando o AI/BI para auxiliar na tomada de decisões em toda a organização, permitindo que eles façam perguntas ad-hoc em tempo real sobre as vendas e o comportamento dos jogadores, sem precisar depender de nossos especialistas em dados para criar painéis e consultas. Agora, os usuários podem obter percepções detalhadas sobre as vendas de jogos e dados de jogabilidade simplesmente fazendo uma pergunta em linguagem natural. Estamos entusiasmados em utilizar o AI/BI para democratizar os dados, aumentar a produtividade e melhorar a velocidade da tomada de decisões do data-driven em toda a SEGA".

Nick Crnkovich, líder de capacitação analítica, Block.xyz: Os IA/BI Dashboards nos permitem gerar e distribuir percepções rapidamente a partir da mesma plataforma em que nossos dados já residem - sem conexões ou extrações adicionais a serem configuradas. Para nós, é fundamental que nossos criadores possam aproveitar a IA no processo de desenvolvimento e que nossos usuários corporativos se beneficiem de um view focado de seus dados sem nenhuma complexidade adicional."

Philipp Cüppers, Líder de Equipe, Mercados de Energia e Otimização Ativa, Vattenfall Hydro Alemanha: " A ofertaDatabricks' AI/BI nos deu novas ferramentas para democratizar dados e percepções. Os painéis aprimorados são agora nossa forma preferida de fornecer uma visão unificada dos dados críticos, pois são rápidos de gerar e fáceis de compartilhar; o site genie permite que nossos usuários corporativos façam e respondam perguntas por si mesmos em tempo real. Recentemente, disponibilizamos o site genie para nossos stakeholders key para que eles possam fazer e responder perguntas sobre os mercados de eletricidade e nosso desempenho ativo em discussões ao vivo, sem depender de um analista de dados."

O que vem a seguir

Acreditamos que os sistemas de AI compostos que podem extrair percepções sobre seus dados a partir de seu ciclo de vida completo serão transformadores para o mundo do Business Intelligence. O lançamento inicial do AI/BI representa um primeiro, mas significativo, passo em direção à realização desse potencial. O sistema se tornará mais inteligente com o tempo, à medida que o uso aumentar e o sistema evoluir. Somos gratos pela pilha MosaicAI, que nos permite iterar rapidamente de ponta a ponta.

AI/BI Os painéis estão geralmente disponíveis em AWS e Azure e em visualização pública em GCP. genie está disponível para todos os clientes AWS e Azure em visualização pública, com disponibilidade em GCP em breve. genie requer Unity Catalog e Databricks SQL serverless ou Pro warehouses. Os administradores de clientes podem ativar o genie para usuários do workspace por meio da página Gerenciar Previews. Não há nenhuma taxa adicional além dos custos de armazenamento para ambos os produtos. Para usuários corporativos que consomem Dashboards, fornecemos o acesso view-only, sem necessidade de licença.

Além de nossos esforços com o AI/BI, sabemos que muitos de nossos parceiros do BI estão inovando para facilitar a análise de dados na Plataforma de Inteligência de Dados. Estamos entusiasmados com o potencial de abrir nossos recursos de raciocínio e modelos semânticos como APIs para nossos parceiros BI, a fim de possibilitar que todas as organizações se beneficiem de uma abordagem de IA em primeiro lugar para Business Intelligence, independentemente da ferramenta BI que você tenha padronizado.

Para saber mais sobre Databricks AI/BI, visite nosso site e confira a palestra, as sessões e o conteúdo detalhado do Data and IA Summit. Inscreva-se nas sessõesdata warehousing, analítica e BI no Data + IA Summit ou assista às gravações sob demanda on-line após o evento. Além disso, siga-nos @Databricks para obter as últimas notícias e atualizações.