Wizerr AI: Revolucionando o Design e a Aquisição de Eletrônicos com Databricks

Os produtos eletrônicos estão evoluindo a uma velocidade impressionante, impulsionados por uma demanda insaciável por novos dispositivos de consumo, energia, transporte, robótica, conectividade, dados e além. No entanto, os processos por trás do design e fabricação de eletrônicos permaneceram praticamente inalterados, limitados por práticas pesadas, demoradas e ultrapassadas. É por isso que Wizerr, líder em inovação de IA para a indústria eletrônica, decidiu construir colegas de trabalho potencializados por GenAI para engenharia de componentes que acelera o tempo para projetar, engenhar e adquirir peças em até 80%.

Historicamente, os dados de produtos usados na engenharia de componentes eletrônicos ficaram presos em um labirinto de folhas de dados não estruturados, manuais, erratas, API e documentação de código que requerem profundo conhecimento do domínio para serem desbloqueados. As soluções inovadoras da Wizerr e seus colegas de equipe são pré-treinadas em gerenciamento de energia, RF, sem fio e sistemas embarcados. Eles são adeptos em interpretar especificações eletrônicas complexas, recomendar componentes tecnicamente precisos, encontrar peças alternativas e projetar diagramas de blocos com precisão e velocidade - levando ao BOM de Engenharia (Bill of Materials) mais otimizado.

A Plataforma de Inteligência de Dados da Databricks foi fundamental para o desenvolvimento da solução, dando à Wizerr a capacidade de unificar, escalar e operacionalizar dados mais rápido do que nunca - e construir uma solução prática e escalável em questão de semanas.

O Desafio: Escalar para um Milhão de Fichas Técnicas

Folhas de dados para componentes eletrônicos são documentos densos, não estruturados, com tabelas, diagramas e jargão técnico. Os pipelines de dados tradicionais lutam com o volume e a complexidade, devido a vários fatores:

• Formatos Inconsistentes: Cada folha de dados é única em layout, exigindo mecanismos de análise adaptáveis.
• Contextos Ricos de Dados: Grandes modelos de linguagem (LLMs) usados para alimentar ferramentas como o ChatGPT têm desafios conhecidos ao interpretar valores numéricos de tabelas, figuras, gráficos, PDFs complexos, etc. Além disso, extrair e interpretar especificações (como faixas de tensão ou saídas de corrente) exige um raciocínio numérico preciso combinado com um raciocínio semântico específico da indústria.
• Requisitos de Escalabilidade: Processar um milhão de fichas técnicas em massa e suportar operações em tempo real com alto rendimento e baixa latência, mantendo a integridade e precisão dos dados.
• Iteração do Modelo: Treinamento, experimentação e refinamento de modelos para extrair informações complexas de fichas técnicas e otimizar os modelos GenAI para respostas precisas e conscientes do contexto.

Onde os pipelines de dados tradicionais lutavam com o volume e a complexidade de tais tarefas, o robusto ecossistema da Databricks melhorou substancialmente o motor e os fluxos de trabalho do ELX AI da Wizerr.

Como a Databricks Simplificou Fluxos de Trabalho Complexos

1. Ingestão Paralelizada com Spark

Usando as capacidades de computação distribuída do Apache Spark™, a Wizerr conseguiu ingerir e analisar milhares de fichas técnicas simultaneamente. O tempo de processamento foi significativamente reduzido com o runtime otimizado para Apache Spark da Databricks. Quando combinado com a partição e ordenação Z, uma ingestão que antes levava dias pode ser feita em questão de horas, economizando mais de 90% do custo e do tempo de ingestão.

Integração do Spark com Pandas no Databricks ajudou a Wizerr a migrar seu pipeline para o Databricks, proporcionando uma experiência de manipulação de dados sem interrupções e diminuindo a curva de aprendizado para equipes que estão fazendo a transição para o processamento de dados distribuídos.

Juntamente com a redução de custos e tempo, a Databricks também aprimorou o tratamento de erros e a rastreabilidade durante o processamento. A conformidade ACID do Delta Lake e o registro estruturado tornaram simples para a Wizerr isolar e depurar erros em estágios específicos e entradas de dados, em vez de ter que executar novamente todo o pipeline.

2. Governança de Dados Aprimorada com o Catálogo Unity

Para os clientes corporativos da Wizerr, o Catálogo Unity desempenhou um papel crucial na gestão de dados de forma segura e transparente. Os principais benefícios incluíram:

• Metadados Centralizados: Armazenamento unificado para esquema de dados e linhagem, facilitando o rastreamento de transformações de dados.
• Acesso Baseado em Funções: Concessão segura de acesso a dados sensíveis, garantindo a conformidade com os padrões da indústria.
• Colaboração entre equipes: Permitiu que várias equipes acessassem conjuntos de dados relevantes sem duplicação ou silos de dados.

3. Treinamento de Modelo de IA Escalável

A integração do Databricks' com o MLflow deu à Wizerr a capacidade de incorporar de maneira contínua modelos de linguagem ajustados em seu pipeline, simplificando o treinamento e a implantação:

• Rastreamento de modelos: O MLflow facilitou a experimentação com diferentes LLMs (como Llama 3.1 8B instruct e Mistral 7B instruct) e métodos de quantização e comparar métricas como latência, throughput, precisão e acurácia. Com base em seus resultados iniciais, a Wizerr está considerando hospedar seu próprio LLM ajustado usando os serviços de serving e hosting da Databricks no futuro.
• Ajuste de hiperparâmetros: Treinamento AI Mosaic da Databricks facilitou a otimização eficiente de hiperparâmetros ao rastrear configurações de parâmetros e seu impacto no desempenho do modelo para diferentes configurações experimentais.
• Versão e implantação: O registro de modelos do MLflow simplificou a transição da experimentação para a produção, simplificando o controle de versão e garantindo uma implantação de modelo confiável.

4. Bancada de Modelos Colaborativa

O ambiente colaborativo da Databricks tornou-se o centro principal da Wizerr para avaliar o desempenho do modelo. Comparações lado a lado permitiram à equipe comparar saídas para extrair especificações como "Tensão - Saída (Mín)" ou "Corrente - Saída." Ferramentas de visualização simplificaram o processo de depuração com visualizações detalhadas de previsões e erros do modelo. A Plataforma Databricks também facilitou melhorias iterativas, permitindo que engenheiros, cientistas de dados e especialistas do domínio colaborassem em tempo real.

5. Escalonamento Automático Dinâmico para Computação Custo-Efetiva

Os clusters de escalonamento automático da Databricks ajustaram-se dinamicamente para corresponder à intensidade da carga de trabalho da Wizerr. Durante os períodos de ingestão de pico, os clusters escalavam automaticamente para lidar com alto rendimento e diminuíam automaticamente durante os períodos de inatividade, otimizando o uso de recursos e reduzindo custos.

6. Arquitetura Medallion e Tabelas Delta

Graças à integração das tabelas Delta, Unity Catalog e Spark, a Wizerr pode acessar bancos de dados de maneira contínua, tanto internamente quanto externamente ao ambiente Databricks. Isso ajudou a Wizerr a consultar tabelas com menos código e a aproveitar a natureza distribuída do Spark. Além disso, as operações CRUD entre as tabelas Delta e as tabelas SQL levam muito menos tempo.

Armazenar dados processados em cada estágio do pipeline simplificou as verificações de erro, enquanto a versão da tabela Delta permitiu que a Wizerr rastreasse mudanças, comparasse versões e revertesse rapidamente se necessário, melhorando a confiabilidade do fluxo de trabalho.

Resultados: Transformando o Processamento de Fichas Técnicas

Ao integrar a Databricks em seu fluxo de trabalho, a Wizerr obteve vários benefícios:

• Velocidade de processamento mais rápida: Redução de 90% no tempo de ingestão e análise de fichas técnicas, lidando com mais de 1.000.000 de fichas técnicas em tempo recorde.
• Melhoria da integridade dos dados: A governança de dados aberta e aprimorada com o Unity Catalog garantiram resultados consistentes e confiáveis.
• Iterações de modelo mais rápidas: O MLflow e a Bancada de Trabalho da Databricks tornaram mais fácil e rápido experimentar e ajustar modelos de IA de código aberto.
• Escalabilidade sem esforço: A arquitetura da Databricks permite que a Wizerr escale sem esforço à medida que os volumes de dados continuam a crescer.
• Colaboração contínua: Ferramentas unificadas reuniram várias equipes, acelerando a tomada de decisões e a inovação.

Por que Isso Importa para Arquitetos de Dados e Engenheiros de Soluções

A jornada da Wizerr não é apenas sobre transformar a engenharia de componentes eletrônicos - é um modelo de como qualquer indústria pode operacionalizar fluxos de trabalho complexos de IA. Ao unificar dados, aproveitar modelos de IA específicos do domínio e operacionalizar soluções em escala, a Wizerr demonstrou o que é possível quando as ferramentas certas encontram a visão certa. Databricks oferece a flexibilidade e o poder para unificar dados díspares em insights acionáveis, construir e implantar modelos de IA rapidamente e em escala, e capacitar equipes para entregar soluções inovadoras e práticas mais rápido do que nunca.

Todo setor tem seus desafios. O sucesso da Wizerr mostra que, com a plataforma certa, esses desafios podem se tornar oportunidades para revolucionar a maneira como trabalhamos.

Este post no blog foi escrito conjuntamente por Arjun Rajput (Executivo de Contas, Databricks) e Avinash Harsh (CEO, Wizerr AI).

(This blog post has been translated using AI-powered tools) Original Post