Inteligência imobiliária aliada à agilidade e à economia de tempo e recurso
Maior plataforma de moradia do Brasil ganha agilidade e assertividade com Databricks Lakehouse
"Podemos focar no nosso negócio, entender os problemas dos nossos stakeholders; com a Databricks ganhamos mais qualidade e tempo de trabalho."
O QuintoAndar, maior plataforma de moradia do Brasil, investe pesado para tornar mais leve, ágil e objetiva a jornada dos usuários que buscam o software para alugar, comprar ou vender imóveis. Referência em operações seguras e produtos de qualidade, a companhia conta com a Plataforma Databricks Lakehouse para otimizar o software, tanto para colaboradores quanto para clientes, potencializar parcerias com imobiliárias, linhas de crédito, etc. Parceira há cerca de quatro anos, já apresenta grandes resultados como a diminuição do tempo de processamento das tarefas de 4 horas para 40 minutos. A redução veio atrelada ao amortecimento do custo, ao ganho de mais produtividade, além de possibilitar que a plataforma de moradia se mova na direção de soluções como melhora na experiência e navegabilidade da plataforma, pois com o Spark há capacidade para processar eventos de comportamento do usuário e entender sua jornada mais no detalhe.
Companhia reforça credibilidade aliada à eficiência, otimização de tempo e recurso com a Databricks
A QuintoAndar, maior plataforma de moradia do Brasil, nasceu para resolver um problema específico: tornar mais leve, ágil e objetiva a jornada dos usuários que buscam o software para alugar, comprar ou vender imóveis. Referência em operações seguras e produtos de qualidade, a companhia tinha como meta, tanto para colaboradores quanto para clientes, potencializar parcerias com imobiliárias, linhas de crédito, etc. Há cerca de quatro anos a Plataforma Databricks Lakehouse entra nesta jornada de “metamorfose” e, de lá para cá muita coisa já mudou, como a diminuição do tempo de processamento das tarefas.
"De 3 a 4 horas para processar uma tarefa, passamos para apenas 40 minutos para tarefas múltiplas”, afirma Rafael Ribaldo, Gerente Sênior de Engenharia de Dados do QuintoAndar. A redução veio atrelada ao amortecimento do custo. “Ganhamos mais produtividade, passamos a nos mover em direção às soluções como melhora na experiência e navegabilidade da plataforma, pois com o Spark temos capacidade para processar todos os eventos de comportamento de usuário para entender sua jornada mais no detalhe".
Databricks = automação, mudança e otimização
A Plataforma Databricks garante hoje a capacidade de uso do processo CSG para acionar os dados com assertividade, gerando métricas relacionadas com os clusters e processos de cargas de trabalho. “Fundamentais para entender onde podemos otimizar a nossa atuação”. Foram criadas equipes analíticas dedicadas a cada área de atuação da empresa com foco na cultura data-driven, uma forma de estar mais perto dos grupos de marketing e negócios, resultando na capacidade de reunir mais dados de outras fontes externas e internas e em criar um panorama completo do nosso cliente", explica o executivo.
A nova eficiência da Databricks é o núcleo de todo o processamento de dados estratégicos, que servem de base para a extração direcionada de informações, criando workflows e salvando na Lakehouse da plataforma de moradia.
"Isso oferece a possibilidade de os colaboradores transformarem, consolidarem os dados e também modelá-los de uma forma multidimensional”. Ferramentas de monitoramento também vieram para somar, tornando possível que a plataforma de moradia entenda quais áreas estão levando mais tempo para ter seus dados disponibilizados para análises e quais seus principais fatores. “Podemos focar no nosso negócio e entender os problemas dos nossos stakeholders, afinal confiamos à Databricks a tarefa de alto processamento, ganhando mais qualidade e tempo de trabalho".
Tecnologia na direção da cultura mais orientada de dados
O objetivo é usar os dados como um terceiro pilar para o negócio, não ter apenas um eixo de clientes e outro de produto, mas também um pilar de dados para corroborar e ajudar outras bases a terem sucesso. "Estamos nos movendo na direção da cultura mais orientada à dados para interpretar e analisar as informações, entendendo assim o comportamento de clientes/parceiros, suas preferências na busca por mais eficiência e precisão", explica Ribaldo.
Atualmente, contando com mais de 200 terabytes de dados, referenciados por mais de 12k tabelas analíticas, a companhia se apoia na plataforma Lakehouse para gerir a tomada de decisão estratégia de inúmeras frentes de negócio. "A Databricks é parte fundamental para isso".
Experiência de uma jornada mais leve e direcionada
Em 2023, a companhia também tem como foco melhorar e solidificar cada vez mais sua operação. Ribaldo detalha que é uma forma de oferecer aos clientes uma boa experiência do começo ao fim. "A reunião dos dados, desde a procura do imóvel até a mudança para o novo lar, é rica em referências que servem de base para a criação de análises e geração de novos insights que nos possibilitam entender o melhor caminho a ser tomado".
Databricks orquestra "Gold Layer"
Dando um passo para trás, Ribaldo comenta que a empresa sempre usou o Airflow para orquestrar todas as pipelines, um total de mais de 500 pipelines de dados rodando. A ferramenta também é usada para conectar com a Databricks, usando sua as APIs, de forma que o Airflow e Databricks trabalham em conjunto para disponibilizar grandes volumes de dados.
"Atualmente existem diferentes cargas de trabalho com características específicas, o que nos possibilita utilizar diferentes clusters da Databricks para cada propósito. Com o código PySpark somos capazes de extrair e processar dados, salvando os mesmos em um repositório em nuvem, gerando insumo para a construção da nossa camada de dados 'Gold Layer' na Lakehouse para todos os times de negócios".
Monitoramento e Escala
O uso pelo QuintoAndar de ferramentas de monitoramento, de maneira a reunir toda a carga de trabalho executada na plataforma, torna possível que a empresa entenda a utilização da mesma, quais áreas estão com elevados tempos de processamento, quais estão consumindo mais dados, etc. A empresa hoje usufrui de diferentes tipos de clusters para diversas finalidades, mas sempre de olho na economia. De acordo com este monitoramento é possível elencar e substituir cargas de trabalho específicas para utilização de clusters com melhor custo e performance. "Estamos falando de cerca de 60% a 70% de economia de recursos".
A empresa tem metas de seguir investindo em inovações de uma forma geral usando dados e IA. Com o software lakehouse direcionado e unificado na Databricks, se torna possível e assertivo buscar dados que resultem em uma experiência cada vez melhor, mais rápida e que agregue mais valor aos clientes.
De acordo com Ribaldo, "Depois de, por exemplo, habilitar o Databricks Photon para mais de 30% de toda a nossa carga de trabalho, nós testemunhamos melhorias notáveis no desempenho e nos benefícios de custo. Apesar de ser uma solução mais cara, os recursos de processamento acelerado do Photon permitiram que nossas cargas de trabalho fossem executadas significativamente mais rápidas. Como resultado, nós tivemos economias substanciais, em torno de 20%, reduzindo o tempo de processamento e otimizando a utilização de recursos."
