Execute, depure e dimensione cargas de trabalho do Databricks a partir do seu IDE local

O workspace do Databricks foi desenvolvido especificamente para análise e engenharia de dados. No entanto, você pode preferir usar IDEs locais e a CLI para aproveitar suas próprias ferramentas e assistentes de codificação, como Cursor, Copilot e Claude Code. Isso é especialmente útil ao desenvolver pipelines complexos de grande escala ou modelos de machine learning.

Até agora, a extensão do Databricks para Visual Studio e Cursor e o Databricks Connect permitiam o desenvolvimento Spark local usando a computação do Databricks. Mas executar cargas de trabalho que não são do Spark remotamente e manter as dependências sincronizadas com o Databricks Runtime continuavam sendo pontos problemáticos comuns.

Agora estamos eliminando essas barreiras. Com nossas atualizações mais recentes para a experiência de IDE, você já pode conectar o VS Code, o Cursor ou seu terminal diretamente à computação do Databricks. Execute, depure e dimensione cargas de trabalho em Python e SQL em uma infraestrutura de cluster real, mantendo toda a ergonomia do seu IDE.

Execução remota sem concessões

Usando nosso novo túnel SSH (consulte a documentação), você pode conectar seu editor local ou CLI ao Serverless, AI Runtime e clusters dedicados:

• Execute e depure de forma interativa arquivos de workspace e notebooks a partir do VS Code, Cursor ou da CLI.

  Expand

   

• Use o mesmo ambiente no IDE e no workspace; suas dependências e arquivos estarão sempre sincronizados com o Databricks Runtime e o workspace.

  Expand

   

• Aproveite assistentes de codificação no túnel SSH para que eles tenham o contexto completo do workspace e trabalhem com o Databricks de forma mais eficaz. O Cursor e o Copilot funcionam nativamente, enquanto outros assistentes como o Claude Code podem ser instalados quando o túnel SSH estiver em execução.

  Expand

Começar é simples. Você pode se conectar ao túnel SSH com um único comando usando a Databricks CLI:

• databricks ssh connect para se conectar ao serverless.
• databricks ssh connect --accelerator <GPU_type> para se conectar ao AI Runtime, onde o tipo de GPU pode ser (GPU_1xA10 ou GPU_8xH100).
• databricks ssh connect --cluster <cluster_id> para se conectar a um cluster dedicado.

Você também pode iniciar o túnel SSH em um IDE incluindo --ide vscode ou --ide cursor como uma flag adicional.

Como alternativa, você pode iniciar o túnel SSH diretamente da versão mais recente da extensão do IDE.

Também incluímos outros recursos que facilitam o uso da CLI e do IDE como seu principal local de trabalho:

• Gerenciar dependências de projetos (documentação): especifique um ambiente base do workspace com a flag --base-environment para iniciar seu túnel SSH com as dependências do Python pré-instaladas. Veja
• Monitorar uso e custos (documentação): vincule uma política de uso serverless com a flag --usage-policy-id para rastrear os custos do túnel SSH por usuário, equipe ou projeto.
• Explorar seus ativos de dados usando o Unity Catalog a partir do IDE (documentação): navegue por catálogos, esquemas e todos os seus ativos de dados sem precisar alternar para o workspace no meio do seu fluxo de desenvolvimento.

Para obter detalhes completos sobre como se conectar ao túnel SSH, consulte a documentação aqui.

O que vem a seguir

• Unity AI Gateway será configurado automaticamente para usuários do túnel SSH, permitindo que você controle o acesso e os gastos de cada assistente, ferramenta, modelo e MCP.
• A extensão do IDE existente será integrada ao túnel SSH, para que você possa implantar e gerenciar Declarative Automation Bundles a partir de uma interface de usuário no IDE.
• Dependências que não sejam do Python e imagens Docker personalizadas poderão ser configuradas na inicialização do túnel SSH, permitindo que você tenha controle total do seu ambiente.

Conclusão

Com esses recursos, você pode desenvolver a partir de qualquer ambiente de sua preferência enquanto opera na fronteira da engenharia de dados e ML. Direcione seu IDE e assistentes para o Databricks, execute e depure em uma computação real e mantenha um ciclo de desenvolvimento rápido.

Saiba mais + Próximas etapas

Para começar a usar as ferramentas de desenvolvimento apresentadas no blog, consulte a seguinte documentação:

• 'Túnel SSH' (AWS | Azure | GCP)
  Conecte-se à computação do Databricks para executar interativamente cargas de trabalho em Python e SQL a partir do IDE ou CLI, mantendo todo o código e dados seguros em seu workspace do Databricks.
• 'Extensão do IDE' (AWS | Azure | GCP)
  Trabalhe com arquivos locais e defina, implante e execute Declarative Automation Bundles usando uma interface de usuário no IDE.
• 'Databricks Connect' (AWS | Azure | GCP)
  Conecte seu ambiente de desenvolvimento local à computação do Databricks para executar remotamente cargas de trabalho do Spark.
• 'Unity AI Gateway' (AWS | Azure | GCP)
  Controle quais serviços de IA as equipes podem usar, roteie e gerencie o tráfego de IA, defina guardrails e monitore o uso a partir de um único plano de controle.

Para entender quais ferramentas melhor atendem às suas necessidades, consulte Conectar a partir do seu IDE.

(Esta publicação no blog foi traduzida utilizando ferramentas baseadas em inteligência artificial) Publicação original