AI Dev Kit의 강력한 성능으로 Databricks를 Kiro IDE로 가져오세요

이것이 중요한 이유

어시스턴트가 컬럼 이름, 테이블 레이아웃 또는 사용자가 읽을 수 있는 카탈로그를 추측해야 하는 순간 AI 지원 개발은 무너집니다. 해결책은 그라운딩입니다. Model Context Protocol (MCP)를 통해 어시스턴트를 실시간 워크스페이스 메타데이터에 연결하면, 어시스턴트가 작성하는 SQL은 실제 보유한 컬럼을 사용하고, dbt 모델은 실제 테이블을 조인하며, 모든 쿼리는 이미 설정된 Unity Catalog 권한을 상속받습니다. 플랫폼 외부로 아무것도 유출되지 않으며, AI는 사용자가 볼 수 있는 것만 볼 수 있습니다.

최근 두 가지 이정표가 달성되어 Kiro IDE에서 이를 실용적으로 사용할 수 있게 되었습니다.

첫째, Databricks AI Dev Kit이 PR #511을 통해 업스트림에 Kiro 지원을 추가했습니다. 통합 설치 프로그램은 kiro를 claude, cursor, copilot, codex, gemini과 함께 일급 대상으로 취급합니다. 명령 한 번이면 Kiro가 ~/.kiro/skills/ 및 ~/.kiro/settings/mcp.json에서 전체 툴킷을 가져옵니다.

둘째, PR #129를 통해 Kiro Powers 카탈로그에 Databricks AI Dev Kit Power가 출시되었습니다. Powers 패널을 열고 'Try'를 클릭하면 Power가 설치 프로그램, MCP 연결, 인증 감지, 스킬 로드 등 전체 온보딩 과정을 실행합니다.

플랫폼 내에 이미 제공되는 4개의 Databricks 관리형 원격 MCP 서버와 결합하여, Kiro를 Databricks에 연결하는 두 가지 방법이 제공됩니다. 두 방법 모두 공통된 결과를 제공합니다. 어시스턴트가 스키마, 컬럼, 권한을 추측하는 대신 실제 워크스페이스 권한을 상속받으면 빌더는 분석, 파이프라인, 에이전트 워크플로우를 더 빠르게 배포할 수 있습니다.

AI 지원 개발에 Databricks를 선택해야 하는 이유

위의 두 가지 이정표 덕분에 Kiro × Databricks의 결합이 실용화되었습니다. 이것이 중요한 이유는 그 이면에 있는 기술 때문입니다. 어떤 경로를 선택하든 Databricks가 AI 지원 개발을 위한 최적의 기반이 되는 세 가지 이유가 있습니다.

Unity Catalog은 데이터 수준에서 AI를 그라운딩하는 유일한 거버넌스 레이어입니다. 경로 A든 경로 B든 모든 MCP 호출은 행, 컬럼 및 태그 기반 권한을 상속받습니다. 어시스턴트는 데이터에 대한 특권적 권한을 갖지 않으며, 사용자가 볼 수 있는 것만 정확히 봅니다. 관리해야 할 별도의 액세스 제어 레이어가 없으며, AI가 존재 자체를 몰라야 하는 테이블에 대해 쿼리를 작성할 위험도 없습니다.

단 하나의 데이터 복사본, 단 하나의 정의 세트. Databricks는 레이크하우스이므로, 어시스턴트가 databricks-sql을 통해 쿼리하는 테이블은 dbt 모델이 기록하는 테이블, Genie 공간이 노출하는 테이블, AI/BI 대시보드가 읽는 테이블과 동일합니다. 동기화가 깨질 수 있는 웨어하우스-레이크 간 동기화가 없으며, 동기화를 유지해야 할 별도의 시맨틱 레이어도 없습니다. 어시스턴트가 samples.tpch.lineitem을 기반으로 그라운딩할 때, 다른 모든 도구가 사용하는 것과 동일한 정의를 기반으로 합니다.

전체 AI 스택이 임시방편으로 붙여진 것이 아니라 완전히 통합되어 있습니다. Mosaic AI Gateway는 모델 호출을 라우팅합니다. Agent Bricks는 멀티 에이전트 워크플로우를 오케스트레이션합니다. MLflow는 실험과 평가를 추적합니다. Vector Search는 시맨틱 검색을 지원합니다. Lakebase는 트랜잭션 상태를 처리합니다. 이 모든 기능이 동일한 UC를 기반으로 Power에 표시됩니다. 다섯 개의 제품을 짜깁기하는 것이 아니라 하나의 플랫폼을 사용하는 것입니다.

언급할 가치가 있는 네 번째 특징은 Power 자체가 Databricks에서 구축되었다는 점입니다. Kiro, Cursor, Claude, Copilot, Codex, Gemini를 위한 원클릭 IDE Power를 제공하는 데이터 플랫폼은 다른 어디에도 없습니다. MCP 레이어도 오픈되어 있고, 프로토콜도 오픈되어 있으며, 통합도 오픈되어 있지만, 이를 감싸는 경험은 당사 고객의 빌드 방식에 맞춰 Databricks가 특별히 설계했습니다.

두 가지 경로 한눈에 보기

통합 아키텍처 한눈에 보기

두 경로 모두 동일한 백엔드(Unity Catalog 적용 및 Databricks 워크스페이스 ID)를 공유합니다. 지원 범위와 인증 모델에서 차이가 있습니다.

경로 A: 4개의 관리형 MCP 서버에 연결

가장 가벼운 설정 방법입니다. mcp.json 파일 하나, Databricks 개인용 액세스 토큰(PAT), 그리고 셸 프로필 편집만 필요합니다. 10분 이내에 Kiro가 Genie, SQL, Unity Catalog Functions, Vector Search와 통신할 수 있게 됩니다.

사전 요구 사항

• AWS에서 Unity Catalog이 활성화된 Databricks 워크스페이스.
• 사용하려는 MCP 서버(sql, unity-catalog, genie, vector-search)로 범위가 지정된 Databricks 개인용 액세스 토큰(PAT) 또는 OAuth 토큰. 사용하지 않는 PAT는 90일 후에 자동으로 만료됩니다.
• ~/.kiro/가 존재하도록 Kiro를 설치하고 최소 한 번 이상 실행해야 합니다.
• <workspace>.cloud.databricks.com 형식의 워크스페이스 호스트 이름.

Databricks PAT 생성

Databricks 워크스페이스에서 Settings(설정), Developer(개발자), Access tokens(액세스 토큰), Manage(관리), Generate new token(새 토큰 생성)으로 이동합니다. 팀의 로테이션 정책에 맞춰 만료 기한을 설정합니다. 필요한 API 범위만 선택하세요. "모든 권한"을 부여하는 편리함보다 최소 권한 원칙을 지키는 것이 안전합니다. 토큰을 즉시 복사해 두세요. Databricks는 이 토큰을 다시 표시하지 않습니다.

Kiro가 MCP 구성을 저장하는 위치

Kiro는 두 가지 범위의 JSON에서 MCP 구성을 읽으며, 워크스페이스 범위가 사용자 범위보다 우선 적용됩니다.

• 사용자 범위: ~/.kiro/settings/mcp.json은 모든 워크스페이스에 적용됩니다.
• 워크스페이스 범위: $PWD/.kiro/settings/mcp.json는 현재 워크스페이스에만 적용되며 동일한 키의 사용자 범위 항목을 재정의합니다.

Kiro 서버 디렉터리에서 원클릭 설치

kiro.dev/docs/mcp/servers/를 열고 Databricks 행을 찾은 다음 'Add to Kiro'를 클릭합니다. 브라우저가 Kiro를 실행하고 미리 채워진 구성이 포함된 확인 대화 상자를 엽니다. 확인을 누르면 databricks-sql 항목이 ~/.kiro/settings/mcp.json에 기록됩니다. 이 항목은 아직 존재하지 않는 두 개의 환경 변수를 참조하므로, 다음 단계에서 이를 설정하겠습니다.

databricks-sql 항목 확인(또는 추가)

환경 변수 설정

Kiro를 실행하는 셸 프로필(macOS의 경우 일반적으로 ~/.zshrc)에서:

Kiro를 실행하기 전에 프로필을 적용(source ~/.zshrc)합니다. Kiro를 완전히 종료(macOS의 경우 Cmd+Q)한 후 다시 엽니다. 'Reload Window'(창 다시 로드)는 환경 변수를 다시 읽지 않으며, 프로세스를 재시작해야만 적용됩니다.

Genie, UC Functions 및 Vector Search 추가

4개의 Databricks 관리형 서버는 모두 원격 HTTP MCP로 연결됩니다. 초기화 핸드셰이크는 자리 표시자 URL을 사용하더라도 성공하며, 서버는 도구가 호출될 때만 리소스를 검증합니다. 연결은 되었으나 정상 작동하지 않는 상태(tools/call가 RESOURCE_DOES_NOT_EXIST 또는 PERMISSION_DENIED을 반환하는 경우)가 가장 흔한 실패 모드입니다. 먼저 다음 사전 점검을 실행하세요:

• Genie: Genie 공간이 존재하고 열 수 있는지 확인합니다. 공간 ID는 URL에 표시됩니다.
• UC 함수: 함수가 존재하고 EXECUTE을(를) 보유하고 있는지 확인합니다.  
  SELECT * FROM system.information_schema.routines WHERE routine_type = 'FUNCTION'을(를) 사용하여 함수를 나열합니다.
• 벡터 검색: Catalog, Vector Search 아래에 액세스 가능한 인덱스가 최소 하나 이상 있는 엔드포인트가 존재하는지 확인합니다.
• PAT 범위: 사용자가 특정 리소스에 대한 Can View 권한이 없더라도 워크스페이스 범위의 PAT는 Genie 공간 또는 벡터 인덱스에서 PERMISSION_DENIED에 계속 도달할 수 있습니다. Genie 공간은 개별적으로 공유됩니다.

추가 환경 변수(DATABRICKS_GENIE_MCP_URL, DATABRICKS_UC_FUNCTIONS_MCP_URL, DATABRICKS_VECTOR_SEARCH_MCP_URL)를 추가하고 mcp.json을(를) 전체 구성으로 업데이트합니다:

서버별 URL 형식:

Kiro를 종료하고 다시 실행합니다. Kiro 패널의 MCP SERVERS 섹션을 엽니다. 네 개의 databricks-* 항목이 녹색 상태 표시등과 함께 나타납니다. 빨간색으로 표시된 항목이 있으면 재연결(reconnect)을 클릭하고 사전 점검(pre-flight)을 다시 확인합니다. 채팅 패널에서 위험 부담이 적은 첫 번째 쿼리를 시도해 보세요: "내가 액세스할 수 있는 카탈로그 나열해 줘."

경로 B: Databricks AI Dev Kit Power 설치

네 개의 관리형 서버는 SQL, 의미 체계 검색(semantic search) 및 자연어 분석을 지원하며, 이는 많은 빌더에게 충분한 기능입니다. 하지만 워크플로가 파이프라인, 작업(jobs), 모델 서빙(model serving), Lakebase, Asset Bundles, Mosaic AI, Agent Bricks, AI/BI 대시보드, MLflow 또는 Databricks Apps에 걸쳐 있는 경우, 네 개의 서버만 설정하면 하루 종일 워크스페이스 UI에 복사하여 붙여넣기를 반복해야 할 수 있습니다.

Databricks AI Dev Kit Power가 이 문제를 해결해 줍니다. 한 번만 설치하면 됩니다. 모든 필수 도구와 기술, 네 가지 인증 옵션을 제공하며 필요할 때마다 로드할 수 있습니다.

제공되는 기능

원클릭 설치

Kiro 내부에서 Powers 패널을 열고 databricks을(를) 검색한 후 Try(체험하기)를 클릭합니다. 이 Power는 비대화형 Kiro 모드에서 공식 Databricks AI Dev Kit 설치 프로그램을 실행합니다:

설치 프로그램이 MCP 서버를 다운로드하고, uv 가상 환경을 생성하며, 전문가 스킬 라이브러리를 ~/.kiro/skills/에 가져옵니다. Power는 스킬을 자체 steering/ 디렉터리에 복사하여 당면한 작업에 따라 필요할 때 로드할 수 있도록 합니다. Power 자체에는 어떠한 콘텐츠도 번들로 포함되어 있지 않으며, 모든 것은 업스트림에서 가져오므로 스킬이 항상 최신 상태로 유지됩니다. 

네 가지 인증 옵션

Power의 온보딩 흐름은 기존 자격 증명을 감지하고 적절한 선택을 할 수 있도록 안내합니다. 네 가지 옵션 모두 인라인으로 문서화되어 있습니다:

옵션을 선택하기 전까지 Power의 mcp.json은(는) disabled: true과(와) 함께 제공되며, 자격 증명을 명시적으로 선택하고 구성할 때까지 아무것도 연결되지 않습니다. 자격 증명 감지 흐름은 중립적입니다. 여러 자격 증명이 감지되면 기본값이나 무단 재사용 없이 네 가지 옵션이 모두 순서대로 표시됩니다.

설치 확인

Kiro를 다시 시작하고 MCP SERVERS 패널을 열어 databricks 항목이 연결(녹색)되었는지 확인합니다. 채팅에 다음과 같이 질문해 보세요: "현재 내 Databricks 사용자 가져오기." 이 단 한 번의 호출로 인증, 환경 변수 확인 및 서버 활성화가 테스트됩니다. 제대로 작동한다면 전체 체인이 정상적인 상태입니다.

두 경로 중 선택하는 방법

간단한 의사 결정 트리:

1. SQL 실행, Genie를 통해 거버넌스가 적용된 데이터 세트에 대한 자연어 질문, 벡터 인덱스 검색만 수행하시겠습니까? 그렇다면 경로 A를 사용하세요. 네 개의 관리형 서버가 정확히 이 기능을 수행하며, 설정하는 데 10분 정도 걸립니다.
2. 파이프라인 작성, 작업 관리, Asset Bundles 배포, Lakebase 작업, Databricks Apps 구축, 또는 Mosaic AI / Agent Bricks 호출을 원하시나요? 경로 B를 사용하세요. 전체 툴킷은 일회성 원격 MCP 서버로 추가하기에는 기능 범위가 너무 넓습니다.
3. 하이브리드 방식을 원하시나요? 둘 다 실행하세요. 경로 A와 경로 B는 충돌하지 않습니다. Power는 자체 mcpServers.databricks 항목을 작성하는 반면, 경로 A의 4개 서버(databricks-genie, databricks-sql, databricks-uc-functions, databricks-vector-search)는 별도의 키입니다. Kiro는 MCP 패널에 이들 모두를 표시합니다.

Databricks 워크로드 처리를 위해 매일 Kiro를 주로 사용할 빌더에게는 경로 B가 더 나은 장기적인 해결책입니다. 10분의 여유가 있고 대화하고 싶은 SQL 웨어하우스가 있다면 경로 A가 적합한 답입니다.

빌더의 관점에서 보기

IDE를 사용하는 사람이 누구인지에 따라 두 경로가 다르게 와닿을 것입니다. 네 가지 페르소나, 네 가지 페인 포인트, 네 가지 해답이 있습니다.

분석 엔지니어. 하루의 절반은 처음 보는 테이블을 쿼리하는 데 쓰고, 나머지 절반은 에디터와 워크스페이스 UI 사이에서 복사하여 붙여넣기를 하며 보냅니다. 경로 A는 이를 10분 만에 해결해 줍니다. Genie 및 SQL 서버는 실제 스키마 메타데이터를 기반으로 모든 쿼리를 수행하며, 어시스턴트는 추측이 아닌 실제 컬럼을 기준으로 코드를 작성합니다. 또한 모든 결과는 Unity Catalog 권한을 상속받습니다. 이제 탭을 번거롭게 전환하지 않아도 됩니다.

데이터 엔지니어. 여러분의 일과는 파이프라인, 작업, Asset Bundles, 그리고 이 세 가지 모두와 관련된 교차 환경 프로모션으로 채워집니다. databricks.yml을 수동으로 작성하고 터미널 사이드바에서 databricks bundle deploy를 실행하는 것은 느린 방식입니다. 경로 B가 빠른 방법입니다. Power의 파이프라인 + 작업 + Asset Bundles 기능은 단 한 번의 대화로 IaC를 생성, 검증 및 배포합니다. Spark Declarative Pipelines, CDC, SCD Type 2, Auto Loader 등 이 모든 것이 실제 UC 테이블을 기반으로 생성되어 커밋할 준비가 완료됩니다.

AI / 에이전트 빌더. 스키마가 서로 잘 맞지 않는 서너 개의 도구에 걸쳐 모델 호출, 평가, 거버넌스, 에이전트 오케스트레이션을 연결하고 계실 것입니다. 경로 B는 라우팅 및 폴백을 위한 Mosaic AI Gateway, 멀티 에이전트 감독자 및 지식 어시스턴트를 위한 Agent Bricks, 평가를 위한 MLflow, 검색을 위한 Vector Search 등 Databricks AI의 전체 영역을 포괄하며, 이 모든 것이 처음부터 끝까지 UC에 의해 제어됩니다. 에이전트는 호출자와 동일한 권한을 상속받으며, 평가 추적은 학습 실행과 동일한 워크스페이스에 저장됩니다.

플랫폼 빌더. Databricks 리소스를 코드로 관리하고, dev/stage/prod 환경 전반에 걸쳐 프로모션하며, 매주 "구성이 변경(drift)되었는가?"라는 질문에 답해야 합니다. 경로 B의 Asset Bundles 기능과 Unity Catalog 관리 기능은 전체 번들을 생성하고, 이를 워크스페이스의 실제 상태와 대조하여 검증하며, 문제가 발생하기 전에 구성 변경(drift)을 감지해 줍니다. 더 이상 하나의 YAML 세트는 수동으로 관리하고 다른 세트는 문서로 관리하는 번거로운 작업을 하지 않아도 됩니다.

지금 바로 실행할 수 있는 워크플로우

어떤 경로를 선택하든, 이 실습은 모든 Databricks 워크스페이스에서 사용할 수 있는 samples.tpch 카탈로그를 사용하여 어시스턴트가 실제 워크스페이스 메타데이터를 기반으로 작동하도록 합니다.

질문: "samples.tpch.lineitem에는 어떤 컬럼과 타입이 있으며, l_shipdate 연도별 데이터 분포는 어떻게 되나요?"

Kiro는 단 한 번의 MCP 실행 쿼리를 통해 실제 스키마와 히스토그램을 반환합니다. 실제 컬럼 이름과 실제 분포를 제공하므로 환각 현상(hallucination)이 없습니다.

질문: "lineitem과 orders를 조인하고 분기별 국가별 매출을 집계하는 dbt 모델을 작성해 줘."

Kiro는 추측 대신 실제 컬럼 이름(l_extendedprice, l_discount, o_orderdate)을 사용하여 SQL을 생성합니다. 스키마를 먼저 쿼리했기 때문에 정확한 타입과 세분성(grain)을 파악하고 있습니다.

질문: "samples.tpch에 대해 나의 새로운 집계를 실행하고, 그 행 수를 poc.gold.revenue_by_nation_qtr에 있는 지난주 스냅샷과 비교해 줘."

Kiro는 두 쿼리를 모두 실행하고 차이점(diff)을 표시합니다. 숫자가 이상해 보일 때 "gold.revenue_by_nation_qtr의 리니지를 보여줘"라고 요청하면 system.access.table_lineage에서 업스트림 테이블을 가져옵니다. 검증이 완료되면 Kiro는 모델에 대한 Databricks 작업 JSON을 생성하고 해당 모델이 연결되는 카탈로그와 스키마를 나열합니다.

경로 B에서는 IDE를 벗어나지 않고도 동일한 워크플로우를 "이 작업에 대한 Asset Bundle을 생성하고 스테이징에 배포해 줘", "이 집계를 기반으로 하는 AI/BI 대시보드를 만들어 줘", 또는 "이를 폴백 모델이 있는 Mosaic AI Gateway 엔드포인트에 연결해 줘"와 같은 작업으로 확장할 수 있습니다. 

경로에 관계없는 모범 사례

• 최소 권한 인증. 워크스테이션 및 범위(scope) 세트별로 별도의 PAT를 생성하세요. 경로 B에서는 대화형 사용을 위해 PAT 대신 OAuth U2M을 사용하는 것이 좋습니다.
• 자격 증명 커밋 금지. DATABRICKS_ACCESS_TOKEN를 셸 프로필이나 비밀 관리자(secrets manager)에 저장하세요. 소스 제어에 체크인된 mcp.json에 절대 넣지 마세요.
• 프로젝트별 범위 지정. Genie 공간 ID와 Vector Search 인덱스 경로를 $PWD/.kiro/settings/mcp.json에 유지하여 각 프로젝트가 자체 리소스 바인딩을 갖도록 하세요.
• UC 권한 신뢰. 모든 경로는 Unity Catalog의 행, 열 및 태그 기반 권한을 적용합니다. AI는 호출할 때마다 사용자의 유효 권한을 상속받습니다. 관리해야 할 별도의 액세스 제어 레이어가 없습니다.
• 재로드 대신 재시작. Kiro는 프로세스가 시작될 때 환경 변수를 한 번만 읽습니다. 셸 프로필을 편집하거나 인증을 추가한 후에는 완전히 종료(macOS의 경우 Cmd+Q)하고 다시 여세요.

문제 해결

"Server not found" 또는 MCP 항목의 빨간색 상태 표시.

경로 A: Kiro를 실행한 셸에서 echo $DATABRICKS_SQL_MCP_URL를 확인하세요. 값이 비어 있으면 Kiro가 URL을 확인할 수 없습니다. 워크스페이스 범위의 mcp.json가 사용자 범위 구성을 가리고 있지 않은지 확인하세요. 설정 > 개발자 > 액세스 토큰에서 PAT가 여전히 유효한지 확인하세요.

경로 B: Power의 온보딩에서 자격 증명 감지 흐름을 다시 시작하세요. MCP 서버가 Invalid access token 또는 401를 반환하면, Power의 기본 제공 401 복구 후크가 도구 호출을 일시 중지하고 인증 옵션을 다시 표시합니다.

MCP에 연결되었으나 도구 호출이 RESOURCE_DOES_NOT_EXIST 또는 PERMISSION_DENIED를 반환하는 경우.

가장 흔한 경로 A의 실패 사례입니다. 서버가 호출 시점까지 리소스 검증을 연기하기 때문에 초기화 핸드셰이크는 임시 URL로 성공합니다. 특정 서버에 대한 사전 점검을 다시 실행하세요(Genie 공간이 존재하고 공유되어 있는지, 함수가 존재하고 EXECUTE 권한이 있는지, 벡터 인덱스가 존재하고 'Can View' 권한이 있는지 확인).

지금 바로 사용해 보세요. Databricks AI Dev Kit Power는 Kiro 내에서 파이프라인, 작업, Lakebase, Mosaic AI, Agent Bricks 및 위에 나열된 모든 것을 포함한 전체 플랫폼을 사용하는 가장 빠른 방법입니다. Kiro Powers 카탈로그에서 직접 설치하세요. 위치: github.com/kirodotdev/powers. 또는 github.com/databricks-solutions/ai-dev-kit을 방문하여 Kiro 또는 지원되는 IDE(Claude, Cursor, Copilot, Codex, Gemini)용 기본 툴킷을 설치할 수 있습니다. Databricks에서 관리하는 4개의 MCP 서버의 경우, 원클릭 설치는 kiro.dev/docs/mcp/servers/에서 제공됩니다.

피드백이 있거나 문제가 발생하셨나요? 이슈를 등록해 주세요. Power 설정이나 패키징 관련 문제는 kirodotdev/powers에, 설치 프로그램, MCP 서버 또는 스킬 관련 문제는 databricks-solutions/ai-dev-kit에 등록하시면 됩니다. 모든 의견을 꼼꼼히 읽어보고 있습니다.

여기에 공유된 의견과 아이디어는 개인적인 견해이며 Databricks의 공식 정책이 아닙니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)