Genie Code 소개

Databricks Genie 제품군의 최신 추가 기능인 Genie Code를 발표하게 되어 기쁩니다. 지난 6개월 동안 에이전트 코딩 도구는 소프트웨어 엔지니어링을 근본적으로 바꾸었습니다. Genie Code 는 데이터 팀에도 동일한 혁신을 가져옵니다. Genie Code는 파이프라인 구축, 오류 디버깅, 대시보드 배포, 프로덕션 시스템 유지보수와 같은 복잡한 작업을 자율적으로 수행할 수 있습니다.

코드 작성에만 집중하는 에이전트와 달리 Genie Code는 사전 예방적인 프로덕션 에이전트로도 작동합니다. 백그라운드에서 Lakeflow 파이프라인과 AI 모델을 모니터링하여 팀이 알아채기도 전에 장애를 분류하고 정기적인 DBR 업그레이드를 처리하며 이상 현상을 조사합니다.

이는 Unity Catalog와 긴밀하게 통합하여 기업의 데이터, 시맨틱 및 거버넌스 정책을 이해함으로써 이 모든 작업을 수행합니다. Genie Code는 실제 Data Science 작업에서 선도적인 코딩 에이전트보다 2배 이상 뛰어난 성능을 보입니다.

에이전트 기반 데이터 작업의 부상

에이전트 코딩 도구는 소프트웨어 엔지니어링을 변화시켜 개발자가 자동 완성을 넘어 에이전트 주도 개발로 나아가게 했습니다. 이제 엔지니어는 단일 프롬프트만으로 몇 초 만에 기능을 스캐폴딩하고, 코드를 리팩토링하며, 프로토타입을 배포할 수 있습니다. 이러한 변화는 LLM의 발전과 최신 소프트웨어 코드베이스의 복잡한 컨텍스트를 해석할 수 있는 에이전트 시스템에 의해 주도되었습니다.

시중에 나와 있는 대부분의 에이전트는 코드를 최종 결과물로 삼는 데 중점을 둡니다. 하지만 데이터 팀에게 코드는 기반이 되는 데이터를 조작하고 이해하기 위한 수단에 불과합니다. 바로 이것이 소프트웨어 중심 에이전트가 데이터 작업에 종종 어려움을 겪는 이유입니다. 데이터 생태계에서 컨텍스트는 스크립트뿐만 아니라 사용 패턴, 리니지, 비즈니스 시맨틱에도 존재합니다. 

결정해야 할 사안이 매우 중요하므로 이 컨텍스트에 액세스하는 것은 필수적입니다. 대시보드는 비즈니스 의사 결정을 이끌고, 파이프라인은 프로덕션 시스템을 구동하며, 머신러닝 모델은 실제 결과에 영향을 미칩니다. 데이터 팀의 경우 에이전트가 제공하는 속도와 활용도는 절대적인 정확성, 재현성 및 거버넌스와 결합되어야 합니다.

Genie Code는 데이터를 위해 특별히 제작된 AI 에이전트입니다. Unity Catalog를 활용하여 작업 중에 가장 관련성 높은 데이터와 콘텐츠를 자동으로 큐레이팅합니다. 개인화된 검색 인덱스, 사용자 지정 지침, 지식 저장소를 생성하고 리니지에서 사용 패턴을 추출합니다. 무엇보다도 팀이 더 많이 사용할수록 더 똑똑해집니다. 이러한 Unity Catalog와의 긴밀한 통합은 외부에서 데이터를 단순히 읽는 어떤 시스템보다 훨씬 뛰어납니다.

Databricks에서는 기술 및 비기술 사용자 모두에게 Genie와 Genie Code가 미치는 영향을 직접 확인했습니다. 저희 영업팀은 회의 전에 모든 고객에 대한 전체적인 그림을 파악하기 위해 이를 사용하여 주요 사용량 메트릭, 지원 티켓, 최근 상호 작용을 몇 초 만에 요약합니다. 제품 관리자는 손으로 그린 차트와 그래프 스케치로부터 대시보드를 구축하기 위해 Genie Code를 사용합니다. 저희 재무팀은 예산 대비 실제 분석과 고급 ROI 모델링을 실행합니다. 저희 리더십 팀은 전략적 논의 중에 실시간으로 데이터 관련 질문에 답변하여 후속 조치를 줄이고 복잡한 의사 결정을 가속화합니다. 회사 전체에서 이러한 도구들은 우리가 데이터를 다루는 방식을 바꾸어 놓았습니다.

Genie Code의 기능:

• 숙련된 machine learning 엔지니어 역할 수행: Genie Code는 전체 ML 워크플로를 엔드투엔드로 처리합니다. 복잡한 문제를 추론하여 모델을 계획, 작성 및 배포하는 동시에 실험을 MLflow에 로깅하고 최상의 성능을 위해 서빙 엔드포인트를 미세 조정합니다.
• 심층적인 데이터 엔지니어링 전문성: 초보 엔지니어는 테스트 데이터에서 작동하는 스크립트를 작성할 수 있지만, Genie Code는 수석 아키텍트처럼 설계합니다. 스테이징 환경과 프로덕션 환경의 차이점을 고려하고, 변경 데이터 캡처를 위한 워크플로를 구축하며 데이터 품질 기대치를 적용합니다.
• 사전 유지 관리 및 최적화: Genie Code는 백그라운드에서 Lakeflow 파이프라인과 AI 모델을 모니터링하여 장애를 분류하고 이상 현상을 조사합니다. 에이전트 추적을 자율적으로 분석하여 환각(hallucination)을 수정하고 사람이 개입하기 전에 리소스 할당을 조정합니다.
• 엔터프라이즈 컨텍스트 이해: Unity Catalog와 통합된 Genie Code는 기존 거버넌스 정책 및 액세스 제어를 적용합니다. 비즈니스 시맨틱 및 감사 요구 사항을 이해하고 외부 플랫폼의 데이터를 포함한 엔터프라이즈 데이터를 통합합니다.
• 시간이 지남에 따라 개선: Genie Code는 더 많은 팀이 사용할수록 더 스마트해집니다. 영구 메모리를 통해 과거의 상호 작용 및 코딩 기본 설정을 기반으로 내부 지침을 자동으로 업데이트합니다. 내부 Data Science 작업에서 Genie Code는 품질 면에서 77.1% 대 32.1%로 선도적인 코딩 에이전트를 능가합니다.

Genie Code를 사용하면 데이터 팀은 코파일럿에게 프롬프트를 입력하는 수준에서 벗어나 파이프라인 구축, 장애 디버깅, 대시보드 배포, 프로덕션 시스템 유지 관리와 같은 실제 작업을 자율적으로, 엔드투엔드로 위임할 수 있습니다.

SiriusXM에서 Genie Code는 노트북 작성과 복잡한 SQL부터 테이블 관계 추론 및 파이프라인 디버깅에 이르기까지 모든 것을 지원합니다. 이는 데이터 팀이 더 짧은 시간에 고품질 작업을 완료할 수 있도록 돕는 실무 개발 파트너 역할을 합니다. — Bernie Graham, Sirius XM 데이터 엔지니어링 부문 부사장

데이터 및 AI 작업을 위한 최고 품질 에이전트

Genie Code는 단일 모델로 구동되지 않습니다. 여러 모델과 도구에 걸쳐 작업을 라우팅하고 프런티어 LLM, 오픈 소스 모델, Databricks에서 호스팅되는 사용자 지정 모델 등 각 작업에 가장 적합한 모델을 자동으로 선택하는 에이전트 시스템입니다. 이를 통해 사용자는 수동으로 모델을 전환하거나 어떤 모델이 최상의 결과를 낼지 추측할 필요가 없습니다.

Genie Code는 또한 Databricks API와 긴밀하게 통합되어 적절한 데이터 자산을 식별하고, 풍부한 컨텍스트를 구성하며, 더 높은 품질의 쿼리를 생성할 수 있습니다. Databricks Research는 선도적인 AI 연구소의 최신 모델과 플랫폼에서 실행되는 사용자 지정 모델을 함께 벤치마킹하여 시스템을 지속적으로 조정합니다.

최근 내부 사용자로부터 수집한 실제 Data Science 및 분석 작업을 대상으로 한 성능 벤치마킹에서, Genie Code는 Databricks 모델 컨텍스트 프로토콜(MCP) 서버가 장착된 선도적인 코딩 에이전트보다 훨씬 뛰어난 성능을 보였습니다.

• Genie Code: 77.1% 해결된 작업
• 선도적인 코딩 에이전트 + Databricks MCP: 32.1% 해결된 작업

Genie Code는 데이터 작업의 전체 수명 주기를 지원합니다.

머신 러닝 모델 학습 및 평가

Genie Code는 워크플로에 내장된 전담 ML 엔지니어 역할을 합니다. '@sales_table에서 매출을 예측하는 예측 모델을 훈련'하라고 요청하면 전체 파이프라인을 추론하여 실행합니다. 

• 특성 식별 및 프로파일링
• 훈련, 검증, 테스트 데이터세트를 올바르게 분할
• 여러 모델 유형을 훈련 및 비교하고, 하이퍼파라미터 스윕을 실행하여 가능한 최상의 모델을 훈련합니다.
• AUC, F1, RMSE, R²와 같은 측정항목에 대한 결과를 평가합니다
• 특성 중요도, 혼동 행렬 및 ROC 곡선에 대한 플롯을 생성합니다.
• MLflow에서 Experiment 추적
• 모델 진단을 기반으로 개선 사항 추천

Databricks Model Serving에 배포되면 Genie Code는 지속적으로 관여하여 엔드포인트 상태를 확인하고, 추적을 분석하며, 최적화를 권장할 수 있습니다. 이에 대한 자세한 내용은 아래의 '코드에서 프로덕션까지: Genie Code를 사용한 관찰 가능성' 섹션에서 확인할 수 있습니다.

Genie Code는 데이터 팀의 운영 방식을 바꿉니다. 노트북, 파이프라인, 모델을 수동으로 연결하는 대신 데이터, 거버넌스, 비즈니스 컨텍스트, Repsol Artificial Intelligence Products와 같은 내부 라이브러리를 이해하는 AI 파트너에게 복잡한 워크플로를 맡길 수 있습니다. 엄격함과 제어권을 희생하지 않고 시계열 예측부터 프로덕션 배포까지 모든 것을 가속화합니다. — 에밀리오 마르틴 가야르도, Repsol 데이터 관리 및 분석 부문 수석 데이터 사이언티스트

프로덕션용 데이터 파이프라인 생성

Genie Code는 신뢰할 수 있는 데이터 파이프라인을 설계하고 발전시키는 데 도움을 주기 위해 만들어진 전문 데이터 엔지니어입니다.

• 자연어로 파이프라인 만들기: 필요한 사항을 설명하면 Genie Code가 수집, 변환, 데이터 품질 기대치가 내장된 완전한 Spark 선언적 파이프라인을 생성합니다.
• 기존 파이프라인 확장: 현재 파이프라인의 컨텍스트 내에서 데이터 세트 추가, 변환 수정, AutoCDC 흐름 작성, Auto Loader 구성, 데이터 품질 예상 적용을 모두 수행할 수 있습니다.
• 파이프라인 동작 이해: 출력을 검사하고, 다운스트림 테이블로의 데이터 흐름을 추적하며, 행 수나 스키마의 예상치 못한 변경 사항을 파악합니다.

Genie Code는 보조 코딩을 넘어 진정한 에이전트 데이터 엔지니어링의 시대로 우리를 이끌었습니다. Lakeflow 파이프라인을 분석하고, diff를 사용하여 여러 파일의 변경 사항을 제안하며, 안전 장치와 함께 실행하고, 문제가 해결될 때까지 실패를 반복할 수 있습니다. 자동 완성 기능이라기보다는 워크플로에 내장된 협업자처럼 느껴집니다. — 니싯 가자르, 글로벌 인프라 기술 제공업체 테크 리드

재사용 가능한 시맨틱 정의로 대시보드 만들기

Genie Code는 재사용 가능한 시맨틱 정의를 통해 시각화를 생성하고, 필터를 구성하며, 여러 페이지로 구성된 대시보드 레이아웃을 구성할 수 있습니다. Genie Code는 이러한 정의를 대시보드가 커짐에 따라 확장되는 필터, 계산, 레이아웃에 연결하여 팀이 일관성을 유지하면서 더 빠르게 작업할 수 있도록 돕습니다.

Genie Code를 통해 저희 팀은 몇 달이 아닌 몇 주 만에 AI 기반 분석과 자동화된 워크플로를 제공하고 있습니다. 로우코드 에이전트는 거버넌스를 준수하며 신속한 작업을 지원하고, 프로젝트 및 엔지니어링 팀이 제공 속도 저하 없이 복잡한 데이터로부터 자연어 인사이트를 얻을 수 있도록 합니다. — 러셀 싱어, Bechtel Corporation 최고 데이터 설계자

자율적인 다단계 계획 및 실행 

다음과 같은 상위 수준의 목표를 제공하세요. "항공편 지연 위험 식별 및 모니터링 대시보드 구축". Genie Code는 요구 사항을 추론하고, 다단계 계획을 수립하며, 단일 대화 스레드 내에서 모든 Databricks Notebooks, AI/BI 대시보드 및 Lakeflow에 걸쳐 이를 실행합니다.

Danfoss에서 저희가 확인한 바는 Genie Code가 데이터 팀 내의 역할을 바꾸고, 디지털화와 AI에 대한 저희의 전략적 초점을 지원한다는 것입니다. 데이터 사이언티스트는 여전히 방향을 제시하고 검토하지만, 이제 엔지니어, 애널리스트, 도메인 전문가는 어시스턴트와 함께 노트북에서 적극적으로 작업하고 고급 분석 워크플로에 기여할 수 있습니다. 이는 Data Science를 훨씬 더 협력적인 팀 활동으로 만듭니다. — 라두 드라구신, Danfoss 데이터 및 AI 수석 엔지니어

심층적인 컨텍스트 검색을 통한 탐색적 데이터 분석

Genie Code는 인기도, 리니지, 코드 샘플 및 Unity Catalog 메타데이터를 사용하여 모든 분석에 가장 관련성 높은 데이터 세트를 찾습니다. 이러한 심층적인 컨텍스트 검색은 데이터를 찾는 수고를 없애주고, 조직 내에서 가장 정확하고 자주 사용되는 테이블을 기반으로 작업을 수행하도록 보장합니다.

정말 감탄했습니다. Genie Code는 데이터 작업이 어떻게 이루어지는지에 대한 미래를 엿보는 것 같습니다. — 사미르 야세르, 선트 컨스트럭션의 수석 데이터 엔지니어

사용자 지정 및 확장성

Genie Code는 팀의 특정 표준과 외부 기술 스택에 맞게 조정되도록 설계된 유연한 플랫폼입니다. 그 기능을 확장하는 세 가지 주요 방법이 있습니다.

1. 모델 컨텍스트 프로토콜(MCP)을 통한 외부 도구
   Genie Code는 모델 컨텍스트 프로토콜(MCP)을 지원합니다. 이 개방형 표준을 사용하면 외부 도구, APIs, 문서와 안전하게 상호 작용할 수 있습니다. 이를 통해 Databricks 워크스페이스를 넘어서는 자율적인 워크플로가 가능해집니다.

예를 들어, 새로운 ML 모델을 훈련하는 Jira 작업이 할당되면 Genie Code는 자동으로 컨텍스트를 수집하고 작업을 수행한 후 그 결과를 티켓에 업데이트할 수 있습니다.

MCP를 통해 Genie를 내부 Confluence, Google Drive, GitHub 또는 Notion에 연결하여 문제 해결 시 팀의 특정 런북 및 데이터 사전을 참조할 수 있습니다.

2. 에이전트 스킬: 도메인별 기능 을 정의하여 Genie Code가 복잡한 작업을 일관되게 수행하는 방법을 학습하도록 합니다. 회사가 PII 마스킹을 처리하는 특정 방식이든 데이터 유효성 검사를 위한 맞춤형 프레임워크이든, 스킬은 AI가 항상 조직의 모범 사례를 따르도록 보장합니다. 스킬은 개방형 에이전트 스킬 형식을 따릅니다.
3. 메모리: Genie Code는 사용하면 할수록 더 스마트해집니다. 영구 메모리를 통해 에이전트는 과거의 상호 작용을 기반으로 내부 지침을 자동으로 업데이트합니다. 사용자의 코딩 선호도를 학습하고, 가장 자주 사용하는 데이터 세트를 기억하며, 세션 간에 컨텍스트를 유지합니다.

코드에서 프로덕션까지: Genie Code를 통한 관찰 가능성

코드를 작성하는 것은 첫 단계일 뿐입니다. 유지보수하는 것이 진정한 과제입니다. Genie Code는 데이터 및 AI 워크플로를 정상적으로 유지하기 위한 관찰 가능성 에이전트 역할을 합니다. 수천 명의 고객이 Databricks를 사용하여 정교한 AI 애플리케이션을 제공하지만, 프로덕션 환경에서 이러한 모델을 디버깅하는 것은 수명 주기에서 가장 시간이 많이 걸리는 부분인 경우가 많습니다.

이제 Genie Code는 Databricks Model Serving 및 MLflow 3.0과 직접 통합되어 이 프로세스를 자동화합니다. logs와 추적을 수동으로 검색하는 대신 Genie를 사용하여 다음을 수행할 수 있습니다.

• 엔드포인트 상태 확인: 단일 프롬프트에서 compute, 요청 처리, 서버 로그에 대한 전체 상태 보고서를 받아보세요.

• 에이전트 품질 분석: 복잡한 에이전트 추적 전반에서 환각(hallucination), 잘못된 도구 호출, 사용자 불만 패턴과 같은 미묘한 문제를 실시간으로 파악합니다.

• 프로덕션 문제 해결: 인시던트 발생 시 Genie는 서버 logs와 메트릭을 교차 참조하여 1차 진단을 자동화하고 해결 시간을 단축합니다.
• Endpoint 최적화: Databricks 모범 사례에 따라 프로비저닝된 동시성, 하드웨어 구성 및 자동 확장에 대한 권장 사항을 확인하세요.

워크로드를 정상 상태로 유지하는 백그라운드 에이전트

Genie Code는 백그라운드에서 작동하도록 설계되어 있어 노트북을 닫은 후에도 데이터가 정상 상태로 유지됩니다. 여러 에이전트를 병렬로 배포하여 일반적으로 데이터 엔지니어의 일주일 분량에 해당하는 운영 작업을 처리할 수 있습니다. 이러한 백그라운드 에이전트는 작업 실패에 대응하고 정기 업그레이드를 관리하는 등 반복적인 작업을 처리하여 사후 대응적 지원을 넘어 사전 예방적 유지 관리로 나아갑니다. 파이프라인에 장애가 발생하면 에이전트는 근본 원인을 식별하고 안전한 샌드박스 환경에서 검증한 후에만 수정 사항을 제안합니다. 

예를 들어, 열이 INT(150)에서 STRING('150 USD')으로 변경되는 것과 같은 스키마 불일치로 인해 프로덕션 파이프라인이 실패하면 Genie Code가 오류를 정확히 찾아내고 손상된 파이프라인을 자동으로 수정합니다. 

백그라운드 에이전트가 곧 출시됩니다. 

Unity Catalog 기반: 통합 보안 및 거버넌스

Genie Code는 Unity Catalog를 기반으로 직접 구축됩니다. 이 통합을 통해 에이전트는 나머지 Databricks 플랫폼과 동일한 보안 및 거버넌스 규칙을 따르게 됩니다.

Genie Code로 데이터를 검색하면 사용자에게 액세스 권한이 있는 애셋만 표시됩니다. 파이프라인을 구축할 때 기존 리니지 및 액세스 제어를 준수합니다.

• 네이티브 수정 기록: 모든 편집은 Databricks 버전 관리 시스템을 통해 추적됩니다. 노트북, query, 파일 및 Lakeflow pipelines 전반의 변경 사항을 안심하고 롤백할 수 있습니다.
• 기본 내장 보호 기능: Genie Code는 기본 테이블을 수정할 수 있는 코드를 실행하기 전에 사전 확인을 요청하도록 설계되었습니다.
• 액세스 제어 적용: Genie Code는 사용자가 볼 수 있도록 허용되지 않은 데이터 자산을 절대 노출하지 않습니다.
• 포괄적인 감사 로깅: 조직은 기존 감사 인프라를 통해 Genie Code의 사용 현황에 대한 완전한 가시성을 유지합니다.

지금 바로 Workspace에서 사용할 수 있습니다.

Genie Code는 이제 Databricks 작업 공간에서 정식으로 사용 할 수 있습니다. 오늘부터 복잡한 구성 없이 노트북, SQL 편집기 및 Lakeflow Pipelines 편집기에서 Genie Code 패널을 찾을 수 있습니다.

더 알아보기

Genie Code에 대해 더 알아보고 싶으시면:

• 당사의 웹 페이지 를 방문하여 주요 Genie Code 기능 및 사용 사례를 알아보고 Databricks 플랫폼 전반에서 어떻게 작동하는지 확인하세요.
• 데모 를 시청하고 Genie Code가 실제 데이터 워크플로를 엔드투엔드로 계획하고 실행하는 과정을 확인하세요.
• 지금 바로 여러분의 워크스페이스에서 Genie Code를 사용하려면 설명서 를 읽어보세요.

여러분이 Genie Code로 무엇을 구축하고, 자율 에이전트가 Databricks에서 데이터 팀의 업무 방식을 어떻게 변화시킬지 기대됩니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)