Databricks Assistant Data Science Agent 소개

2년 전 출시 이후 Databricks Assistant는 데이터 전문가에게 없어서는 안 될 파트너가 되어 SQL 및 Python 코드를 생성하고, 오류를 해결하고, 워크플로 내에서 직접 상황에 맞는 지침을 받을 수 있도록 지원합니다. 그동안 AI 환경은 빠르게 발전했습니다. 단순한 코파일럿 및 챗봇에서 추론, 계획 및 복잡한 다단계 프로세스를 자율적으로 실행할 수 있는 에이전트로 프런티어가 이동했습니다. 

이 패러다임을 데이터로 확장하려면 코드에 능숙한 것 이상이 필요합니다. 엔터프라이즈 데이터 에이전트는 데이터 컨텍스트를 인식하고, 작업을 검토하고 개선할 수 있도록 지원하며, 최고 수준의 거버넌스를 통해 운영해야 합니다. Databricks는 이러한 비전을 실현할 수 있는 독보적인 위치에 있습니다. Unity Catalog가 통합된 정책, 계보 및 비즈니스 의미 체계를 제공하므로 이 플랫폼은 이미 데이터 인텔리전스를 위한 신뢰할 수 있는 기반입니다. 이러한 기반을 바탕으로 에이전트는 투명성, 신뢰 또는 엄격성을 훼손하지 않으면서 질문에서 인사이트까지의 시간을 단축할 수 있습니다. 이것이 바로 지금 Databricks Assistant에 제공하고 있는 미래입니다.

Databricks Assistant에 에이전트 도입

Databricks Assistant를 유용한 코파일럿에서 데이터 과학 및 분석을 위한 진정한 자율 파트너로 끌어올리는 주요 발전인 Data Science Agent를 소개하게 되어 자랑스럽습니다. Databricks Notebooks 및 SQL Editor와 완전히 통합된 Data Science Agent는 인텔리전스, 적응성 및 실행을 단일 환경으로 결합합니다. Assistant에서 에이전트 모드를 선택하여 사용할 수 있는 새로운 세대의 AI 데이터 에이전트 중 첫 번째이며, 며칠 내에 고객에게 출시될 예정입니다.

Data Science Agent는 현재 Databricks Assistant로 수행하는 모든 작업을 기반으로 구축되며, 더 높은 수준의 작업을 수행할 때 작업을 대폭 가속화합니다. 다음은 일상적인 업무에 도움이 될 수 있는 몇 가지 방법입니다.

• 데이터 탐색: 에이전트에게 "@table에서 탐색적 데이터 분석을 수행하여 흥미로운 패턴을 식별"하도록 요청할 수 있습니다. 탐색을 특정 영역에 집중하려는 경우 추가 지침을 제공할 수 있습니다. "@" 기능은 기존 Assistant 기능으로, Assistant에 참조하는 특정 테이블을 더 쉽게 나타낼 수 있습니다.

• ML 모델 학습 및 평가: 에이전트는 필요에 따라 MLflow 기능을 사용하여 머신 러닝 작업을 수행할 수 있습니다. 예를 들어 에이전트에게 "@sales_table에서 판매를 예측하는 예측 모델을 학습"하도록 요청할 수 있습니다. 그런 다음 특정 모델 유형을 사용하거나 하이퍼파라미터 튜닝에 얼마나 집중할지 안내할 수 있습니다.
• 오류 수정: 사람들은 Assistant의 오류 진단 버튼을 좋아합니다. 에이전트 모드에서 오류 진단 기능은 추가 업데이트를 수행하고 문제가 해결될 때까지 반복적으로 수정하는 데 도움이 될 수 있습니다.
• 결과 요약 및 설명: 에이전트에게 분석 결과를 설명하고 요약하거나 추가 분석을 수행하도록 요청할 수 있습니다.
• 관련 데이터 찾기: 에이전트는 액세스할 수 있는 테이블을 검색하여 Unity Catalog에서 작업을 완료하는 데 필요한 데이터를 찾는 데 도움을 줄 수 있습니다. 열 이름 또는 데이터 유형과 같이 찾고 있는 내용을 자세히 설명해 보십시오. 테이블과 열에 설명적인 설명이 있는 경우 Data Science Agent가 더 유용합니다.

정확하고 신뢰할 수 있는 응답

Data Science Agent의 목표는 조직의 데이터를 기반으로 정확하고 관련성이 높으며 신뢰할 수 있는 데이터 과학 및 분석 환경을 제공하는 것입니다. 이는 최첨단 AI 모델의 경우에도 어려운 문제이며, AI 모델 자체는 데이터의 의미 체계, 비즈니스 로직 또는 팀의 작업 방식을 이해하지 못합니다. Data Science Agent는 AI 모델의 추론 능력을 Databricks Data Intelligence Platform과 결합하여 이러한 격차를 해소하여 신뢰할 수 있고 상황을 인식하는 결과를 보장합니다. 예를 들어 Unity Catalog를 검색하여 올바른 테이블과 Notebook을 표시하고 결과를 해석하여 분석 개선, 모델 학습 또는 이해 관계자를 위한 결과 요약과 같은 최상의 다음 단계를 제안할 수 있습니다. 에이전트 워크플로를 관리되는 컨텍스트에 배치함으로써 Data Science Agent는 원시 자동화를 신뢰할 수 있는 가속으로 전환합니다.

시작하기

Workspace 관리자는 Databricks 미리 보기 포털에서 Assistant 에이전트 모드 베타를 활성화할 수 있습니다. 

관리자가 에이전트 모드를 활성화하면 Assistant의 오른쪽 하단 모서리에 토글이 표시됩니다. 에이전트로 전환하고 작업을 입력하면 에이전트가 처음부터 끝까지 작업을 수행합니다. 다단계 또는 더 복잡한 요청의 경우 투명성과 제어를 강화하기 위해 Planner를 사용해 보는 것이 좋습니다.

더 복잡한 워크플로에 Planner 사용

에이전트의 Planner 기능은 실행 전에 계획을 작성하여 복잡한 워크플로를 처리하는 데 도움이 됩니다. Assistant 스레드 시작 시 켜면 에이전트가 자세한 단계를 제안하고 필요에 따라 명확한 질문을 한 다음 입력에 따라 계획을 개선합니다. 올바르게 보이면 계속을 클릭하면 에이전트가 단계별로 실행하고, 진행하면서 결과를 검토하고, 마지막에 결과를 요약합니다.

Planner는 작업이 여러 단계에 걸쳐 있거나 신중한 오케스트레이션이 필요한 경우 특히 유용합니다. 예를 들어 이탈 조사에서 데이터 세트 탐색, 코호트 분석 및 시각화를 통해 에이전트를 안내할 수 있습니다. 또는 ML 파이프라인을 구축할 때 Planner는 데이터 정리, 특징 엔지니어링, 모델 학습 및 평가를 일관된 흐름으로 구성하는 데 도움이 될 수 있습니다.

도구 확인

사용자는 계속 제어할 수 있습니다. 코드를 실행하기 전에 에이전트가 승인을 요청합니다. 다음을 선택할 수 있습니다.

• 한 번 허용: 단일 실행 승인
• 이 스레드에 대해 항상 허용: 현재 Assistant 대화 내에서 작업을 간소화합니다. Assistant 패널의 오른쪽 상단 모서리에 있는 "+"를 누르면 재설정됩니다.
• 항상 허용: 설정을 변경할 때까지 승인 제공

또한 에이전트에는 테이블을 실수로 삭제하는 것과 같은 의도하지 않은 작업을 줄이는 데 도움이 되는 기본 제공 보호 장치가 있습니다. 즉, 특히 프로덕션 데이터, 중요한 테이블 또는 기타 중요한 작업을 수행할 때는 생성된 코드를 주의 깊게 검토하는 것이 좋습니다.

향후 계획

앞으로 Data Science Agent를 더욱 강력하게 만들기 위해 몇 가지 개선 사항에 투자하고 있습니다.

• 더 넓은 컨텍스트: MCP 통합을 통해 추가 컨텍스트를 가져옵니다. 이렇게 하면 Assistant에 오늘날에는 없는 새로운 지식을 제공할 수 있습니다.
• 더 스마트한 메모리: Assistant 지침은 이미 Data Science Agent에서 사용되고 있지만 에이전트가 지침을 더 쉽게 업데이트하고 큐레이팅할 수 있도록 하고 싶습니다.
• 더 빠른 데이터 검색: Data Science Agent는 작업에 필요한 자산을 찾는 데 도움을 줄 수 있습니다. 테이블과 코드를 검색하는 기능으로 오늘날 첫 번째 단계를 수행하지만 이 영역을 개선하기 위해 노력하고 있습니다.

Data Science Agent는 시작에 불과합니다. 에이전트 모드는 Databricks 전체에서 전체 워크로드를 오케스트레이션하도록 확장될 것입니다. 동일한 신뢰할 수 있는 관리 기반을 기반으로 데이터 엔지니어링 등을 위한 에이전트 워크플로를 구축하고 있습니다.

지금 Data Science Agent를 사용해 보세요 🚀 

Databricks Assistant에 대한 자세한 내용은 제품 페이지를 확인하거나 모든 기능에 대한 자세한 내용은 설명서를 참조하십시오.

관리자에게 Databricks Assistant 에이전트 모드를 활성화하도록 요청하고 지금 바로 몇 시간의 작업을 몇 분으로 단축하십시오. 이렇게 하면 인사이트를 얻는 데 더 많은 시간을 할애하고 메커니즘에 소요되는 시간을 줄일 수 있습니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)