Databricks Assistant 데이터 과학 에이전트 소개

두 년 전에 출시된 이후로 Databricks Assistant 는 데이터 전문가들에게 빠질 수 없는 파트너가 되어, SQL과 Python 코드를 생성하고, 오류를 해결하며, 작업 흐름 내에서 직접적인 지침을 제공하는 데 도움을 주었습니다. 그 동안 AI 분야는 빠르게 발전하였습니다. 단순한 조종사와 챗봇에서 복잡하고 다단계의 과정을 이해하고, 계획하고, 자동으로 실행할 수 있는 에이전트로의 전선이 이동하였습니다. 

이 패러다임을 데이터에 확장하는 것은 코드에 대한 능숙함 이상을 필요로 합니다. 기업 데이터 에이전트는 데이터의 맥락을 이해하고, 작업을 검토하고 세밀하게 수정할 수 있게 해주며, 가장 높은 수준의 거버넌스를 유지해야 합니다. Databricks는 이러한 비전을 실현할 수 있는 독특한 위치에 있습니다. Unity 카탈로그가 통합 정책, 계보, 그리고 비즈니스 의미론을 제공함으로써, 이 플랫폼은 이미 데이터 인텔리전스를 위한 신뢰할 수 있는 기반이 되었습니다. 그 기반 위에, 에이전트는 투명성, 신뢰성, 또는 엄격함을 손상시키지 않고 질문에서 통찰력까지의 시간을 압축할 수 있습니다. 이것이 우리가 Databricks Assistant에 가져오려는 미래입니다.

Databricks 어시스턴트에 에이전트 도입

우리는 자랑스럽게 Data Science Agent를 소개합니다. 이는 Databricks Assistant를 도움이 되는 조종사에서 데이터 과학과 분석을 위한 진정한 자율적인 파트너로 승격시키는 주요한 발전입니다. Databricks 노트북과 SQL 에디터와 완전히 통합된 Data Science Agent 는 지능, 적응성, 실행을 하나의 경험으로 결합합니다. 이는 Assistant에서 에이전트 모드를 선택하여 사용할 수 있는 새로운 세대의 AI 데이터 에이전트 중 첫 번째이며, 곧 고객들에게 출시될 예정입니다.

데이터 과학 에이전트는 이미 Databricks Assistant로 수행하는 모든 작업을 기반으로 하며, 고수준의 작업을 맡기면 작업 속도를 대폭 향상시킵니다. 다음은 이를 통해 일상 업무를 돕는 몇 가지 방법입니다:

• 데이터 탐색: 에이전트에게 "@table 에서 흥미로운 패턴을 식별하기 위해 탐색적 데이터 분석을 수행하라"고 요청할 수 있습니다. 특정 영역에 초점을 맞추고 싶다면 추가 지침을 제공할 수 있습니다. "@" 기능은 기존의 Assistant 기능으로, Assistant에게 참조하고 있는 특정 테이블을 더 쉽게 지정할 수 있게 합니다.

• ML 모델 훈련 및 평가: 에이전트는 필요에 따라 MLflow 기능을 사용하여 머신 러닝 작업을 수행할 수 있습니다. 예를 들어, 에이전트에게 "@sales_table에서 판매를 예측하는 예측 모델을 훈련하라"고 요청할 수 있습니다. 그런 다음 특정 모델 유형을 사용하도록 안내하거나 하이퍼파라미터 튜닝에 얼마나 집중할지 결정할 수 있습니다.
• 오류 수정: 사람들은 Assistant의 진단 오류 버튼을 좋아합니다. 에이전트 모드에서는 진단 오류 기능이 추가 업데이트를 수행하고 문제가 해결될 때까지 수정을 반복적으로 시도하는 데 도움이 될 수 있습니다.
• 결과 요약 및 설명: 에이전트에게 분석 결과를 설명하고 요약하거나 추가 분석을 수행하도록 요청할 수 있습니다.
• 관련 데이터 찾기: 에이전트는 Unity 카탈로그에서 작업을 완료하는 데 필요한 데이터를 찾는 데 도움을 줄 수 있습니다. 접근할 수 있는 테이블을 검색합니다. 찾고자 하는 것을 상세하게 설명해보세요, 예를 들어 열 이름이나 데이터 유형 등입니다. 테이블과 열이 설명적인 주석이 있다면 데이터 과학 에이전트가 더욱 도움이 될 것입니다.

정확하고 신뢰할 수 있는 응답

데이터 과학 에이전트의 목표는 정확하고 관련성 있는 답변을 제공하고, 그 답변이 귀하의 조직의 데이터에 근거한 데이터 과학 및 분석 경험을 제공하는 것입니다. 이는 프론티어 AI 모델조차도 어려운 문제로, 이들 모델은 단독으로는 귀하의 데이터, 비즈니스 로직, 팀이 작업하는 방식의 의미를 이해하지 못합니다. 데이터 과학 에이전트는 AI 모델의 추론력과 Databricks 데이터 인텔리전스 플랫폼을 결합하여, 신뢰할 수 있고 문맥에 맞는 결과를 보장합니다. 예를 들어, Unity 카탈로그를 검색하여 적절한 테이블과 노트북을 찾아내고 결과를 해석하여 분석을 세밀하게 수정하거나, 모델을 훈련시키거나, 이해관계자에게 결과를 요약하는 등의 최선의 다음 단계를 제안할 수 있습니다. 거버넌스 컨텍스트에서 에이전트 워크플로우를 바탕으로, 데이터 과학 에이전트는 원시 자동화를 신뢰할 수 있는 가속화로 전환합니다.

start하기

워크스페이스 관리자는 Databricks 미리보기 포털에서 Assistant 에이전트 모드 베타를 활성화할 수 있습니다. 

관리자가 에이전트 모드를 활성화하면 Assistant의 오른쪽 하단 모서리에 토글이 표시됩니다. 이를 Agent로 전환하고 작업을 입력한 후 에이전트에게 처음부터 끝까지 수행하도록 합니다. 여러 단계 또는 복잡한 요청의 경우, 투명성과 제어를 더하려면 Planner를 사용해 보는 것이 좋습니다.

더 복잡한 워크플로우에 대한 Planner 사용

에이전트의 계획 기능은 실행 전에 계획을 세우는 것으로 복잡한 작업 흐름을 처리하는 데 도움을 줍니다. Assistant 스레드의 시작 시에 이를 켜고, 에이전트는 세부적인 단계를 제안하고, 필요한 경우 명확한 질문을 하며, 사용자의 입력에 따라 계획을 수정합니다. 계획이 올바르게 보이면 계속 을 클릭하고, 에이전트는 단계별로 실행하며, 결과를 검토하고, 마지막에 결과를 요약합니다.

작업이 여러 단계를 거치거나 신중한 조정이 필요할 때 Planner는 특히 유용합니다. 예를 들어, 이탈률 조사에서는 데이터셋 탐색, 코호트 분석, 시각화를 통해 에이전트를 안내하고 싶을 수 있습니다. 또는 ML 파이프라인을 구축할 때, Planner는 데이터 클리닝, 피처 엔지니어링, 모델 훈련, 평가를 일관된 흐름으로 구조화하는 데 도움이 될 수 있습니다.

도구 확인

당신은 계속해서 운전석에 있습니다. 코드를 실행하기 전에 에이전트는 귀하의 승인을 요청합니다. 선택할 수 있습니다:

• 한 번 허용: 단일 실행을 승인
• 이 스레드를 항상 허용: 현재 Assistant 대화 내에서 작업을 간소화합니다. 이는 Assistant 패널 오른쪽 상단의 "+"를 누르면 초기화됩니다.
• 항상 허용: 설정을 변경할 때까지 승인을 부여합니다

또한, 에이전트에는 실수로 테이블을 삭제하는 등의 의도하지 않은 작업을 줄이는 데 도움이 되는 내장 가드레일이 있습니다. 그러나, 특히 생산 데이터, 중요한 테이블 또는 다른 민감한 작업에 영향을 미치는 생성된 코드를 신중하게 검토하는 것을 여전히 권장합니다.

지평선에

앞으로, 우리는 데이터 과학 에이전트를 더욱 강력하게 만들기 위한 여러 가지 개선에 투자하고 있습니다:

• 보다 넓은 맥락: MCP 통합을 통해 추가적인 맥락을 제공합니다. 이를 통해 Assistant에게는 오늘날에는 없는 새로운 지식을 제공할 수 있습니다.
• 더 똑똑한 메모리: Assistant 지침 은 이미 Data Science Agent에 의해 사용되고 있지만, 우리는 에이전트가 지침을 업데이트하고 정리하는 것을 더 쉽게 만들기를 원합니다
• 데이터 발견의 빠른 속도: 데이터 과학 에이전트는 작업에 필요한 자산을 찾는 데 도움이 될 수 있습니다. 테이블과 코드를 검색하는 기능을 통해 첫 단계를 밟았지만, 이 영역을 개선하기 위해 노력하고 있습니다.

데이터 과학 에이전트는 시작일 뿐입니다. 에이전트 모드는 Databricks 전체 작업 부하를 조정하도록 확장될 것입니다. 우리는 동일한 신뢰할 수 있고, 관리되는 기반 위에 데이터 엔지니어링 및 그 이상의 에이전트 워크플로우를 구축하고 있습니다.

오늘 데이터 과학 에이전트를 시도해 보세요 🚀 

저희의 제품 페이지 를 방문하여 Databricks Assistant에 대해 더 알아보거나, 모든 기능에 대한 정보를 얻기 위해 문서 를 읽어보세요.

오늘 Databricks Assistant 에이전트 모드를 활성화하도록 관리자에게 요청하고, 작업 시간을 분으로 줄여보세요. 이렇게 하면 기계 작업에 대한 시간보다 통찰력을 위한 시간이 더 많아질 것입니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)