인간 참여형(HITL)이란 무엇인가요?

Human in the loop (HITL)은 정확도, 안전성, 윤리적 부합성을 개선하기 위해 사람이 시스템의 학습, 감독 또는 의사 결정에 적극적으로 참여하는 AI 및 머신러닝 접근 방식입니다. 여기서 '루프(loop)'는 모델이 출력을 생성하고, 사람이 이를 검토하거나 수정하며, 해당 피드백이 다시 시스템으로 들어가는 기본 순환 과정을 의미합니다. 수정이 반복될 때마다 모델은 사람들이 기대하는 방식에 더 가깝게 작동하도록 학습합니다.

HITL은 개발의 특정 단계에만 국한되지 않습니다. 학습 데이터 레이블 지정 및 모델 출력 검토부터 프로덕션 환경에서의 에이전트 작업 승인에 이르기까지 전체 AI 라이프사이클 전반에 걸쳐 적용될 수 있습니다. 이는 실수가 심각한 결과로 이어질 수 있는 엣지 케이스(edge cases)나 위험성이 높은 상황에서 가장 중요합니다. 예를 들어, 방사선 AI가 스캔 이미지에 이상 소견을 표시하거나, AI 에이전트가 프로덕션 데이터베이스 수정을 준비하거나, 이상 거래 탐지 시스템이 비정상적인 거래를 처리하는 경우 등이 있습니다.

아래 섹션에서는 HITL이 실제로 어떻게 작동하는지, 관련 접근 방식과 어떻게 다른지, 다양한 산업에서 어떻게 활용되는지, 그리고 어떤 경우에 적합하지 않을 수 있는지 설명합니다.

팀들이 HITL을 사용하는 이유: 하나의 루프에서 실현하는 정확도, 신뢰성 및 규정 준수

기업들은 자동화의 속도를 유지하면서 AI 시스템의 신뢰성과 안정성을 높이기 위해 HITL을 사용합니다. 이로 인한 이점은 시너지 효과를 냅니다. 더 나은 사람의 피드백은 더 나은 학습 데이터로 이어지고, 더 나은 학습 데이터는 더 뛰어난 모델을 만들며, 더 뛰어난 모델은 사람의 개입을 덜 필요로 하게 됩니다.

• 더 높은 정확도. 사람 검토자는 모델이 놓치는 실수를 잡아냅니다. 특히 시스템이 익숙하지 않은 입력을 받거나 학습 데이터가 충분히 준비되지 않은 상황에 직면했을 때 유용합니다.
• 강력한 엣지 케이스 처리. 모델이 불확실해하거나 학습되지 않은 상황을 다룰 때, 사람은 판단력, 문맥 파악 능력, 상식을 적용할 수 있습니다.
• 편향 감소. 사람의 감독을 통해 편향되거나 유해하거나 왜곡된 출력이 사용자나 다운스트림 시스템에 도달하기 전에 이를 식별하고 수정할 수 있습니다.
• 안전성 및 윤리적 부합성. 사람이 검토하는 단계를 두어 유해하거나 부적절하거나 규정을 준수하지 않는 출력이 실제로 배포되는 것을 방지합니다.
• 규정 준수. 최근 발표되는 많은 AI 규제는 위험성이 높은 시스템에 대해 실질적인 사람의 감독을 요구합니다. 예를 들어, EU AI Act 제14조는 고위험 AI 시스템이 사람의 모니터링과 개입을 지원하도록 규정하고 있으며, NIST AI 위험 관리 프레임워크는 결과의 영향력이 큰 애플리케이션에서 사람의 감독을 강조합니다.
• 신뢰도 및 도입률 향상. 사람들은 필요할 때 사람이 확인하거나 제어할 수 있다는 사실을 알 때 AI 시스템을 더 기꺼이 신뢰하고 사용합니다.
• 지속적인 개선. 모든 수정 사항은 또 다른 학습 기회가 되며, 잘 설계된 HITL 시스템은 실수를 잡아낼 뿐만 아니라 시간이 지남에 따라 특정 범주의 오류 자체를 완전히 제거하는 데 도움이 됩니다.

피드백 루프 설명: HITL이 실제로 작동하는 방식

HITL은 단일 단계나 체크포인트가 아닙니다. 이는 학습 데이터 준비부터 배포 후 출력 검토에 이르기까지 전체 AI 라이프사이클 전반에 걸쳐 나타날 수 있는 디자인 패턴입니다. 실제로는 다음과 같은 방식으로 작동합니다.

1. 데이터 레이블 지정. 사람이 이미지, 텍스트, 오디오와 같은 원시 데이터에 태그를 지정하거나 주석을 달아 모델이 학습할 수 있는 정확한 예시를 제공합니다. 이러한 결정은 모델 성능에 직접적인 영향을 미칩니다.
2. 모델 학습. 사람은 학습 과정에서 모델 출력을 검토하고 수정하여 시스템이 어떤 것이 '좋은 결과'인지 학습하도록 돕습니다. 여기에는 검토자가 답변의 순위를 매기거나 평가하여 모델이 더 나은 답변을 하도록 유도하는 RLHF(인간 피드백 기반 강화 학습)가 포함되는 경우가 많습니다.
3. 추론 검토. 모델이 배포된 후, 조치를 취하기 전에 사람이 특정 출력을 검토할 수 있습니다. 이는 대개 예측이 불확실하거나 비정상적이거나 위험성이 높은 결정과 관련이 있을 때 발생합니다.
4. 에스컬레이션 및 재정의. 모델이 정의된 위험 임계값을 초과하면 시스템은 의사 결정을 사람에게 넘겨, 시스템이 계속 진행하기 전에 사람이 이를 검토, 승인, 거부 또는 수정할 수 있도록 합니다.
5. 지속적인 피드백. 사람의 피드백은 배포 후에도 멈추지 않습니다. 수정 및 검토 사항이 시스템으로 다시 피드백되어, 성능이 드리프트(drift)되는 대신 계속 개선될 수 있도록 모델을 재학습하거나 미세 조정(fine-tuning)하는 데 도움을 줍니다.

모든 AI 시스템이 모든 단계에서 사람을 필요로 하는 것은 아닙니다. 가장 성숙한 HITL 시스템은 신뢰도 임계값과 위험 점수를 사용하여 의사 결정의 일부만 사람의 검토로 라우팅합니다. 이것이 바로 HITL을 실제로 확장 가능하게 만드는 요소입니다.

In the loop, on the loop, over the loop: 어떤 차이가 있을까요?

이 세 가지 용어는 AI 시스템에서 사람의 개입 수준이 서로 다름을 나타내며, 혼동하기 쉽습니다. 가장 큰 차이점은 사람이 의사 결정에 얼마나 밀접하게 관여하는지, 그리고 필요할 때 얼마나 신속하게 개입할 수 있는지입니다.

실제로는 많은 AI 시스템이 이 세 가지 접근 방식을 모두 조합하여 사용합니다. 가장 위험성이 높은 결정은 HITL을 통해 사람의 직접적인 승인을 요구할 수 있는 반면, 일상적인 모니터링은 'on the loop'로 진행되고 거버넌스는 'over the loop'로 이루어집니다. 적절한 균형은 위험성, 시스템 규모, 그리고 작업에 실제로 필요한 사람의 판단력 수준에 따라 달라집니다.

HITL vs. RLHF: 관련 개념, 서로 다른 역할

HITL과 RLHF는 밀접하게 관련되어 있지만, 서로 대체할 수 있는 개념은 아닙니다.

HITL이 더 광범위한 개념입니다. 이는 사람이 AI의 작동 방식을 안내, 검토 또는 개선하는 데 참여하는 모든 시스템을 설명합니다. 이는 학습 과정, 실시간 의사 결정 또는 모델이 이미 프로덕션에서 실행 중인 단계에서 발생할 수 있습니다.

RLHF는 이를 수행하는 하나의 구체적인 방법입니다. RLHF에서는 사람들이 모델의 응답에 순위를 매기거나 평가하여 시스템이 어떤 답변이 더 유용하고 정확하며 사람의 기대에 부합하는지 학습하도록 합니다. 그런 다음 이 피드백을 사용하여 대규모 언어 모델(LLM)을 학습시키고 미세 조정합니다.

예를 들어, HITL에는 학습 데이터 레이블 지정, 프로덕션 환경의 모델 출력 검토, 에이전트 작업이 실행되기 전 승인, 또는 사람의 수정 사항을 시스템에 다시 피드백하는 작업도 포함될 수 있습니다.

가장 간단하게 생각하면 다음과 같습니다. RLHF는 특히 학습 중에 모델이 학습하는 방식을 개선하는 데 집중하는 반면, HITL은 전체 라이프사이클에 걸쳐 AI 시스템을 감독하고 개선하는 데 사람이 수행하는 더 광범위한 역할을 설명합니다.

HITL이 활용되는 분야: 산업별 실제 사례

HITL은 AI의 결정이 실제적인 결과를 초래하거나 사람의 판단, 문맥 이해 또는 전문 지식이 필요한 곳에서 가장 흔하게 사용됩니다. 많은 엔터프라이즈 AI 시스템에서 사람은 AI를 대체하기 위해 존재하는 것이 아닙니다. 판단이 중요할 때 개입하는 역할을 합니다.

According to Databricks research on enterprise AI adoption, 약 40%의 주요 AI 사용 사례가 고객 경험에 초점을 맞추고 있으며, 이러한 워크플로 중 상당수는 여전히 중요한 시점에서 어떤 형태로든 사람의 검토, 에스컬레이션 또는 승인에 의존하고 있습니다.

• 의료 영상. 방사선 전문의는 진단이 확정되기 전에 스캔 이미지에서 AI가 플래그를 지정한 소견을 검토하고 확인합니다.
• 콘텐츠 모더레이션. 게시물의 뉘앙스가 너무 미묘하거나 모호하여 AI가 자신 있게 평가하기 어려운 경우, 특히 문맥에 따라 의미가 완전히 달라질 수 있는 혐오 발언, 허위 정보 또는 민감한 이미지의 경우 사람 검토자가 개입합니다.
• 자율주행 차량. 차량이 스스로 안전하게 주행하기 어려운 상황에 직면하면 안전 요원이나 원격 제어사가 개입합니다.
• 금융 서비스. 모델이 스스로 판단하기에 신뢰도가 충분하지 않은 경우, 분석가가 대출 승인, 사기 경고 또는 자금 세탁 방지 사례를 검토합니다.
• 고객 센터. AI 챗봇이 고객 문제를 해결할 수 없거나 대화가 특히 민감하거나 복잡해질 때 상담원이 개입합니다.
• 생성형 AI 애플리케이션. 편집자는 AI가 생성한 콘텐츠를 게시 전에 검토하고, 검토자는 결과물을 평가하여 향후 답변을 개선하는 데 기여합니다. 이러한 시스템의 작동 방식에 대한 자세한 내용은 생성형 AI를 참조하세요.
• AI 에이전트 및 도구 사용. 이메일 전송, 레코드 업데이트, 코드 실행 등의 작업을 수행할 수 있는 AI 에이전트의 경우, 실제로 작업이 실행되기 전에 사람이 영향력이 큰 작업을 승인하는 경우가 많습니다.
• 문서 처리. 모델의 신뢰도 점수가 정의된 임계값 미만으로 떨어지면 전문가가 계약서, 청구서 또는 인보이스에서 추출된 데이터를 검증합니다. 이 사용 사례에 대한 자세한 내용은 지능형 문서 처리를 참조하세요.

HITL이 만능은 아닙니다: 모든 팀이 알아야 할 한계점

HITL은 AI 시스템을 더 정확하고 책임감 있으며 신뢰할 수 있게 만드는 가장 효과적인 방법 중 하나이지만, 마법 같은 예방책은 아닙니다. 사람의 개입은 시스템이 신중하게 설계되었을 때만 도움이 됩니다. 그렇지 않으면 HITL은 병목 현상, 일관성 없는 결정 또는 실질적인 통제력 없는 감시의 환상만을 만들어낼 수 있습니다.

지연 시간 및 비용: 모든 검토 단계는 마찰을 초래합니다

사람이 검토하는 단계가 추가될 때마다 워크플로에 시간과 비용이 더 많이 소요됩니다. 대용량 시스템에서는 너무 많은 결정을 사람에게 보내면 비용이 빠르게 증가하고 시간에 민감한 프로세스가 느려질 수 있습니다.

그렇기 때문에 성숙한 HITL 시스템은 대개 신뢰도 임계값과 위험 점수 지정을 활용하여 실제로 사람의 판단이 필요한 결정만 에스컬레이션합니다.

경계심 저하: 검토자가 실제로 주의를 기울이지 않게 되는 이유

대부분 올바른 AI 결과물이 길게 이어지는 흐름을 검토하다 보면 사람의 주의력이 자연스럽게 흐려지기 시작합니다. 검토자는 결과를 너무 빨리 승인해 버리거나 신중하게 평가하는 것을 완전히 중단할 수 있는데, 이를 경계 감퇴(vigilance decrement) 현상이라고 합니다.

일부 시스템에서는 검토자가 AI 자체에 과도하게 의존하게 되어, 모델의 추천 사항에 적극적으로 의문을 제기하는 대신 점차 이를 신뢰하게 될 수 있습니다. 이런 일이 발생하면 기술적으로는 사람이 여전히 "루프 안에(in the loop)" 있더라도 사람의 감시는 의미가 퇴색됩니다.

이러한 수동적 모니터링 피로는 특히 반복적인 워크플로에서 놀라울 정도로 빠르게 시작될 수 있습니다. 팀에서는 보통 검토자를 교대 근무시키고, 배치 크기를 제한하며, 승인 패턴을 감사함으로써 이를 완화합니다.

사람의 판단이 항상 일관된 것은 아니며, 이는 중요한 문제입니다

사람들의 의견이 항상 일치하는 것은 아니며, 동일한 검토자라도 유사한 상황에서 서로 다른 결정을 내릴 수 있습니다. 명확한 가이드라인과 정기적인 보정(calibration)이 없다면 사람의 피드백은 일관성이 없어지거나 노이즈가 될 수 있습니다.

이러한 불일치가 중요한 이유는 사람의 피드백이 훈련 시그널의 일부가 되는 경우가 많기 때문입니다. 피드백 자체를 신뢰할 수 없다면 모델을 체계적으로 개선하기가 훨씬 더 어려워집니다.

누구를 "사람"으로 보아야 할까요?

많은 HITL 시스템에서 "루프 안의 사람"은 진정한 도메인 전문가라기보다는 계약업체 직원, 어노테이터 또는 주니어 검토자일 수 있습니다. 이는 중요한 질문을 던집니다. 실제로 결정을 내릴 자격이 있는 사람은 누구일까요?

강력한 HITL 설계는 단순히 사람이 참여하는지 여부뿐만 아니라, 주제 전문가나 경우에 따라 결과에 가장 큰 영향을 받는 사람들을 포함하여 적절한 사람이 참여하는지 여부를 고려합니다.

검토자가 AI를 이해할 수 없다면 감시는 형식적인 것에 불과해집니다

의미 있는 감시는 검토자가 모델이 무엇을 왜 생성했는지 실제로 평가할 수 있을 때만 작동합니다. 시스템이 너무 불투명하거나 복잡하거나 실시간으로 평가하기에 너무 빠르면 사람의 승인은 요식 행위에 불과하게 될 수 있습니다.

그렇기 때문에 설명 가능성, 투명성, 명확한 에스컬레이션 기준은 선택적인 추가 기능이 아니라 효과적인 HITL 시스템의 핵심 요소입니다.

사람의 피드백이 틀릴 수도 있습니다

사람은 편향을 가질 수 있고, 실수를 하며, 때로는 시스템을 악용하려고 시도하기도 합니다. AI 모델은 어느 쪽이든 그 피드백으로부터 학습합니다. RLHF 및 기타 HITL 시스템에서 잘못된 피드백은 점차 모델의 정확도를 떨어뜨리고, 공정성을 저해하며, 조작하기 쉽게 만들 수 있습니다.

그렇기 때문에 강력한 HITL 프로그램에는 검토자 교육, 합의 확인 및 정기적인 감사가 포함됩니다. 사람의 감시는 피드백 자체가 신뢰할 수 있을 때만 효과가 있습니다.

언제 사람을 루프에서 제외해야 할까요?

HITL이 항상 정답은 아닙니다. 사람의 검토를 추가하는 것이 해결하는 문제보다 더 많은 문제를 야기하는 상황도 있습니다.

• 지연 시간에 민감한 시스템. 고주파 매매, 자율주행 제어 루프, 실시간 사기 점수 지정 시스템은 모든 결정마다 사람의 검토를 위해 멈출 수 없는 경우가 많습니다.
• 저위험, 대용량 작업. 개별 실수의 비용은 낮고 검토 비용은 높을 때는 정기적인 감사와 함께 완전 자동화를 도입하는 것이 더 실용적인 경우가 많습니다.
• 모델이 검토자보다 성능이 뛰어난 작업. 범위가 좁고 잘 정의된 작업에서는 모델이 사람 검토자보다 일관되게 더 나은 성능을 보일 수 있습니다. 이러한 경우 사람을 추가하면 실수를 잡아내는 대신 일관성 없는 결과를 초래할 수 있습니다.
• 검토 불가능한 AI 추론. 시스템이 너무 복잡하거나 너무 빠르게 작동하여 사람이 결과물을 현실적으로 평가할 수 없는 경우, HITL은 의미 있는 감시가 아니라 책임 회피를 위한 형식적인 절차로 전락할 위험이 있습니다.

핵심은 모든 곳에 감시를 기본값으로 설정하거나 모델을 완전히 신뢰하는 것이 아니라, 위험성, 결정의 양, 사람 판단의 실제 가치에 맞게 사람의 개입을 조율하는 것입니다.

위험성 증가: AI 에이전트 및 LLM을 위한 HITL

AI 시스템이 콘텐츠 생성을 넘어 사용자를 대신해 행동을 취하기 시작하면 HITL은 훨씬 더 중요해집니다.

챗봇이 이메일 초안을 제안하는 것과, AI 에이전트가 실제로 이메일을 보내고 CRM 레코드를 업데이트하거나 다운스트림 워크플로를 트리거하는 것은 완전히 다른 이야기입니다. AI 시스템이 비즈니스 워크플로 내에서 실제 조치를 취할 수 있게 되면 위험성은 훨씬 더 커집니다.

그렇기 때문에 많은 AI 에이전트는 위험성이 높은 작업을 수행하기 전에 일시 중지하고 먼저 사람의 승인을 요청하도록 설계되었습니다. 예를 들어, 에이전트가 고객 이메일을 작성하거나, 데이터베이스 업데이트를 권장하거나, 구매 요청을 준비할 수 있지만, 실제 조치를 취하기 전에 승인을 기다립니다.

위험성이 낮은 작업은 매번 승인을 요구하는 대신 시스템이 나중에 요약을 보여주는 방식으로 자동 실행되는 경우가 많습니다.

HITL은 더 광범위하게 LLM 기반 애플리케이션 전반에서 중요한 역할을 합니다. 팀은 게시 전에 생성된 콘텐츠를 검토하거나, 미세 조정(fine-tuning)을 위해 모델 응답의 순위를 매기거나 평가할 수 있으며, 모델이 스스로 응답하기에 신뢰도가 충분하지 않은 경우 민감한 대화를 상담원에게 라우팅할 수 있습니다.

AI 에이전트가 데모에서 실제 프로덕션 환경으로 이동함에 따라, 명확한 에스컬레이션 경로와 사람의 감시는 엔터프라이즈 AI의 기본 요구 사항이 되고 있습니다.

Databricks가 HITL을 프로덕션에 적용하는 방법

HITL을 프로덕션에 적용하려면 단순히 검토 대기열이나 승인 버튼을 추가하는 것 이상의 노력이 필요합니다. 팀에는 단절된 워크플로나 새로운 데이터 사일로를 만들지 않고도 대규모로 사람의 피드백을 수집하고, 결정을 적절한 사람에게 라우팅하며, 모델 동작을 추적하고, 민감한 데이터를 거버넌스할 수 있는 방법이 필요합니다.

Databricks는 ALHF(Agent Learning from Human Feedback)가 포함된 Agent Bricks를 통해 이를 지원합니다. ALHF는 단순한 좋아요/싫어요 평가에 의존하는 대신, 도메인 전문가로부터 더 풍부한 자연어 피드백을 수집하고 이를 사용하여 향후 상호 작용에서 에이전트가 작동하는 방식을 개선합니다.

전문가 피드백을 시스템 개선으로 전환

사람의 피드백은 단일 응답을 수정하는 것 이상의 역할을 할 수 있습니다. Agent Bricks를 사용하면 팀은 피드백을 활용하여 다음을 포함한 더 넓은 에이전트 시스템을 개선할 수 있습니다.

• 검색 전략
• 프롬프트 로직
• 도구 선택
• 에이전트가 벡터 데이터베이스에서 정보를 검색하고 사용하는 방법

Agent Bricks Knowledge Assistant에 대한 사례 연구에 따르면, 단 32개의 사람 피드백을 사용하여 Q&A 에이전트가 전문가의 지침을 따르는 능력이 약 12%에서 80%로 향상되었습니다.

모든 상호 작용을 거버넌스하고 추적 가능하게 만들기

Databricks는 모든 상호작용을 거버넌스가 적용되고 추적 가능한 기록으로 취급합니다. 엔드투엔드(End-to-end) 추적은 답변이 어떻게 생성되었는지 캡처하며, Unity Catalog는 민감한 데이터와 에이전트 동작을 관리하는 데 필요한 거버넌스 레이어를 제공합니다.

이를 통해 팀은 다음과 같은 사항에 대해 중앙 집중식 가시성을 확보할 수 있습니다.

• 액세스 제어
• 소스 테이블부터 에이전트 도구 호출을 거쳐 최종 출력에 이르는 열(column) 수준 계보(lineage)
• 규제 조사를 지원하는 감사 로그
• 데이터의 출처
• 모델의 작동 방식
• 누가 무엇에 액세스할 수 있는지

프로덕션 워크플로우에 HITL 구축하기

가시성이 없으면 팀은 사람의 피드백이 실제로 시스템을 개선하고 있는지 알 수 없습니다. 감독을 단절된 수동 프로세스로 취급하는 대신, Databricks는 HITL을 시스템 자체의 일부로 만들 수 있도록 지원하여 조직이 모델을 개선하고, 규정 준수를 유지하며, 프로덕션 환경의 AI 시스템을 신뢰할 수 있도록 합니다.

자주 묻는 질문

What is the difference between human in the loop and human on the loop?

Human in the loop (HITL)은 AI가 조치를 취하기 전에 일시 중지하고 사람이 결정을 검토하거나 승인할 때까지 기다리는 것을 의미합니다. Human on the loop (HOTL)은 사람이 시스템을 모니터링하고 문제가 있어 보일 때만 개입하는 동안 AI가 스스로 작동하는 것을 의미합니다.

요약하자면, HITL은 더 엄격한 제어를 제공합니다. HOTL은 확장성을 위해 설계되었습니다.

What is an example of human in the loop?

진단을 확정하기 전에 AI 시스템의 종양 감지 결과를 검토하는 방사선 전문의가 전형적인 HITL의 예입니다.

엔터프라이즈 AI에서 또 다른 흔한 예는 AI 에이전트가 외부 이메일을 보내거나, 프로덕션 기록을 업데이트하거나, 워크플로우를 트리거하기 전에 일시 중지하여 사람이 먼저 해당 조치를 승인할 수 있도록 하는 것입니다.

Is human in the loop the same as RLHF?

아닙니다. HITL이 더 큰 개념입니다. 이는 사람이 AI의 행동 방식을 형성하는 데 도움을 주는 시스템을 설명합니다.

Reinforcement learning from human feedback (RLHF)는 이 광범위한 범주 내의 한 가지 구체적인 기술입니다. RLHF에서는 모델을 미세 조정(fine-tuning)하는 데 도움이 되도록 훈련 중에 사람들이 모델 응답의 순위를 매기거나 평가합니다.

모든 RLHF 시스템은 HITL의 한 형태이지만, HITL에는 데이터 레이블링, 출력 검토, 에이전트 조치 승인 등도 포함됩니다.

When should human in the loop be used?

HITL은 결정의 위험성이 높거나, 실수가 실제 심각한 결과를 초래하거나, AI 시스템이 학습되지 않은 상황에 직면했을 때 가장 유용합니다.

조직에 문서화된 사람의 감독이 필요한 규제 산업에서도 중요합니다.

하지만 HITL이 항상 적합한 것은 아닙니다. 빠르게 진행되거나 위험성이 낮거나 처리량이 극도로 많은 작업의 경우, 완전히 자동화된 시스템이 더 합리적일 수 있습니다.

How does human in the loop apply to AI agents?

AI 에이전트는 메시지 전송, 데이터베이스 업데이트, 워크플로우 자동 트리거 등 비즈니스 시스템 내에서 실제 조치를 취할 수 있기 때문에 중요성이 더 높습니다.

그렇기 때문에 많은 에이전트가 영향력이 큰 조치를 취하기 전에 일시 중지하고 먼저 사람의 승인을 요청하도록 설계됩니다.

AI 에이전트가 데모에서 실제 프로덕션 환경으로 이동함에 따라, 명확한 에스컬레이션 경로와 의미 있는 감독이 빠르게 표준 관행으로 자리 잡고 있습니다. Databricks Agent Bricks에는 조직이 AI 에이전트 및 애플리케이션을 위한 확장 가능한 피드백 루프를 구축할 수 있도록 지원하는 Agent Learning from Human Feedback (ALHF)가 포함되어 있습니다.

Databricks에서 거버넌스가 적용되고 인간과 정렬된 AI 시작하기

HITL은 시스템이 데모에서 실제 프로덕션 환경으로 이동함에 따라 팀이 AI의 정확성, 신뢰성 및 책임성을 유지할 수 있도록 지원합니다. 이는 사람의 피드백, 거버넌스, 평가가 서로 단절된 도구와 워크플로우가 아닌 동일한 플랫폼 내에 모두 존재할 때 가장 효과적입니다.

Agent Bricks가 사람의 피드백과 지속적인 평가를 사용하여 엔터프라이즈 데이터에서 고품질 AI 에이전트를 구축하는 방법을 알아보세요.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)