에이전트 기반 소프트웨어 개발이 데이터베이스를 어떻게 바꿀 것인가

이전 블로그 게시물에서 저희는 스토리지와 컴퓨팅을 근본적으로 분리하는 3세대 데이터베이스 아키텍처인 Lakebase를 소개했습니다. 이 블로그 게시물에서는 이 전환의 중요한 결과, 즉 AI 에이전트가 소프트웨어 개발 수명 주기를 어떻게 변화시키고 있으며 AI 에이전트가 실제로 어떤 종류의 데이터베이스를 필요로 하는지에 대해 살펴봅니다.

소프트웨어 개발 수명 주기는 혁신적인 변화를 겪고 있습니다. LLM은 요구 사항을 분석하고, 코드를 작성하고, 테스트를 실행하고, 서비스를 배포하고, 애플리케이션을 반복적으로 개선할 수 있는 차세대 에이전트 프레임워크를 가능하게 했습니다. 그 결과, 애플리케이션 구축 및 배포의 한계 비용이 급격히 하락하고 있습니다.

에이전트 기반 소프트웨어 개발의 초기 단계에 있지만, Databricks 내부와 고객 기반 모두에서 실험 속도가 빨라지고 구축되는 애플리케이션의 양이 폭발적으로 증가하고 있음을 일관되게 관찰했습니다. 세상이 수작업 소프트웨어에서 에이전트 소프트웨어 개발로 전환함에 따라, 현대 데이터베이스 시스템의 요구 사항을 공동으로 재정의할 세 가지 새로운 트렌드를 확인했습니다.

1. 소프트웨어 개발은 기존의 느리고 선형적인 프로세스에서 빠른 진화적 프로세스로 전환될 것입니다.
2. 소프트웨어의 전반적인 가치는 증가하겠지만, 개별 애플리케이션의 가치는 소프트웨어 개발의 한계 비용이 감소함에 따라 하락할 것입니다. 이는 최소한의 한계 비용으로 소프트웨어 개발을 지원할 수 있는 인프라가 필요하다는 것을 의미합니다. 중요한 것은, 이러한 작고 일시적인 데이터베이스 중 어느 것이든 많은 트래픽을 처리하는 프로덕션 시스템이 될 수 있다는 사실을 아키텍처가 고려해야 하며, 이는 원활하고 탄력적인 성장을 지원하는 능력을 기본적인 아키텍처 요구 사항으로 만듭니다.
3. 오픈 생태계는 단순한 선호가 아닌 엄격한 운영 요구 사항이 될 것입니다.

다음은 이러한 각 트렌드와 Lakebase가 이를 지원하도록 어떻게 고유하게 설계되었는지에 대한 자세한 내용입니다.

빠른 진화적 소프트웨어 개발

소프트웨어 개발 수명 주기의 상당 부분이 역사적으로 매우 비용이 많이 들었기 때문에(코드 작성, 테스트, 운영), 새로운 애플리케이션을 구축하고 운영하려면 상당한 엔지니어링 투자가 필요했습니다. 따라서 전통적인 소프트웨어 개발은 신중한 계획과 비교적 선형적인 프로세스에 최적화되었습니다.

에이전트는 이러한 역학 관계를 변화시킵니다. 이제 애플리케이션은 몇 분 안에 생성, 수정 및 재배포될 수 있습니다. 신중하게 설계된 단일 시스템을 구축하는 대신, 개발자와 에이전트는 가능한 구현 공간을 점점 더 많이 탐색합니다. 개발은 진화 알고리즘과 유사해지기 시작합니다.

1. 애플리케이션의 초기 버전을 생성합니다.
2. 다른 스키마, 프롬프트 또는 논리를 사용하여 변형을 빠르게 생성합니다.
3. 결과를 평가합니다.
4. 가장 성공적인 버전에서 개발을 계속합니다.

복잡성에 따라 각 진화적 반복은 몇 초에서 몇 시간까지 지속될 수 있으며, 이는 LLM 이전 개발 주기보다 100배에서 1000배 더 빠릅니다. 실제로 Lakebase 프로덕션 환경의 텔레메트리는 평균적으로 각 데이터베이스 프로젝트가 ~10개의 브랜치를 가지고 있으며, 중첩된 브랜치를 가진 일부 데이터베이스는 500회 이상의 반복 깊이에 도달한다는 것을 보여줍니다(즉, 진화에서 500회 반복).

Git과 같은 코드 인프라는 이미 이 워크플로우를 매우 잘 지원합니다. 개발자 또는 에이전트는 즉시 git checkout -b 를 사용하여 코드베이스의 브랜치를 만들 수 있습니다. 그러나 레거시 데이터베이스 인프라는 데이터베이스 상태에서 신속하고 비용 효율적인 방식으로 분기할 방법을 제공하지 않습니다.

Lakebase는 이러한 에이전트 기반 진화 워크플로우를 네이티브로 지원하도록 설계되었습니다. 에이전트는 거의 제로 비용으로 프로덕션 또는 테스트 데이터베이스의 브랜치를 즉시 생성할 수 있습니다. Lakebase는 스토리지 계층에서 O(1) 메타데이터 복사 후 쓰기 분기 메커니즘을 사용하므로, 비용이 많이 드는 물리적 데이터 복사가 필요하지 않습니다. 데이터와 함께 데이터를 분기하고 실험 기간 동안 데이터베이스 컴퓨팅에 대해서만 비용을 지불하면 됩니다.

비용 민감성

앞서 언급했듯이, 소프트웨어의 전반적인 가치는 증가하겠지만, 소프트웨어 개발의 한계 비용이 감소함에 따라 개별 애플리케이션의 가치는 하락할 것입니다. 많은 에이전트 생성 서비스는 소규모 내부 도구, 프로토타입 또는 제한적인 워크플로우입니다. 이들은 가끔 실행되거나 매우 버스티한 이벤트 기반 워크로드를 처리할 수 있습니다.

이러한 환경에서는 최소한의 한계/증분 비용으로 새로운 소프트웨어 개발을 지원할 수 있는 인프라가 필요합니다. 월별 수백 달러의 기본 가격 하한선을 부과하는 데이터베이스는 애플리케이션 자체가 제한적이거나 실험적인 가치를 제공하는 경우 정당화할 수 없습니다. 저희 데이터에 따르면 이러한 에이전트 애플리케이션의 약 절반에서 데이터베이스 컴퓨팅 수명은 10초 미만입니다.

전통적인 데이터베이스는 고정된 프로비저닝 및 운영 오버헤드를 가진 상시 실행 인프라 구성 요소로 설계되었습니다. 이 모델은 크고 안정적인 애플리케이션에는 적합하지만, 애플리케이션이 많고 일시적이며 단명하는 경우에는 경제적으로 실패합니다.

Lakebase의 서버리스, 탄력적인 특성은 이러한 비용 요구 사항을 직접적으로 해결합니다. 컴퓨팅 인스턴스를 스토리지 계층에서 완전히 분리함으로써 Lakebase는 초당 서브 단위로 부하에 따라 데이터베이스 컴퓨팅을 자동으로 확장할 수 있습니다. 중요한 것은, 사용되지 않을 때는 데이터베이스를 제로로 축소하여 비용 하한선을 완전히 제거하고 거의 제로에 가까운 유휴 비용을 달성한다는 것입니다.

작은 규모에서 큰 규모로 성장

에이전트 주도 개발의 특성은 테스트, 프로토타이핑 및 제한적인 워크플로우를 위해 수많은 작고 일시적인 데이터베이스가 지속적으로 생성된다는 것을 의미합니다. 중요한 아키텍처 과제는 개발자와 에이전트 자체가 이러한 신생 애플리케이션 중 어떤 것이 갑자기 성공하여 대규모 프로덕션 규모를 요구하게 될지 예측할 수 없다는 것입니다.

따라서 데이터베이스 아키텍처는 작은 저비용 인스턴스에서 많은 트래픽을 처리하는 완전한 규모의 프로덕션 시스템으로의 원활하고 탄력적인 성장을 본질적으로 지원해야 합니다. 이 전환은 사용자로부터 수동 재플랫폼, 프로비저닝 또는 복잡한 마이그레이션 단계 없이 발생해야 합니다. 아키텍처 자체만으로도 진화를 처리해야 하며, 에이전트 탐색이 기본 개발 모델인 세상에서 거의 제로에서 엄청난 용량으로 즉시 확장할 수 있는 능력을 기본적인 요구 사항으로 만들어야 합니다.

오픈 소스 생태계

에이전트 시스템은 방대한 공개적으로 사용 가능한 소스 코드 및 기술 문서에 대해 학습된 LLM에서 기능을 파생합니다. 이러한 학습 편향은 오픈 소스 생태계, API 및 오류 의미론에 대한 깊고 운영적인 친숙함을 제공합니다.

Postgres와 같은 데이터베이스는 오픈 소스 세계에 깊이 통합되어 있습니다. 인터페이스, 동작 및 오류 코드는 최신 모델이 학습하는 학습 데이터 전체에 나타납니다. 결과적으로 에이전트는 이를 위한 쿼리, 스키마 및 통합을 훨씬 더 안정적으로 생성할 수 있습니다. 독점 데이터베이스는 에이전트가 이를 효과적으로 운영하기 위한 충분한 컨텍스트가 부족하기 때문에 본질적인 단점을 안고 있습니다.

에이전트 주도 개발의 경우, 개방성은 더 이상 철학적 선호가 아니라 안정적인 자동화를 위한 실질적인 요구 사항입니다. 그러나 이러한 요구 사항은 쿼리 인터페이스를 넘어서야 하며, 스토리지 계층 자체에 도달해야 합니다. 2세대 클라우드 데이터베이스는 오픈 소스 실행 엔진을 사용할 수 있지만, 여전히 데이터를 독점적인 내부 스토리지 형식으로 잠급니다.

Lakebase는 Postgres를 기반으로 구축되었지만, 개방성을 한 단계 더 발전시킵니다. 데이터베이스 페이지 형식으로 데이터를 클라우드 객체 스토리지(데이터 레이크)에 직접 저장합니다. 이를 통해 에이전트, 외부 분석 엔진 및 새로운 도구가 단일 독점 컴퓨팅 엔진에 의해 병목 현상을 겪지 않고도 데이터에 네이티브로 상호 작용할 수 있습니다.

에이전트 시대의 데이터베이스

이 전환은 가상적인 것이 아니라 이미 진행 중입니다. Databricks의 Lakebase 서비스에서는 AI 에이전트가 이제 인간 사용자보다 약 4배 더 많은 데이터베이스를 생성합니다.

이 데이터 포인트는 위에서 설명한 추세를 단일 차트로 보여줍니다. 에이전트는 데이터베이스 환경을 만드는 데 매우 능숙합니다. 실험을 위해 인스턴스를 생성하고, 테스트를 위해 분기하고, 완료되면 폐기합니다. 이러한 워크로드를 지원하는 인프라는 경제적으로나 운영적으로 이 패턴을 지원해야 합니다.

비용 효율성, 민첩성, 개방성과 같은 속성은 항상 바람직했습니다. 그러나 에이전트 기반 소프트웨어 개발의 부상은 이러한 속성을 있으면 좋은 것에서 필수 요구 사항으로 바꾸었습니다. 높은 비용 최저치를 부과하거나, 브랜칭 기본 기능이 부족하거나, 독점 형식으로 데이터를 잠그는 데이터베이스는 소프트웨어 구축 방식과 점점 더 보조를 맞추지 못하게 될 것입니다.

이것이 바로 Lakebase의 설계 공간입니다. AI 기반 개발이 만들어내는 특정 경제적, 기술적 현실을 위해 구축되었습니다. 즉, 제로 비용으로 진화적 브랜칭, 진정한 스케일-투-제로 탄력성, 레이크 상의 개방형 Postgres 저장소, 자체 관리 운영입니다. 에이전트가 소프트웨어 구축 및 진화에 점점 더 많이 참여함에 따라, 이 새로운 세계에 가장 적합한 데이터베이스는 처음부터 실험, 개방성 및 탄력성을 위해 설계된 데이터베이스가 될 것입니다.

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)