528개의 에이전트 구축 데이터 파이프라인을 벤치마크한 결과, 선언형 작성이 절차적 코드보다 더 비용 효율적이고 빠르며 간결한 것으로 나타났습니다.
작성자: Lisa Cao , Sudhanva Huruli
AI 에이전트가 프로덕션 데이터 파이프라인 작성에서 차지하는 비중이 점점 커지고 있습니다(Databricks의 SDP 파이프라인의 70% 이상이 현재 에이전트에 의해 생성됨). 이로 인해 두 가지 측면에서 중요성이 커졌습니다. (1) 에이전트의 모든 시도에는 컴퓨팅 자원과 시간이 소모되므로 반복 작업이 저렴하고 효율적으로 실행되어야 하며, (2) 코드 리뷰가 중요한 관문이 되므로 코드가 간결하고 읽기 쉬우며 정확해야 합니다. Apache Spark®는 파이프라인 작성을 위해 절차적(procedural) 모델과 선언적(declarative) 모델이라는 두 가지 프로그래밍 모델을 제공하며, 이들은 작성하는 내용, Spark가 실행 전에 검증할 수 있는 내용, 그리고 실수가 발생했을 때의 비용 측면에서 차이가 있습니다. 동일한 작업을 수행하는 동일한 에이전트를 통해 두 모델을 벤치마크한 결과, 선언적 모델이 더 안전하고 비용 효율적이며 간결한 것으로 나타났습니다.
절차적 파이프라인은 각 데이터셋을 단계별로 구축하는 방법을 Spark에 지시하는 코드입니다. 작동 여부를 확인하는 유일한 방법은 직접 실행해보는 것뿐입니다.
선언적 파이프라인은 원하는 데이터셋을 설명하고 구축 방법은 Spark에 맡기는 방식입니다. 이는 LLM에 프롬프트를 입력하면 LLM이 (올바른 스킬과 도구를 사용하여) 작업을 수행하는 방법을 알아서 처리하는 것과 비슷합니다. 간단한 오타로 인해 어떤 오류가 발생하는지 코드를 통해 보면 가장 잘 이해할 수 있습니다.
| 절차적 (Procedural) | 선언적 (Declarative) |
bronze = spark.read.parquet(RAW)
bronze.write.saveAsTable("bronze")
silver =
bronze.withColumnRenamed("revenue",
"revenues") # typo
silver.write.saveAsTable("silver")
gold =
spark.read.table("silver").groupBy("revenue")
.sum("revenue")
gold.write.saveAsTable("gold")
# runtime error
| @dp.materialized_view(name="gold")
def gold():
return
spark.read.table("silver").groupBy("revenue")
.sum("revenue") |
버그에는 두 가지 유형이 있습니다. 파이프라인을 읽는 것만으로 잡을 수 있는 구조적 버그(해결되지 않은 열 참조, 아직 존재하지 않는 테이블, 허용되지 않는 설정 변경 등)와, 실행이 완료되고 잘못된 결과가 나온 후에야 출력에서 드러나는 조용한(silent) 버그가 있습니다.
선언적 파이프라인은 Rust와 같은 정적 타입 언어에서 컴파일 시점에 데이터 흐름을 검증할 수 있는 것처럼, 실행 전에 구조적 버그가 있는지 확인할 수 있습니다. 선언적 파이프라인은 실행 코드가 아니라 명세(description)이므로 Spark는 이를 읽고 다음과 같은 세 가지 유형의 질문에 답할 수 있습니다.
절차적 PySpark에서 AI 코딩 에이전트는 유효하지 않은 행 필터링 및 테이블 조인과 같은 데이터 연산을 직접 작성합니다. 또한 파이프라인의 단계를 올바른 순서로 실행하고 결과를 저장하는 코드도 작성합니다. 이 지원 코드는 파이프라인 전반에 걸쳐 동일한 상용구 코드를 반복합니다.
선언적 파이프라인에서는 AI 에이전트가 각 데이터셋과 이를 생성하는 쿼리를 정의합니다. Spark가 실행 순서를 처리하고 결과를 저장합니다. Spark가 상용구 코드를 처리하므로 에이전트는 더 적은 코드를 작성하고, 팀은 검토하고 유지 관리해야 할 코드가 줄어듭니다.
저희는 22개의 데이터 엔지니어링 작업을 테스트했습니다. 각 작업은 실제 티켓과 유사하게 문제를 설명하고 파이프라인이 생성해야 하는 테이블, 열 이름, 데이터 타입을 지정했습니다. 출력이 해당 요구사항을 충족하기만 한다면 에이전트는 어떤 구현 방식이든 선택할 수 있었습니다.
각 작업마다 프로덕션 데이터에서 볼 수 있는 다양한 노이즈 값이 포함된 12개의 서로 다른 입력 데이터셋을 생성했습니다. 에이전트는 절차적 PySpark를 사용하여 각 데이터셋에 대한 새 파이프라인을 작성하고, Spark Declarative Pipelines를 사용하여 또 다른 파이프라인을 작성했습니다. 그 결과 접근 방식당 264개, 총 528개의 빌드가 생성되었습니다(22개 작업 × 12개 데이터셋 × 2가지 접근 방식). 모든 빌드에는 Opus 4.8이 사용되었습니다.
각 파이프라인을 실행하고 필수 테이블과 비교하여 출력을 확인했습니다. 자동 평가 도구(grader)는 어떤 접근 방식으로 결과가 생성되었는지 알지 못했습니다. 선언적 파이프라인은 먼저 Spark의 드라이런(dry run)을 거쳤습니다. 빌드가 실패하면 에이전트는 고정된 한도 내에서 코드를 수정하고 다시 시도할 수 있었습니다.
공용 리포지토리에서 설정, 프롬프트, 데이터셋, 평가 도구, 모든 수치 뒤에 숨겨진 결과 등 전체 과정을 직접 다시 실행해 볼 수 있습니다.