모든 검색을 보람차게 만들기: Ibotta가 Databricks를 활용하여 제안 검색을 어떻게 변화시켰는지

Ibotta에서는 모든 구매를 보람있게 만드는 것이 우리의 임무입니다. 우리의 사용자들(우리가 Savers라고 부르는)에게 직접 소비자(D2C) 앱, 브라우저 확장 프로그램, 웹사이트를 통해 관련된 제안을 찾고 활성화하는 것이 이 임무의 중요한 부분입니다. 우리의 D2C 플랫폼 은 수백만 명의 쇼퍼들이 식료품 거래를 해제하거나, 보너스 보상을 얻거나, 다음 여행을 계획하는 등 일상적인 구매에서 현금을 돌려받을 수 있도록 돕습니다. Ibotta Performance Network (IPN)을 통해, 우리는 Walmart와 Dollar General을 포함한 소매업계의 가장 큰 이름들을 위한 화이트 라벨 현금반환 프로그램을 제공하며, 2,600개 이상의 브랜드가 파트너 생태계 전반에 걸쳐 디지털 제안을 통해 2억 명 이상의 소비자에게 접근할 수 있도록 돕습니다.

뒷 배경에서, 우리의 데이터 및 머신 러닝 팀은 사기 탐지, 제안 추천 엔진, 검색 관련성 등의 중요한 경험을 제공하여 Saver 여정을 개인화하고 안전하게 만듭니다. 우리가 계속 확장함에 따라, 모든 상호작용을 지원하는 데이터 기반의 지능형 시스템이 필요합니다.

D2C와 IPN 전반에 걸쳐 검색은 참여에 중추적인 역할을 하며, 우리의 비즈니스 규모, 변화하는 제안 내용, 그리고 변화하는 Saver 기대치에 맞춰 발전해야 합니다.

이 포스트에서는 우리가 D2C 검색 경험을 어떻게 크게 개선했는지, 야심찬 해커톤 프로젝트에서 수백만 명의 Saver에게 혜택을 주는 견고한 생산 기능으로 어떻게 변화했는지 설명하겠습니다.

우리는 우리의 검색이 우리의 절약자들을 더 잘 따라잡을 수 있다고 믿었습니다

사용자 검색 행동은 단순한 키워드에서 자연어, 철자 오류, 대화식 구문을 포함하는 방식으로 발전했습니다. 현대의 검색 시스템은 사용자가 입력하는 내용과 그들이 실제로 의미하는 것 사이의 차이를 해석하고, 쿼리 용어가 내용과 정확히 일치하지 않아도 관련성 있는 결과를 제공해야 합니다.

Ibotta에서는 원래 우리가 개발한 검색 시스템이 때때로 저희 Savers의 변화하는 기대에 맞추는 데 어려움을 겪었고, 이를 개선할 기회를 인식했습니다.

우리가 보았던 기회의 주요 영역은 다음과 같습니다:

• 의미적 관련성 향상: 정확한 키워드 일치보다는 Saver의 의도를 이해하고 그들을 적절한 제안과 연결하는 데 초점을 맞춥니다.
• 이해력 향상: 사용자 쿼리의 전체 뉘앙스와 맥락을 해석하여 더욱 포괄적이고 실제로 관련 있는 결과를 제공합니다.
• 유연성 증가: 새로운 제안 유형을 더 빠르게 통합하고 변화하는 Saver 검색 패턴에 적응하여 우리의 발견 경험을 보람차게 유지합니다.
• 검색 가능성 향상: 우리는 특정 유형의 제안이나 주요 프로모션들이 관련 있는 다양한 검색 쿼리에서 일관되게 보이도록 보장하는 더욱 강력한 도구를 원했습니다.
• 반복과 최적화의 가속화: 실시간 조정과 성능 튜닝을 통해 검색 경험을 더 빠르고 효과적으로 개선할 수 있습니다.

우리는 시스템이 변화하는 제안 내용, 검색 행동, 그리고 발전하는 Saver 기대치에 더 잘 맞춰 나갈 수 있다고 믿었습니다. 우리는 우리의 Savers와 브랜드 파트너들 모두에게 가치를 높일 기회를 보았습니다.

해커톤에서 생산까지: Databricks와 함께 검색을 재상상하기

우리의 기존 검색 시스템의 한계를 해결하기 위해서는 집중적인 노력이 필요했습니다. 이 프로젝트는 내부 해커톤 동안 데이터, 엔지니어링, 마케팅 분석, 머신 러닝 팀의 멤버들이 모여 Databricks Vector Search를 사용하여 현대적인 대안 검색 시스템을 구축하는 아이디어를 제시하면서 크게 추진되었습니다.

단지 세 일 만에, 우리 팀은 의미론적으로 관련된 검색 결과를 제공하는 작동 증명 개념을 개발했습니다. 이렇게 해서 우리는 이를 달성했습니다:

1. 우리의 Databricks 카탈로그에서 여러 소스의 제안 내용을 수집
2. Python SDK로 벡터 검색 엔드포인트와 인덱스를 생성했습니다
3. 네 가지 다른 모델(BGE large, GTE large, GTE small, 다국어 오픈 소스 모델, 스페인어 특화 모델)과 함께 토큰 당 지불 임베딩 엔드포인트를 사용
4. 라이브 데모를 위해 우리의 웹사이트에 모든 것을 연결했습니다

해커톤 프로젝트는 첫 번째로 선정되었고, 프로토타입을 생산 시스템으로 전환하기 위한 강력한 내부 동의와 추진력을 생성했습니다. 몇 개월 동안, 그리고 Databricks 팀과의 긴밀한 협력을 통해, 우리는 우리의 프로토타입을 견고한 완전한 생산 검색 시스템으로 변형했습니다.

증명 개념에서 생산까지

해커톤 증명 개념을 생산 준비 시스템으로 옮기는 것은 신중한 반복과 테스트가 필요했습니다. 이 단계는 기술 통합과 성능 튜닝뿐만 아니라, 우리가 예상한 시스템 개선이 절약자들의 행동과 참여에 긍정적인 변화를 가져올지 평가하는 데도 중요했습니다. 검색의 핵심 역할과 내부 시스템 간의 깊은 통합을 고려하여, 우리는 원래의 검색 시스템을 호출하는 주요 내부 서비스를 수정하고, 그 호출을 Databricks Vector Search 엔드포인트로 지시하는 요청으로 대체하면서, 기존 시스템에 대한 견고하고 우아한 대체 방법을 구축하는 방식을 선택했습니다.

우리의 초기 작업은 대부분 이해에 초점을 맞추었습니다:

• 우리의 사용 사례에 대해 Vector Search 제품을 최대한 활용하는 방법
• 경험적 평가로 최고 성능 모델 선택
• 토큰당 사용료의 한계 테스트
• 인증 메커니즘
• 최적화된 임베딩 엔드포인트 를 사용하여 요율 제한을 피합니다
• 우리의 처리량 요구 사항을 처리하기 위해 제공된 모델 서빙 엔드포인트 로 이동

첫 달에, 우리는 우리의 절약자들 중 작은 비율로 테스트를 진행했는데, 우리가 기대했던 참여 결과를 얻지 못했습니다. 참여도가 감소했으며, 특히 우리의 가장 활발한 절약자들 사이에서 클릭 수, 잠금 해제 (절약자들이 제안에 관심을 보일 때), 활성화가 감소했습니다.

그러나, 벡터 검색 솔루션은 다음과 같은 중요한 이점을 제공했습니다:

• 더 빠른 응답 시간
• 더 간단한 멘탈 모델
• 데이터를 색인화하는 방식에 대한 더 큰 유연성
• 임계값을 조정하고 임베딩 텍스트를 변경하는 새로운 기능

시스템의 기술적 성능에 만족하면서, 우리는 그것의 더 큰 유연성을 검색 결과 품질을 반복적으로 개선하고 실망스러운 참여 결과를 극복하는 데 필요한 주요 장점으로 보았습니다.

의미론적 평가 프레임워크 구축

초기 테스트 결과에 따르면, 검색 반복에 대해 A/B 테스트에만 의존하는 것은 분명히 비효율적이고 비현실적이었습니다. 검색 품질에 영향을 미치는 변수의 수는 엄청나게 많았습니다 - 임베딩 모델, 텍스트 조합, 하이브리드 검색 설정, 근사 최근접 이웃(ANN) 임계값, 재순위 설정 옵션 등이 포함되었습니다.

이 복잡성을 탐색하고 우리의 진행을 가속화하기 위해, 우리는 견고한 평가 프레임워크를 구축하기로 결정했습니다. 이 프레임워크는 우리의 특정 비즈니스 요구에 맞게 맞춤화되어야 하며, 오프라인 성능 지표에서 실제 사용자 참여를 예측할 수 있어야 합니다.

우리의 프레임워크는 50개 이상의 온라인 및 오프라인 지표를 추적하는 합성 평가 환경을 중심으로 설계되었습니다. 오프라인에서는 평균 상호 순위(MRR)와 정밀도@k 와 같은 표준 정보 검색 지표를 모니터링하여 관련성을 측정했습니다. 중요한 것은, 이것이 제안 잠금과 클릭률과 같은 온라인 실제 세계 참여 신호와 함께 짝을 이루었다는 것입니다. 중요한 결정 사항은 LLM을 판사로 구현하는 것이었습니다. 이를 통해 우리는 데이터에 라벨을 붙이고 온라인 쿼리-결과 쌍과 오프라인 출력에 모두 품질 점수를 부여할 수 있었습니다. 이 접근법은 신뢰할 수 있는 지표를 기반으로 빠른 반복을 위해 중요하였으며, 미래의 모델 세부 조정을 위해 필요한 라벨이 붙은 데이터를 수집하는 데 중요하였습니다.

이 과정에서, 우리는 Databricks 데이터 인텔리전스 플랫폼의 여러 부분에 의존하였습니다.

• Mosaic AI Vector Search: 평가 테스트를 위한 고정밀, 의미론적으로 풍부한 검색 결과를 제공하는 데 사용됩니다.
• MLflow 패턴과 LLM-as-a-judge: 모델 출력을 평가하고 데이터 라벨링 프로세스를 구현하는 패턴을 제공했습니다.
• Model Serving Endpoints: 우리의 카탈로그에서 직접 모델을 효율적으로 배포합니다.
• AI Gateway: API를 통한 제3자 모델에 대한 접근을 보호하고 관리합니다.
• Unity Catalog: 평가 프레임워크 내에서 사용되는 모든 데이터셋의 조직, 관리, 거버넌스를 보장했습니다.

이 견고한 프레임워크는 우리의 반복 속도와 신뢰성을 크게 향상시켰습니다. 우리는 30회 이상의 명확한 반복을 수행하였고, 벡터 검색 솔루션에서 주요 변수 변경을 체계적으로 테스트하였습니다. 이에는 다음이 포함됩니다:

• 다른 임베딩 모델(기본, 오픈-가중치, API를 통한 제3자)
• 모델에 피드하는 다양한 텍스트 조합
• 다른 쿼리 모드 (ANN vs Hybrid)
• 하이브리드 텍스트 검색을 위한 다른 열 테스트
• 벡터 유사성에 대한 임계값 조정
• 다른 제안 유형에 대한 별도의 인덱스 실험

평가 프레임워크는 우리의 개발 과정을 변화시켜, 우리가 데이터 기반의 결정을 빠르게 내리고, 사용자에게 노출하기 전에 높은 확신으로 잠재적인 개선 사항을 검증할 수 있게 했습니다.

최고의 오프-더-셸프 모델을 찾는 검색

실망스러운 참여 결과를 보여준 초기의 광범위한 테스트 이후, 우리는 오프라인 평가 중에 유망하다고 판단된 특정 모델의 성능을 탐색하는 데 초점을 맞추었습니다. 우리는 AI Gateway를 통해 안전하게 접근할 수 있는 두 개의 제3자 임베딩 모델을 생산 테스트에 선택했습니다. 우리는 이러한 모델들로 몇 일 동안 진행되는 단기적인 반복 테스트를 생산에서 진행했습니다.

초기 결과에 만족하여, 우리는 우리의 선도적인 제3자 모델과 그것의 최적화된 구성을 기존 시스템과 비교하여 더 긴, 더 포괄적인 생산 테스트를 실행하기로 결정했습니다. 이 테스트는 혼합된 결과를 가져왔습니다. 우리는 참여 지표의 전반적인 개선을 관찰하고 이전에 보았던 부정적인 영향을 성공적으로 제거했지만, 이러한 이득은 소소했습니다 - 대부분 한 자리 수의 백분율 증가였습니다. 이런 점진적인 이점들은 우리의 기존 검색 경험을 완전히 대체하는 것을 완전히 정당화하기에는 충분하지 않았습니다.

더욱 곤란한 점은, 우리가 세부 분석에서 얻은 통찰력이었습니다: 특정 검색 쿼리의 성능이 크게 향상되었지만, 다른 쿼리는 우리의 기존 솔루션에 비해 더 나쁜 결과를 보였습니다. 이 불일치는 중요한 구조적 딜레마를 제시했습니다. 우리는 예측된 성능에 따라 쿼리를 라우팅하는 복잡한 트래픽 분할 시스템을 구현하는 불편한 선택을 하거나, 두 가지 다른 검색 경험을 유지하고 새로운, 복잡한 규칙 기반 라우팅 관리 계층을 도입하는 제한을 받아들이는 선택을 했습니다.

이는 중요한 분기점이었습니다. 우리는 계속 진행할 만큼의 약속을 보았지만, 우리의 자체 개발한 검색 시스템을 완전히 대체하기 위해서는 더욱 중요한 개선이 필요했습니다. 이로 인해 우리는 미세 조정을 시작하게 되었습니다.

세부 조정: 모델 행동 사용자 정의

이전에 탐색한 제3자 임베딩 모델들은 기술적인 약속과 약간의 참여도 향상을 보여주었지만, Ibotta에서 장기적인 해결책으로는 받아들일 수 없는 중요한 한계를 보여주었습니다. 이러한 한계에는 다음과 같은 것들이 포함됩니다:

1. 우리의 독점적인 제안 카탈로그에 임베딩 모델을 훈련시키는 능력의 부재
2. 비즈니스와 콘텐츠 변화와 함께 모델을 발전시키는 어려움
3. 외부 제공자로부터 장기적인 API 사용 가능성에 대한 불확실성
4. 새로운 외부 비즈니스 관계를 설립하고 관리할 필요성
5. 이러한 제공자들에게 네트워크 호출이 자체 호스팅 모델만큼 효율적이지 않았습니다

명확한 전진 방향은 Ibotta의 데이터와 저희 Savers의 필요성에 맞게 모델을 세밀하게 조정하는 것이었습니다. 이것은 저희가 사용자 정의 평가 프레임워크 내의 LLM-as-a-judge 프로세스를 통해 실제 사용자로부터 축적한 수백만 개의 레이블이 붙은 검색 상호작용 덕분에 가능했습니다. 이 고품질의 생산 데이터는 저희의 훈련용 금이 되었습니다.

그 후, 우리는 우리의 오프라인 평가 프레임워크를 광범위하게 활용하여 체계적인 미세 조정 과정에 착수했습니다.

핵심 요소는 다음과 같습니다:

• 인프라: 우리는 서버리스 환경에서 AI Runtime과 A10s를 사용하고, 고급 하이퍼파라미터 스위핑을 위해 Databricks ML Runtime을 사용했습니다.
• 모델 선택: 우리는 오프라인 평가에서 더 강력한 성능을 보여주고 훈련하기 더 효율적인 BGE 가족 모델을 GTE보다 선택했습니다.
• 데이터셋 엔지니어링: 우리는 여러 훈련 데이터셋을 구축했으며, 이 중에서는 합성 훈련 데이터를 생성하는 것도 포함되었고, 결국에는 다음을 선택했습니다:
  • 한 가지 긍정적인 결과 (실제 검색에서 검증된 좋은 일치)
  • 긍정적인 예에 대해 약 10개의 부정적인 예를 결합
    • 3-4개의 "하드 네거티브" (LLM 라벨링, 인간이 검증한 부적절한 매치)
    • “배치 내 음성” (관련 없는 검색 용어에서 결과를 샘플링)
• 하이퍼파라미터 최적화: 학습률, 배치 크기, 지속 시간, 음성 샘플링 전략과 같은 것들을 체계적으로 조사하여 최적의 구성을 찾았습니다.

프레임워크 내에서 여러 번의 반복과 평가 후, 우리의 최고 성능을 내는 세밀하게 조정된 모델은 합성 평가에서 우리의 최고의 제3자 기준을 20% 이긴 결과를 보여주었습니다. 이러한 강력한 오프라인 결과는 우리의 다음 생산 테스트를 가속화하는 데 필요한 확신을 제공했습니다.

결과를 가져오는 검색 - 그리고 수익

기술적 엄격성과 반복적인 과정이 성과를 거두었습니다. 우리는 Ibotta의 독특한 제안 카탈로그와 사용자 행동 패턴에 특별히 최적화된 검색 솔루션을 개발했으며, 이는 우리의 기대를 초과하는 결과를 제공하고 우리의 비즈니스와 함께 발전할 수 있는 유연성을 제공했습니다. 이런 강력한 결과를 바탕으로, 우리는 Databricks 벡터 검색을 우리의 생산 검색 시스템의 기반으로 이전을 가속화했습니다.

우리의 최종 생산 테스트에서, 우리 자신의 세부 조정된 임베딩 모델을 사용하여, 우리는 다음과 같은 개선 사항을 관찰했습니다:

• 검색에서 14.8% 더 많은 제안 잠금 해제.
  이는 사용자들이 검색 결과에서 제안을 선택하는 것을 측정하며, 결과의 품질과 관련성이 향상되었음을 나타냅니다. 더 많은 잠금 해제는 하류의 구속과 수익의 선행 지표입니다.
• 참여 사용자가 6% 증가했습니다.
  이는 사용자들이 더 많은 가치를 찾고 검색 경험 내에서 의미 있는 행동을 취함으로써 개선된 전환, 유지 및 평생 가치에 기여하고 있다는 것을 보여줍니다.
• 보너스에 대한 참여도 15% 증가.
  이것은 고가치, 브랜드 후원 콘텐츠의 개선된 표면화를 반영하며, 이는 저희 브랜드 및 소매 파트너들에게 더 나은 성과와 ROI를 직접적으로 가져다줍니다.
• 결과가 없는 검색이 72.6% 감소했습니다.
  이런 큰 감소는 더 적은 수의 불만족스러운 경험을 의미하며, 의미론적 검색 범위에서의 주요 개선을 의미합니다.
• 검색 결과가 없는 사용자가 60.9% 줄었습니다.
  이는 영향의 폭을 강조하며, 우리의 사용자 기반의 큰 부분이 이제 일관되게 결과를 찾고 있음을 보여주며, 전반적인 경험을 향상시킵니다.

사용자에게 보이는 이득을 넘어, 새 시스템은 성능에 대한 요구를 충족시켰습니다. 우리는 검색 시스템에 대한 지연 시간이 60% 감소했다는 것을 확인했습니다. 이는 벡터 검색 쿼리 성능과 세부 조정된 모델의 낮은 오버헤드에 기인합니다.

이 새로운 기반의 유연성을 활용하여, 우리는 Query Transformation (모호한 쿼리를 풍부하게 만드는 것)과 Multi-Search (일반적인 용어를 확장하는 것)와 같은 강력한 개선 사항을 구축했습니다. 매우 관련성 있는 핵심 모델, 개선된 시스템 성능, 그리고 지능적인 쿼리 개선의 결합은 검색 경험이 더 똑똑하고, 더 빠르고, 결국 더 보람차게 만들었습니다

쿼리 변환

임베딩 모델의 한 가지 도전 과제는 신흥 브랜드와 같은 특정 키워드에 대한 이해도가 제한적이라는 것입니다. 이를 해결하기 위해 우리는 미리 정의된 규칙에 기반하여 검색어를 동적으로 풍부하게 만드는 쿼리 변환 계층을 구축했습니다.

예를 들어, 사용자가 임베딩 모델이 인식하지 못할 수 있는 신흥 요구르트 브랜드를 검색하는 경우, 우리는 브랜드 이름과 함께 "그리스 요구르트"를 추가하여 쿼리를 변환하고 이를 Vector Search로 전송할 수 있습니다. 이는 임베딩 모델에 필요한 제품 컨텍스트를 제공하면서 원래 텍스트를 하이브리드 검색을 위해 보존합니다.

이 기능은 또한 우리의 미세 조정 과정과 손에 손잡고 작동합니다. 성공적인 변환은 훈련 데이터를 생성하는 데 사용될 수 있습니다; 예를 들어, 원래의 브랜드 이름을 쿼리로 포함하고 관련 요구르트 제품을 미래의 훈련 실행에서 긍정적인 결과로 포함시키는 것은 모델이 이러한 특정 연관성을 배우는 데 도움이 됩니다.

멀티-검색

"아기"와 같은 광범위한 일반적인 검색에 대해, Vector Search는 초기에 제한된 수의 후보를 반환할 수 있으며, 이는 타겟팅과 예산 관리에 의해 더욱 필터링될 수 있습니다. 이를 해결하고 결과의 다양성을 늘리기 위해, 우리는 단일 검색 용어를 여러 관련 검색으로 확장하는 다중 검색 기능을 구축했습니다.

"아기"만 검색하는 대신, 우리의 시스템은 자동으로 "아기 음식", "아기 옷", "아기 약", "아기 기저귀" 등과 같은 용어에 대해 병렬 검색을 실행합니다. 벡터 검색의 낮은 지연 시간 때문에, 우리는 사용자에게 전체 응답 시간을 늘리지 않고 여러 검색을 동시에 실행할 수 있습니다. 이는 광범위한 카테고리 검색에 대한 훨씬 더 넓고 다양한 관련 결과를 제공합니다.

배운 교훈

성공적인 최종 생산 테스트와 Databricks 벡터 검색의 전체 롤아웃을 따른 사용자 기반에 대한 - 긍정적인 참여 결과, 증가된 유연성, 그리고 쿼리 변환과 멀티-검색과 같은 강력한 검색 도구를 제공하는 - 이 프로젝트 여정은 여러 가지 가치 있는 교훈을 제공했습니다:

1. 개념 증명부터 시작하십시오: 초기 해커톤 접근법은 최소한의 선수투자로 핵심 개념을 빠르게 검증할 수 있게 해주었습니다.
2. 당신에게 중요한 것을 측정하십시오: 우리의 맞춤형 50-지표 평가 프레임워크는 중요했습니다; 이것은 오프라인에서 관찰된 개선이 비즈니스 영향으로 전환될 것이라는 확신을 주었고, 우리가 솔루션이 정말로 유망할 때까지 반복적인 실시간 테스트를 피할 수 있게 해주었습니다.
3. 세부 조정으로 바로 뛰어들지 마세요: 우리는 선반 위의 모델을 철저히 평가하고 그 옵션을 소진하기 전에 세부 조정에 필요한 더 큰 노력을 투자하는 가치를 배웠습니다.
4. 조기에 데이터 수집: 두 번째 실험에서 데이터 라벨링을 시작함으로써, 세밀한 조정이 필요할 때 풍부하고 독점적인 데이터셋이 준비되었습니다.
5. 협업이 진보를 가속화합니다: Databricks 엔지니어와 연구원들과의 긴밀한 파트너십, Vector Search, 임베딩 모델, LLM-as-a-judge 패턴, 그리고 미세 조정 접근법에 대한 통찰을 공유함으로써, 우리의 진보를 크게 가속화했습니다.
6. 누적 영향 인식: 각각의 개별 최적화, 심지어는 보이지 않는 것들조차도, 우리의 검색 경험의 전반적인 변화에 상당히 기여했습니다.

다음은 무엇인가요?

우리의 세밀하게 조정된 임베딩 모델이 이제 모든 직접 소비자 (D2C) 채널에서 실시간으로 작동하고 있으므로, 우리는 다음으로 이 솔루션을 Ibotta Performance Network (IPN)에 확장하는 것을 탐구할 계획입니다. 이는 우리의 출판사 네트워크 전체에서 수백만 명의 더 많은 쇼퍼들에게 개선된 제안 검색을 제공할 것입니다. 우리가 Databricks를 통해 라벨링된 데이터를 계속 수집하고 우리의 모델을 세밀하게 조정함에 따라, 우리는 우리의 파트너들의 요구와 그들의 고객들의 기대와 함께 검색 경험을 발전시키는 데 잘 위치해 있다고 믿습니다.

해커톤 프로젝트에서 생산 시스템으로의 이 여정은 적절한 도구와 지원이 있으면 핵심 제품 경험을 빠르게 재상상하는 것이 가능하다는 것을 증명했습니다. Databricks는 우리가 빠르게 움직이고, 효과적으로 세밀하게 조정하고, 결국, 우리의 절약자들에게 모든 검색을 더 보람차게 만드는 데 중요한 역할을 했습니다.

 

(이 글은 AI의 도움을 받아 번역되었습니다. 원문이 궁금하시다면 여기를 클릭해 주세요)