Superhuman과 Databricks가 함께 200K QPS 추론 플랫폼을 구축한 방법

Superhuman과 Databricks 엔지니어들이 맞춤법 및 문법 교정 워크로드를 Databricks Model Serving Platform으로 공동 마이그레이션하여 20만 QPS 이상을 제공하고 60% 처리량 향상 및 1초 미만의 P99 지연 시간을 달성한 방법을 공유합니다.