Thumbtack、GenAIとDatabricksで安全でスマートなホームサービスを実現

最も信頼されるホームケアプラットフォームの構築

Thumbtackのミッションはシンプルかつ野心的です。それは、あらゆるサービス、修理、改善を信頼でき安全なものにすることで、人々が自信を持って楽に家を管理できるようにすることです。私たちは、配管工や電気技師からウェルネスプロバイダー、イベントオーガナイザーに至るまで、全国の何百万人もの住宅所有者を30万人以上の熟練した専門家と結びつけることで、地域経済をサポートしています。機会は大きいですが、その複雑さも同様です。私たちの目標は、すべての顧客に対し、常に一貫した卓越した結果を保証することです。

ThumbtackにおけるGenAIの価値を引き出す

ホームサービスの急速な進化と高まる顧客の期待により、当社はプラットフォームを継続的に進化させています。データ量の増大、予測不可能な顧客とプロのニーズ、拡大するサービスカテゴリが、技術的および組織的な課題となっています。Thumbtackは、断片化したデータサイエンスとエンジニアリングのワークフロー、サイロ化したインフラストラクチャ、そしてプライバシーと安全性に対する高い基準に直面していました。

これらの課題を解決するには、巧妙なアルゴリズムやより高速なインフラストラクチャ以上のものが必要でした。必要だったのは、安全性、プライバシー、コラボレーションを中核に据えた、接続され、信頼できるデータおよびmachine learningプラットフォームでした。当社のアプローチ：Databricks上でGenAIエコシステムを統合し、現実的で測定可能なインパクトを推進すること。

信頼できるGenAI、一元化されたセキュリティ、生産性の高いデータサイエンス

ファインチューニングされたLLMによる信頼性と安全性の向上

Thumbtackの半自動化されたメッセージレビューパイプラインは、当社のデジタルトラストプラットフォームの根幹をなすものです。顧客とプロの間で交わされる各メッセージは、ルールベースのエンジンと機械学習モデルの両方によってスクリーニングされます。典型的な不正利用のケースは単純なルールで検出できますが、ニュアンスのある多くのポリシー違反は検出できません。畳み込みニューラルネットワーク（CNN）に基づく初期のシステムは、皮肉、文脈、または暗示的な脅威を区別するのに苦労しました。

Thumbtack独自のラベル付きデータで大規模言語モデルをファインチューニングしたことで、飛躍的な変化がもたらされました。当社のハイブリッドワークフローでは、CNNモデルが明らかに問題のないメッセージを事前フィルタリングし、LLMのワークロードを80%削減します。ファインチューニングされたLLMは、その能力を最も困難な20%に集中させ、検出精度を3.7倍、再現率を1.5倍に向上させます。毎年数千万件のメッセージが処理され、誠実なやり取りを維持し、不要なコストを回避しながら、会話の安全性が確保されています。

Databricks上での構築：セキュア、標準化、そして柔軟

Thumbtackのすべての高度なAIおよび信頼性ワークフローは現在、Databricks上に構築された統合機械学習プラットフォームを介して実行されています。主な投資と安全対策は次のとおりです。

• LLMワークロードの集中管理：すべてのGenAIワークロードをDatabricksで実行することで、攻撃対象領域を削減し、一貫したガバナンスモデルを維持します。
• ワークスペースの分離：仮想プライベートクラウドにより、機密データが保護された状態に保たれ、Terraformなどのツールを通じてきめ細かな権限が管理されます。安全な権限管理を確保する取り組みの一環として、Unity Catalogを使用してserverlessを有効にし、Databricks Genieを使用してBigQueryにアクセスしています。
• 自動化されたプライバシー保護：オープンソースおよび社内で開発されたスクラバーが、データがノートブック、モデル、パイプラインを通過する際に、個人を特定できる情報（PII）と機密情報を削除します。
• 包括的な可観測性とモニタリング：すべてのモデル、ノートブック、APIルートは、データドリフトとPIIの漏洩について追跡されます。可視化ツールは、リスクのあるデータが下流のシステムに漏洩していないことを確認します。
• シークレットとアーティファクトの集中管理：MLflowとシークレットマネージャーを使用することで、チームは認証情報を安全に管理し、すべてのモデルをバージョン管理し、生産的に共同作業を行うことができます。これにより、キーやライブラリの分散的で脆弱なコピー＆ペーストは不要になります。

GenAIオペレーションにおけるベストプラクティス

• ハイブリッドAIワークロード：本番運用サービスはAWSで、アナリティクスはGoogle Cloudで実行されますが、すべてのGenAIワークフローは再現性のために一元化および標準化されています。
• 再利用と効率性：MLflowとノートブックの追跡機能により、エンジニアリング、SRE、アナリティクス の各チーム間でエクスペリメントやソリューションを共有、比較、拡張できます。そのすべてが一貫したプライバシー管理の下で行われます。
• プロアクティブなプライバシー保護：Thumbtackは、オープンソースのPIIスクラバーを独自のニーズに合わせてカスタマイズし、すべてのレイヤーでモニタリングを徹底しています。業界の動向によると、PII関連のノートブックおよびモデルの侵害は2022年以降300%増加しており、これらの保護はビジネスにとって不可欠となっています。

さらなる安全性、さらなる信頼、さらなるイノベーション

• マーケットプレイスの規模：現在、米国の何百万人ものユーザーと30万社以上の地域のサービス事業者が、セキュリティと信頼性を優先するプラットフォーム内でやり取りしています。
• 優れたメッセージフィルタリング：適合率が3.7倍、再現率が1.5倍に向上し、LLMで最もリスクの高い20%のメッセージのみを処理することでコストを抑制しつつ、あらゆるステップでプライバシーを保護します。
• コラボレーションと効率性：一元化され、再現可能な機械学習ワークフローは、手作業での引き継ぎをなくし、チーム間の迅速なイノベーションを可能にし、データサイエンティスト、SRE、MLエンジニアが同期して作業できるようになります。
• 大規模な信頼性：堅牢な技術的およびプロセスの管理により、Thumbtackはホームサービス向けの最も信頼され、透明性の高いMarketplaceになるというミッションを遂行します。

ThumbtackがGenAIへの取り組みを続ける中で、すべてのチームがエクスペリメント、協業し、より安全でスマートなホームサービス体験を提供できるようになります。この戦略は現実世界へのインパクトに基づいており、AI、プライバシー、プラットフォーム思考がどのように組み合わさってプロと住宅所有者の両方に価値を創造するかを示しています。

Thumbtackによる2025 Data + AI Summitのプレゼンテーション「Boosting データサイエンス and AI Productivity With Databricks Notebooks」をご覧ください。