透明性を高めるための“エージェント型”食品ラベル読解システムの構築

食品表示に対するユーザの期待は、根本的な変化を遂げています。最近の調査によると、米国の消費者の 4 分の 3 が購入する食品に関する詳細な情報を求めており、3 分の 2 近くが 5 年前よりもラベルを注意深く確認するようになっています。これは一時的な流行ではなく、アレルギーや不耐性に対応する家庭や、ビーガン、ベジタリアン、グルテンフリーといった特定の食生活を実践する消費者が増えていることが背景にあります。

しかし、ここに課題があります。食品メーカーが謳う健康効果を信頼している消費者は、わずか 16% しかいません。つまり、消費者は自分たちの基準で、自ら製品を評価したいと考えているのです。購入決定の一環として、原材料リストをチェックし、パッケージのラベルを注意深く確認することで、原料のソース、本番運用方法、栄養成分をより深く理解し、それらが自身の特定の健康ニーズにどう合致するかを確かめています。

規制当局が表示要件の更新に取り組んでいる一方で、大手の小売業者はすでに行動を起こしています。高度なデータ抽出と原材料アナリティクスを用いて、パッケージや栄養成分表示ラベルを、検索や絞り込みが可能なデジタル体験へと変革しています。これにより、顧客はアレルギー対応の食品、グルテンフリー製品、あるいはサステナブルに調達された商品など、本当に必要なものを正確に見つけることができます。これらの透明性を高めるための取り組みは、小売業者が競合他社との差別化を図るだけでなく、顧客エンゲージメントを深め、特に利益率の高い製品の売上を向上させることにもつながります。

The Data + AI ソリューション

米国の一般的な食料品店には 35,000 ものユニークな SKU があり、毎月 150 から 300 の新商品が導入されるため、これらに対応し続けるのは困難です。しかし、今日のエージェント型 AI アプリケーションを利用すれば、食品ラベルの読み取りを大規模かつリーズナブルなコストで自動化できるようになります。

これらのシステムは、栄養成分表示ラベルの画像を入力として受け取り、画像を解析して生の原材料と栄養情報を抽出します。この情報は次に構造化データへと処理され、社内アナリティクスと顧客向けのデジタル体験の両方を支える力となります。これらのデータから、顧客サポートにまさに必要な、アレルゲン、超加工成分、サステナビリティ属性、ライフスタイル上の嗜好などに関するカスタム分類を作成できます。

このブログでは、DatabricksのAgent Bricks機能を使用して、組織向けの自動食品ラベルリーダーの開発とデプロイを簡素化、効率化するエンドツーエンドのプロセスを実装する方法をご紹介します。

ソリューションの構築

食品ラベル読み取りのワークフローは非常にシンプルです（図1）。食品パッケージから撮影した画像をアクセス可能なストレージに読み込み、AI を使って画像からテキストを抽出してテーブルに変換し、さらに AI を適用して抽出したテキストを既知のスキーマに対応付けます。

最初のステップでは、図2に示すような、原材料リストが表示されている製品パッケージの画像をいくつか収集します。.png形式のこれらの画像は、.jpeg、または .pdfUnity Catalog (UC) ボリュームにロードされ、Databricks内で利用できるようになります。

画像をロードしたら、Databricks workspaceの左側のメニューから Agents を選択し、ページ上部に表示されている 情報 Extraction エージェントに移動します (図3)。

情報 Extraction エージェントには、Use PDFs と Build の 2 つのオプションがあります。まず、Use PDFsオプションを選択します。これにより、さまざまな画像形式からテキストを抽出するjobを定義できます。（.pdfですが形式は選択されたオプションの名前に示されており、他の標準画像形式もサポートされています。）

PDF を使用 オプションをクリックするとダイアログが表示され、そこに画像ファイルが格納されている UC ボリュームと、抽出された情報が読み込まれる（まだ存在しない）テーブルの名前を指定します（図 4）

[インポートを開始] ボタンをクリックすると、UC ボリューム内の画像からテキストの詳細を抽出してターゲット テーブルにロードするjobが起動します。(このjobについては、ワークフローを本番稼働させる際に再度取り上げます)。結果として生成されたテーブルには、テキストが抽出されたファイルを特定するフィールド、画像からキャプチャされたテキスト情報を含む構造体 (JSON) フィールド、そして生テキストフィールドが含まれています (図5)。

ターゲット テーブルに配信されたテキスト情報を確認すると、各画像から抽出されたあらゆるコンテンツを見ることができます。画像から読み取り可能なテキストはすべて抽出され、アクセスできるように raw_parsed フィールドと text フィールドに配置されます。

今回は各画像の原材料リストに関連するテキストのみを対象とするため、抽出したテキストから特定の箇所のみを選択するようにエージェントを実装する必要があります。これを行うには、Agents ページに戻り、情報 Extraction エージェントに関連付けられている Build オプションをクリックします。表示されたダイアログで、前回抽出したテキストを格納したテーブルと、そのテーブル内で処理対象の生テキストが含まれる text フィールドを指定します (図6)。

エージェントは、抽出されたテキストのスキーマを推測し、このスキーマにマッピングされたデータ要素をサンプルの JSON 出力として画面下部に表示します。この構造でデータを受け入れることも、独自に定義した JSON ドキュメントとして 手動でデータを再編成することもできます。後者のアプローチを取る場合 (ほとんどの場合がそうです)、再編成した JSON を出力ウィンドウに貼り付けることで、エージェントがテキストデータの代替スキーマを推測できるようになります。エージェントがデータからまさに望むものを提供できるようになるまで、何度かイテレーションが必要になる場合があります。

データを希望どおりに整理したら、Create Agentボタンをクリックしてビルドを完了します。UI には複数のレコードにわたる解析出力が表示され、その処理を検証し、さらに修正を加えて一貫した結果セットを得ることができます（図 7）。

スキーマ化されたテキストを検証するだけでなく、データを調べて値を導き出す簡単なプロンプトを使用して、フィールドを追加することも可能です。たとえば、原材料リストからグルテンを含みそうな項目を検索して製品がグルテンフリーかどうかを推測したり、動物由来の原材料を特定して製品がビーガンフレンドリーであると判断したりできます。エージェントは、基盤となるモデルに埋め込まれた知識と私たちのデータを組み合わせて、これらの結果を導き出します。

保存して更新 をクリックすると、調整されたエージェントが保存されます。こちら で説明されているように、「 品質レポート 」tabと「 最適化 」tabを使用して、エージェントをさらに強化できます。エージェントに問題がなければ、「使用」をクリックして構築を完了します。Create ETL Pipelineオプションを選択すると、宣言型のパイプラインが生成され、ワークフローを本番運用できるようになります。

注: 次のステップのビデオデモンストレーションはこちらでご覧いただけます。

ソリューションの本番運用

この時点で、画像からテキストを抽出し、テーブルに読み込むjobが定義されました。また、抽出したテキストを明確に定義されたスキーマにマッピングするためのETLパイプラインも定義しました。これで、この2つの要素を組み合わせて、継続的に画像を処理できるエンドツーエンドのjobを作成できます。

最初のステップで作成したjobに戻ります。つまり、Use PDFsでは、このjobが単一のステップで構成されていることがわかります。このステップは、ai_query()関数の呼び出しを通じて生成AIモデルを使用するSQLクエリーとして定義されています。このアプローチの優れた点は、開発者がテキスト抽出ステップに関するロジックを簡単にカスタマイズできることです。たとえば、UC ボリューム内の新しいファイルのみを処理するようにロジックを変更できます。

jobの最初のステップのロジックに問題がなければ、以前に定義した ETL パイプラインを呼び出す後続ステップをjobに追加できます。これに必要な大まかなアクションについては、こちらをご覧ください。最終的に、原材料リストを抽出するためのエンドツーエンドのワークフローを網羅した 2 ステップのjobが完成し、継続的にランするようにスケジュールできるようになりました (図8)。

無料トライアル

Databricksの新しいAgent Bricks機能を使用すると、これまで困難または煩雑だった手作業のタスクに対処可能なエージェントワークフローを比較的容易に構築できます。これにより、食品ラベル、サプライヤーコンプライアンス、サステナビリティレポート、その他非構造化データを扱うあらゆる課題であれ、ドキュメント処理を大規模に自動化しようとしている組織に、さまざまな可能性が拓かれます。

最初のエージェントを構築する準備はできましたか？Start with Agent Bricksを今すぐ始めて、主要な組織がすでに発見した「自動最適化、ノーコード開発、そして数週間ではなく数時間で実現する本番運用レベルの品質」を体験してください。お使いの Databricks workspaceにアクセスし、「エージェント」ページに移動して、世界中のエンタープライズ顧客のためにすでに数百万ものドキュメントを処理している実績あるテクノロジーで、ドキュメント インテリジェンス業務を変革しましょう。

• 今すぐお使いの Databricks workspace で、Agent Bricks を使って最初のエージェントの構築を Start しましょう
• ノーコード開発と本番運用レベルの品質を、数週間ではなく数時間で体験