メインコンテンツへジャンプ
ログイン
      • Databricks を知る
        • エグゼクティブ向け
          • スタートアップ向け
            • レイクハウスアーキテクチャ
              • Mosaic Research
              • 導入事例
                • 注目の導入事例
                • パートナー
                  • クラウドプロバイダ
                    Databricks on AWS、Azure、GCP
                    • コンサルティング・SI
                      Databricks の構築・デプロイ、Databricks への移行のエキスパート
                      • 技術パートナー
                        既存のツールをレイクハウスに接続
                        • C&SI パートナー
                          レイクハウスの構築・デプロイメント、レイクハウスへの移行
                          • データパートナー
                            データコンシューマーのエコシステムにアクセス
                            • パートナーソリューション
                              業界・移行のニーズに応じたカスタムソリューション
                              • Databricks で構築
                                ビジネスの創造・マーケティング・成長
                              • Databricks プラットフォーム
                                • プラットフォームの概要
                                  データ・分析・AI のための統合プラットフォーム
                                  • データ管理
                                    データの信頼性・セキュリティ・パフォーマンス
                                    • 共有
                                      オープン、セキュア、ゼロコピーでのデータ共有
                                      • データウェアハウジング
                                        バッチ、ストリーミングデータのための ETL とオーケストレーション
                                        • ガバナンス
                                          データ・分析・AI のための統合ガバナンス
                                          • リアルタイム分析
                                            リアルタイム分析、AI、アプリケーションをシンプルに
                                            • 人工知能(AI)
                                              ML と生成 AI アプリケーションの構築とデプロイメント
                                              • データエンジニアリング
                                                バッチ、ストリーミングデータのための ETL とオーケストレーション
                                                • BI
                                                  実世界データのインテリジェント分析
                                                  • データサイエンス
                                                    データサイエンスの大規模な連携
                                                  • 統合とデータ
                                                    • マーケットプレイス
                                                      データ、分析、AI のためのオープンマーケットプレイス
                                                      • IDE 統合
                                                        お気に入りの IDE(統合開発環境)でレイクハウスを構築
                                                        • パートナーコネクト
                                                          Databricks エコシステムの検索と統合
                                                        • ご利用料金
                                                          • Databricks のご利用料金
                                                            料金設定、DBU、その他
                                                            • コスト計算ツール
                                                              クラウド利用でのコンピュートコストの試算
                                                            • オープンソース
                                                              • オープンソーステクノロジー
                                                                プラットフォームを支えるイノベーションをもっと詳しく
                                                              • 業界向け Databricks
                                                                • 通信
                                                                  • メディア・エンターテイメント
                                                                    • 金融サービス
                                                                      • 官公庁・公共機関
                                                                        • 医療・ライフサイエンス
                                                                          • リテール・消費財
                                                                            • 製造
                                                                              • 全て見る
                                                                              • クロスインダストリーソリューション
                                                                                • サイバーセキュリティ
                                                                                  • マーケティング
                                                                                  • 移行・デプロイメント
                                                                                    • データの移行
                                                                                      • プロフェッショナルサービス
                                                                                      • ソリューションアクセラレータ
                                                                                        • ソリューションアクセラレータ一覧
                                                                                          成果を加速
                                                                                        • トレーニング・認定試験
                                                                                          • 学習の概要
                                                                                            トレーニング、認定、イベントなどのハブ
                                                                                            • トレーニング概要
                                                                                              ニーズに合わせたカリキュラムを探す
                                                                                              • Databricks アカデミー
                                                                                                Databricks ラーニングプラットフォームにサインインする
                                                                                                • 認定
                                                                                                  スキル・認定で差別化を図る
                                                                                                  • 大学との連携
                                                                                                    Databricks を教材として活用
                                                                                                  • イベント
                                                                                                    • DATA+AI サミット
                                                                                                      • Data+AI ワールドツアー
                                                                                                        • Data Intelligence Days
                                                                                                          • イベントカレンダー
                                                                                                          • ブログ・ポッドキャスト
                                                                                                            • Databricks ブログ
                                                                                                              最新情報、製品発表、その他の情報
                                                                                                              • Databricks Mosaic AIリサーチブログ
                                                                                                                AI世代に関する最新リサーチ
                                                                                                                • Data Brew ポッドキャスト
                                                                                                                  ご相談・お問い合わせ
                                                                                                                  • ポッドキャスト:Data+AI のチャンピオン
                                                                                                                    イノベーションを支えるデータリーダーのインサイト
                                                                                                                  • お役立ちリソース
                                                                                                                    • カスタマーサポート
                                                                                                                      • ドキュメント
                                                                                                                        • コミュニティ
                                                                                                                        • もっと詳しく
                                                                                                                          • リソースセンター
                                                                                                                            • デモセンター
                                                                                                                            • 企業概要
                                                                                                                              • Databricks について
                                                                                                                                • 経営陣
                                                                                                                                  • Databricks Ventures
                                                                                                                                    • ご相談・お問い合わせ
                                                                                                                                    • 採用情報
                                                                                                                                      • 採用情報概要
                                                                                                                                        • 求人情報
                                                                                                                                        • プレス・ニュース記事
                                                                                                                                          • ニュースルーム
                                                                                                                                            • 受賞歴と業界評価
                                                                                                                                            • セキュリティと信頼
                                                                                                                                              • セキュリティと信頼
                                                                                                                                          • 是非ご検討ください!
                                                                                                                                          • デモを見る
                                                                                                                                          • ログイン
                                                                                                                                          • Databricks 無料トライアル
                                                                                                                                          1. ブログ
                                                                                                                                          2. /
                                                                                                                                            ソリューションアクセラレータ
                                                                                                                                          3. /
                                                                                                                                            記事

                                                                                                                                          機械学習を活用した小売業者・ブランドのためのアイテムマッチング

                                                                                                                                          Item matching is a core function in online marketplaces.

                                                                                                                                          Published: May 24, 2021

                                                                                                                                          ソリューションアクセラレータ1分未満

                                                                                                                                          ルーク・ビルブロ、ブライアン・スミス(Bryan Smith)、ロブ・サカー(Rob Saker) による投稿

                                                                                                                                          この投稿を共有する

                                                                                                                                          最新の投稿を通知します

                                                                                                                                          アイテムマッチングは、オンラインマーケットプレイスの中核的な機能です。小売業者は、最適化された顧客エクスペリエンスを提供すべく、新規/更新された商品情報を既存のリストと比較して、一貫性を確保し、重複を回避します。また、オンライン小売業者は、競合他社のリストと比較して、価格やインベントリの差異を確認します。複数のサイトで商品を提供しているサプライヤーでは、商品がどのように提示されているかを調べて、自社の基準との整合性を確保できます。

                                                                                                                                          アイテムマッチングは、オンラインマーケットプレイスの中核的な機能です。

                                                                                                                                          効果的なアイテムマッチングの必要性は、オンランコマースに限られたことではありません。DSR(デマンドシグナルリポジトリ)は、数十年もの間、補充オーダーのデータに POS やシンジゲートされた市場データを組み合わせて、消費財メーカーに需要の全体を把握するケイパビリティを提供してきました。しかし、メーカーが自社の製品定義と、数十もの小売店パートナーの製品説明との間の差異を埋めることができなければ、DSR の価値は制限されます。

                                                                                                                                          このようなタイプのデータをまとめる際の課題は、異なるデータの照合が常に手作業で行われていたことでした。一部の領域では、データセット間の直接的なリンクを可能にする共通の解決策がありますが、ほとんどのシナリオではそうではありません。専門的な知識を用いて、どのアイテムがペアになる可能性があり、どれが別個であるかを判断する必要があります。このため、複雑なデータプロジェクトでは、異なるデータセット間でアイテムを照合させる作業が最も時間のかかるステップであることが多く、新規商品が追加されるたびにこの作業を繰り返さなければなりません。

                                                                                                                                          商品コードの標準化については、1970 年代から継続的かつ数多く試行されていることからも、この課題が普遍性であり、困難であることがわかります。ルールベースおよび確率的(ファジー)マッチング技術は、不完全なデータに対して合理的に効果的な商品マッチングを実行するソフトウェアの可能性を示してきました。しかし、多くの場合、これらのツールは、サポートするデータ、カスタマイズおよびスケーリングの能力の点で制限されています。機械学習、ビッグデータプラットフォーム、クラウドの登場により、これらの技術を進化させ、課題を克服できる可能性が高まりました。

                                                                                                                                          商品の類似性の計算

                                                                                                                                          この計算の仕組みを説明するために、まず、2 つのアイテムを一致させるために商品情報をどのように使用するのかを考えてみましょう。ここでは、abt.com と buy.com の 2 つのリストがあります。ここで参照されている Abt-Buy データセットに示されているように、同じ商品であると判断されたものです。

                                                                                                                                          私たち消費者は、名前を見れば同じような商品を紹介しているサイトだと判断できます。例えば、FDB130WH と FBD130RGS というわずかなコードの違いはありますが、Web サイト上の商品説明や技術仕様などを確認して、これらが同じ機器であると判断可能です。しかし、これと同じ作業をコンピュータが実行するにはどうしたらよいでしょうか。

                                                                                                                                          まず、名前をそれぞれの単語に分割し、大文字/小文字の区別、句読点の排除、無視しても問題のない単語の削除を行い、残りの要素を配列されていない単語の集合体(bag)として処理します。ここでは、一致した商品に対して、視覚的に比較しやすいように単語の並べ替えをしています。

                                                                                                                                          ほとんどの単語が同じであることがわかります。唯一バリエーションがあるのは商品コードで、それも最後の 2、3 文字に発生するバリエーションです。これらの単語を文字列に分解すると(つまり、文字ベースの n-grams)、詳細をさらに容易に比較できます。

                                                                                                                                          各配列は、名前の中での出現頻度、全ての商品名での全体的な出現頻度によってスコア付けされ、出現していない配列はゼロとしてスコア付けされます。

                                                                                                                                          TF-IDF スコアリングと呼ばれるこの自然言語処理(NLP)技術は、文字列比較の問題を数学的な問題に変換できます。文字列の類似性は、整列した値の差の二乗の合計として計算できるようになり、この 2 つの文字列では、約 0.359 です。他の商品の潜在的な一致と比較した場合この値は最も低くなり、実際の一致の可能性を示します。

                                                                                                                                          商品の名前に関するこの一連のステップで、全てを網羅できるわけではありません。特定の領域における特定のパターンの知識があれば、より洗練されたデータ準備のテクニックを使用できる可能性もありますが、最もシンプルなテクニックでも驚くほどの効果を発揮することがあります。

                                                                                                                                          商品説明などの長いテキストの列の場合、TF-IDF のスコア付けを用いた単語ベースの n-grams や、単語の関連性を求めてテキストのブロックを分析するテキスト埋め込みが、より優れたスコア付けアプローチを提供する可能性があります。画像データの場合、同様の埋め込みの手法を適用することで、さらに多くの情報を考慮できます。ウォルマートのような小売業者が実証しているように、商品の類似性を判断するのに役立つ情報であれば、あらゆるものを採用できます。その情報を数値表現に変換するだけで、距離や関連する類似性の尺度を導き出すことが可能です。

                                                                                                                                          大規模データへの対処

                                                                                                                                          類似性の判断基準を確立したところで、次の課題は、個々の商品を効率的に比較することです。この課題の規模を理解するために、10,000 個の商品 t という比較的小規模なデータセットを、別の 10,000 個と比較してみましょう。徹底的な比較には、1 億の商品ペアを評価する必要があります。クラウドリソースが利用可能であれば、不可能な課題ではありません。しかし、ここでは、効率的な近道をするために、より類似性のあるペアに注目します。

                                                                                                                                          局所性鋭敏型ハッシュ(LSH)は、それを高速かつ効率的にする手法です。LSH プロセスでは、商品をランダムに細分化することで、同様の数値スコアを持つ商品が同じグループに入るようにします。細分化はランダムに行われるため、類似した 2 つの商品が違うグループに入ることもありますが、このプロセスを複数回繰り返すことで、類似した 2 つの商品が少なくとも 1 回は同じグループに入る確率を高めることができます。評価の候補とするには、これで十分です。

                                                                                                                                          マッチングの識別

                                                                                                                                          一致する可能性が高い商品に焦点を当てたうえで、次は、実際に一致するかどうかを判断します。商品の属性ごとに導き出された類似性のスコアを活用して、一致確率に変換していきます。

                                                                                                                                          これは、既にある数式を適用し、各属性を計算して単一の予測に到達するという単純なプロセスではなく、機械学習アルゴリズムを活用して、専門家が一致したペアから学習し、確率を算出するために、これらのスコアをどのように組み合わるべきかを識別しなければなりません。一般的なモデル開発の演習では、まず限られた商品セットを手作業で評価して一致するかどうかを判断し、この演習で使用する商品の候補ペアを生成し、次に、任意の数のバイナリ分類アルゴリズムを妥当な結果が得られるまで繰り返しトレーニングします。

                                                                                                                                          商品マッチングの機械学習ワークフローの例
                                                                                                                                          図 1.商品マッチングのワークフローの例

                                                                                                                                          このモデルは、大きなパイプラインの一部として使用され、より多くの商品をスコアリングできます。一致する確率が最も高い予測と低い予測は受け入れられますが、中間のスコアのものは、専門家によって引き続き評価されます。専門家によって識別された一致は、次のモデルトレーニングのサイクルに加えられ、継続的な人的評価を必要とする潜在的な一致の数を減らしていきます。

                                                                                                                                          Databricks を活用した商品マッチング

                                                                                                                                          Databricks は、スケーラブルな商品マッチング機能の開発に理想的なプラットフォームです。Databricks は、幅広いデータフォーマットのサポートや、豊富でスケーラビリティのあるデータ変換と機械学習のケイパビリティを備え、データサイエンティストやデータエンジニアによる商品の特徴量の抽出のために、コンピュータービジョン、NLP、その他の深層学習の戦略など、さまざまな技術を探究できる環境を提供します。

                                                                                                                                          エンジニアは、Databricks に統合された機械学習のモデル管理プラットフォームの MLflow を活用し、このプロセスに関連する多段階の特徴量、商品ペアの生成や、マッチ予測のワークフローを運用できます。

                                                                                                                                          クラウドリソースの迅速なプロビジョニングおよびデプロビジョニングにより、これらのワークフローは必要に応じてコスト効率よくリソースを割り当てることができます。また、広範囲なクラウドサービスのエコシステムとの統合により、組織では、自社の環境で完全な商品マッチングのシステムを構築可能です。

                                                                                                                                          商品マッチングのケイパビリティの実現に Databricks がどのように活用されているかについては、以下の Notebook でご覧いただけます。

                                                                                                                                          Get the notebooks

                                                                                                                                          最新の投稿を通知します

                                                                                                                                          関連記事

                                                                                                                                          Item matching is a core function in online marketplaces.

                                                                                                                                          ソリューションアクセラレータ

                                                                                                                                          May 24, 2021/1分未満

                                                                                                                                          機械学習を活用した小売業者・ブランドのためのアイテムマッチング

                                                                                                                                          この投稿を共有する

                                                                                                                                          Databricksの投稿を見逃さないようにしましょう

                                                                                                                                          興味のあるカテゴリを購読して、最新の投稿を受信トレイに届けましょう

                                                                                                                                          Sign up

                                                                                                                                          次は何ですか?

                                                                                                                                          oncology-rwd-blog-og

                                                                                                                                          ソリューションアクセラレータ

                                                                                                                                          September 22, 2021/1分未満

                                                                                                                                          臨床データによる腫瘍学の知見抽出に NLP を活用

                                                                                                                                          ibjp-aws-teraform-og

                                                                                                                                          ソリューションアクセラレータ

                                                                                                                                          October 6, 2021/2分で読めます

                                                                                                                                          時系列予測ライブラリ Prophet と Spark との連携

                                                                                                                                          databricks logo
                                                                                                                                          Databricks を選ぶ理由
                                                                                                                                          Databricks を選ぶ理由
                                                                                                                                          • エグゼクティブ向け
                                                                                                                                          • スタートアップ向け
                                                                                                                                          • レイクハウスアーキテクチャ
                                                                                                                                          • Mosaic Research
                                                                                                                                          導入事例
                                                                                                                                          • 注目の導入事例
                                                                                                                                          パートナー
                                                                                                                                          • クラウドプロバイダ
                                                                                                                                          • 技術パートナー
                                                                                                                                          • データパートナー
                                                                                                                                          • Databricks で構築
                                                                                                                                          • コンサルティング・SI
                                                                                                                                          • C&SI パートナー
                                                                                                                                          • パートナーソリューション
                                                                                                                                          Databricks を選ぶ理由
                                                                                                                                          • エグゼクティブ向け
                                                                                                                                          • スタートアップ向け
                                                                                                                                          • レイクハウスアーキテクチャ
                                                                                                                                          • Mosaic Research
                                                                                                                                          導入事例
                                                                                                                                          • 注目の導入事例
                                                                                                                                          パートナー
                                                                                                                                          • クラウドプロバイダ
                                                                                                                                          • 技術パートナー
                                                                                                                                          • データパートナー
                                                                                                                                          • Databricks で構築
                                                                                                                                          • コンサルティング・SI
                                                                                                                                          • C&SI パートナー
                                                                                                                                          • パートナーソリューション
                                                                                                                                          製品
                                                                                                                                          レイクハウスプラットフォーム
                                                                                                                                          • プラットフォーム
                                                                                                                                          • 共有
                                                                                                                                          • データガバナンス
                                                                                                                                          • 人工知能(AI)
                                                                                                                                          • DBRX
                                                                                                                                          • データ管理
                                                                                                                                          • データウェアハウス
                                                                                                                                          • データストリーミング
                                                                                                                                          • データエンジニアリング
                                                                                                                                          • データサイエンス
                                                                                                                                          ご利用料金
                                                                                                                                          • 料金設定の概要
                                                                                                                                          • 料金計算ツール
                                                                                                                                          オープンソース
                                                                                                                                          統合とデータ
                                                                                                                                          • マーケットプレイス
                                                                                                                                          • IDE 統合
                                                                                                                                          • パートナーコネクト
                                                                                                                                          レイクハウスプラットフォーム
                                                                                                                                          • プラットフォーム
                                                                                                                                          • 共有
                                                                                                                                          • データガバナンス
                                                                                                                                          • 人工知能(AI)
                                                                                                                                          • DBRX
                                                                                                                                          • データ管理
                                                                                                                                          • データウェアハウス
                                                                                                                                          • データストリーミング
                                                                                                                                          • データエンジニアリング
                                                                                                                                          • データサイエンス
                                                                                                                                          ご利用料金
                                                                                                                                          • 料金設定の概要
                                                                                                                                          • 料金計算ツール
                                                                                                                                          統合とデータ
                                                                                                                                          • マーケットプレイス
                                                                                                                                          • IDE 統合
                                                                                                                                          • パートナーコネクト
                                                                                                                                          ソリューション
                                                                                                                                          業種別
                                                                                                                                          • 通信
                                                                                                                                          • 金融サービス
                                                                                                                                          • 医療・ライフサイエンス
                                                                                                                                          • 製造
                                                                                                                                          • メディア・エンタメ
                                                                                                                                          • 官公庁・公共機関
                                                                                                                                          • リテール・消費財
                                                                                                                                          • 全て表示
                                                                                                                                          クロスインダストリーソリューション
                                                                                                                                          • サイバーセキュリティ
                                                                                                                                          • マーケティング
                                                                                                                                          データの移行
                                                                                                                                          プロフェッショナルサービス
                                                                                                                                          ソリューションアクセラレータ
                                                                                                                                          業種別
                                                                                                                                          • 通信
                                                                                                                                          • 金融サービス
                                                                                                                                          • 医療・ライフサイエンス
                                                                                                                                          • 製造
                                                                                                                                          • メディア・エンタメ
                                                                                                                                          • 官公庁・公共機関
                                                                                                                                          • リテール・消費財
                                                                                                                                          • 全て表示
                                                                                                                                          クロスインダストリーソリューション
                                                                                                                                          • サイバーセキュリティ
                                                                                                                                          • マーケティング
                                                                                                                                          リソース
                                                                                                                                          ドキュメント
                                                                                                                                          カスタマーサポート
                                                                                                                                          コミュニティ
                                                                                                                                          トレーニング・認定試験
                                                                                                                                          • トレーニング概要
                                                                                                                                          • トレーニング
                                                                                                                                          • 認定
                                                                                                                                          • 大学との連携
                                                                                                                                          • Databricks アカデミー
                                                                                                                                          イベント
                                                                                                                                          • DATA+AI サミット
                                                                                                                                          • Data+AI ワールドツアー
                                                                                                                                          • Data Intelligence Days
                                                                                                                                          • イベントカレンダー
                                                                                                                                          ブログ・ポッドキャスト
                                                                                                                                          • Databricks ブログ
                                                                                                                                          • Databricks Mosaic AIリサーチブログ
                                                                                                                                          • Data Brew ポッドキャスト
                                                                                                                                          • Data+AI のチャンピオンシリーズ
                                                                                                                                          トレーニング・認定試験
                                                                                                                                          • トレーニング概要
                                                                                                                                          • トレーニング
                                                                                                                                          • 認定
                                                                                                                                          • 大学との連携
                                                                                                                                          • Databricks アカデミー
                                                                                                                                          イベント
                                                                                                                                          • DATA+AI サミット
                                                                                                                                          • Data+AI ワールドツアー
                                                                                                                                          • Data Intelligence Days
                                                                                                                                          • イベントカレンダー
                                                                                                                                          ブログ・ポッドキャスト
                                                                                                                                          • Databricks ブログ
                                                                                                                                          • Databricks Mosaic AIリサーチブログ
                                                                                                                                          • Data Brew ポッドキャスト
                                                                                                                                          • Data+AI のチャンピオンシリーズ
                                                                                                                                          企業情報
                                                                                                                                          企業概要
                                                                                                                                          • Databricks について
                                                                                                                                          • 経営陣
                                                                                                                                          • Databricks Ventures
                                                                                                                                          • ご相談・お問い合わせ
                                                                                                                                          採用情報
                                                                                                                                          • 採用情報概要
                                                                                                                                          • 求人情報
                                                                                                                                          プレス・ニュース記事
                                                                                                                                          • ニュースルーム
                                                                                                                                          • 受賞歴と業界評価
                                                                                                                                          セキュリティと信頼
                                                                                                                                          企業概要
                                                                                                                                          • Databricks について
                                                                                                                                          • 経営陣
                                                                                                                                          • Databricks Ventures
                                                                                                                                          • ご相談・お問い合わせ
                                                                                                                                          採用情報
                                                                                                                                          • 採用情報概要
                                                                                                                                          • 求人情報
                                                                                                                                          プレス・ニュース記事
                                                                                                                                          • ニュースルーム
                                                                                                                                          • 受賞歴と業界評価
                                                                                                                                          databricks logo

                                                                                                                                          Databricks Inc.
                                                                                                                                          160 Spear Street, 15th Floor
                                                                                                                                          San Francisco, CA 94105
                                                                                                                                          1-866-330-0121

                                                                                                                                          採用情報

                                                                                                                                          © Databricks 2025. All rights reserved. Apache, Apache Spark, Spark and the Spark logo are trademarks of the Apache Software Foundation.

                                                                                                                                          • プライバシー通知
                                                                                                                                          • |利用規約
                                                                                                                                          • |現代奴隷法に関する声明
                                                                                                                                          • |カリフォルニア州のプライバシー権利
                                                                                                                                          • |プライバシー設定