メインコンテンツへジャンプ
<
ページ 44
>

因果機械学習による販促オファーの最適化

翻訳:Junichi Maruyama. - Original Blog Link 多くの企業は、取引を成立させたり、契約を更新させたり、サービスを購入させたりするために、顧客にプロモーションのオファーを提供している。このようなインセンティブは、販売者にとっては、購入と引き換えに顧客に提供される収益やサービスの面でコストがかかる。しかし、適切に適用されれば、取引を確実に成立させ、購入規模を拡大させることもできる。しかし、インセンティブオファーを受け取ったすべてのアカウントが同じように反応するわけではありません。不適切に適用された販促オファーは、取引の規模や速度に何の影響も与えないかもしれないし、不必要にマージンを損なうかもしれない。顧客にインセンティブを提案する組織は、オファーが取引完了の確率に与える影響を予測し、それが取引の純収益に与える影響を理解することが重要である。 プロモーション・オファーを最適化することで、より良い結果を導くことができる あるソフトウェア会社が、営業チームが異なる提案に対してどのようにオ

AIデータの簡素化

翻訳:Junichi Maruyama. - Original Blog Link どのデータサイエンス組織と話しても、高品質なAIモデルを構築するための最大の課題はデータへのアクセスと管理であると、ほぼ全員が口を揃えて言うだろう。長年にわたり、実務家は実験と開発を加速させるために様々なテクノロジーと抽象化を利用してきた。ここ数年、フィーチャーストアは、機械学習のためにデータを整理し準備する方法として、実務家の間でますます普及している。2022年初頭、Databricksはフィーチャーストアの一般提供を開始しました。この夏、Databricks Unity Catalogのネイティブ機能としてフィーチャーエンジニアリングと管理を導入できることを嬉しく思います。これは、AIデータをよりシンプルに管理する方法の大きな進化を意味します。この進化は、フィーチャー管理とクラス最高のデータカタログを一体化させ、フィーチャーを作成し、それらを使用してモデルをトレーニングし、サービスを提供するプロセスを簡素化し、安全にします。

MapInPandasとDelta Live Tablesで一般的でないファイル形式を大規模に処理する

August 24, 2023 TJ Cycyota による投稿 in
翻訳:Junichi Maruyama. - Original Blog Link 様々なファイル形式 最新のデータエンジニアリングの世界では、 Databricks Lakehouse Platform は信頼性の高いストリーミングおよびバッチ data pipelines の構築プロセスを簡素化します。しかし、曖昧なファイル形式や一般的でないファイル形式を扱うことは、Lakehouseへのデータ取り込みにおいて依然として課題となっています。データを提供する上流のチームは、データの保存と送信方法を決定するため、組織によって標準が異なります。例えば、データエンジニアは、スキーマの解釈が自由なCSVや、ファイル名に拡張子がないファイル、独自のフォーマットでカスタムリーダーが必要なファイルなどを扱わなければならないことがあります。このデータをParquetで取得できないかとリクエストするだけで問題が解決することもあれば、パフォーマンスの高いパイプラインを構築するために、よりクリエイティブなアプローチが必要になることも

MLflow AI GatewayとLlama 2を使ってジェネレーティブAIアプリを構築する

翻訳:Junichi Maruyama. - Original Blog Link 顧客サポートボット、社内ナレッジグラフ、またはQ&Aシステムを構築するために、顧客は多くの場合、事前に訓練されたモデルを独自のデータと一緒に活用するRAG(Retrieval Augmented Generation)アプリケーションを使用します。しかし、安全なクレデンシャル管理と不正使用防止のためのガードレールがないため、お客様はこれらのアプリケーションへのアクセスと開発を民主化することができません。私たちは最近、 MLflow AI Gateway を発表しました。これは拡張性の高いエンタープライズグレードのAPIゲートウェイで、組織がLLMを管理し、実験や生産に利用できるようにします。本日、AI Gatewayを拡張し、RAGアプリケーションをより良くサポートすることを発表できることを嬉しく思います。組織は、プライベートホスティングモデルAPI( Databricks Model Serving 経由)、プロプライエ

集まれ!Legendary Heroes of DATA + AI !! Vol 5

August 9, 2023 Hisae Inoue による投稿 in
日本のDatabricks Championの皆様に、目指したその理由や、これからの思いについて伺う「集まれ!Legendary Heroes of DATA + AI !!」。Legendary Heroes of Data+AI の皆さんの輪もドンドン広がっています! 今回は、Vol 5として、前回のVol4 に引き続き 株式会社ナレッジコミュニケーション様 から 山川 将也 様 をご紹介します。 —- 以前にご紹介したLegendary...

意外に知られていないDatabricksワークフローの活用方法

August 7, 2023 Takaaki Yayoi による投稿 in
Databricksには Databricksワークフロー という機能があります。 Databricksノートブック で開発したロジックを簡単にスケジュール処理にすることができます。 しかし、Databricksジョブの機能はスケジュール処理だけではありません。以下のように多彩な機能を提供しており、さまざまなユースケースで活躍します。本記事では、Databricksワークフロー、特にDatabricksジョブのさまざまな機能や活用方法をご説明します。 Databricksワークフローとは Databricksワークフローは、Databricksレイクハウスプラットフォームでデータ処理、機械学習、分析パイプラインをオーケストレートします。ワークフローには、Databricksワークスペースで画面の操作を伴わないコードを実行するためのDatabricksジョブ、高信頼かつ維持可能なETLパイプラインを構築するためのDelta Live Tablesが統合されたフルマネージドのオーケストレーションサービスを提供します。

構造化ストリーミングにおける複数のステートフルオペレーター

翻訳:Junichi Maruyama. - Original Blog Link データエンジニアリングの世界では、ETLが誕生したときから使われているオペレーションがある。フィルターする。結合する。集約する。最後に結果を書く。これらのデータ操作は時代が変わっても変わりませんが、レイテンシーとスループットの要求範囲は劇的に変化しています。一度に数イベントを処理したり、1日に数ギガバイトを処理したりすることは、もはや不可能です。今日のビジネス要件を満たすには、テラバイト、あるいはペタバイトのデータを毎日処理する必要があり、そのレイテンシは分単位、秒単位で測定されます。 Apache SparkTMの構造化ストリーミングは、大容量データと低レイテンシに最適化されたオープンソースの主要ストリーム処理エンジンであり、 Databricks Lakehouse を ストリーミングに最適なプラットフォー ムとするコアテクノロジーです。 Project Lightspeed で提供される強化された機能のおかげで、単一のストリ

データレイクハウスでビットコインマイナーからコンピューティングリソースを守る

August 3, 2023 Anirudh Kondaveeeti による投稿 in
翻訳:Junichi Maruyama. - Original Blog Link 暗号通貨、特にビットコインの人気が高まるにつれ、ビットコインのマイニング現象が起きている。通常の採掘作業はブロックチェーンの検証とセキュリティにとって重要である一方、悪意のある行為者が違法な採掘目的でクラウド・コンピューティング・リソースを悪用するという不穏な傾向も現れている。これは高価な処理リソースを浪費するだけでなく、クラウドサービスプロバイダーとそのクライアントの双方に深刻なセキュリティ上の脅威をもたらします。効果的な脅威の検知と対応は、高度な脅威検知のためのスケールや機能を提供しないサイロ化されたツールのコストと複雑さが課題となっています。 このブログでは、ビットコインマイニングの悪用に対抗するためにデータレイクハウスをどのように活用できるかを見ていきます。組織はレイクハウスを使用してペタバイト級のデータを分析し、高度な分析を適用してサイバーリスクと運用コストを削減することができます。DatabricksのLakehous

コンテキストを認識するAIアシスタント、Databricks Assistantの紹介

翻訳:Junichi Maruyama. - Original Blog Link 本日、Databricks Notebooks、SQLエディタ、ファイルエディタでネイティブに利用可能な、コンテキストを意識したAIアシスタント、Databricks Assistantのパブリックプレビューを発表します。Databricks Assistantを使えば、会話形式のインターフェイスでデータを照会することができ、Databricks内での生産性が向上します。タスクを英語で説明すると、アシスタントが SQL クエリを生成し、複雑なコードを説明し、エラーを自動的に修正します。アシスタントは、Unity カタログのメタデータを活用して、テーブル、カラム、説明、および会社全体で人気のあるデータ資産を理解し、あなたにパーソナライズされた応答を提供します。 データおよびAIプロジェクトの迅速な構築 SQLまたはPythonコードの生成 Databricks Assistant は Databricks の各編集画面にネイティブに

クラウドエンジニアがAWSにDatabricksをデプロイするためのベストプラクティスとガイダンス: パート3

July 29, 2023 JD BraunTony Bo による投稿 in
翻訳:Junichi Maruyama. - Original Blog Link クラウドエンジニアがAWSにDatabricksをデプロイするためのベストプラクティスとガイダンスシリーズの最終回として、重要なトピックである 自動化 を取り上げます。このブログポストでは、デプロイで使用される3つのエンドポイントを分解し、CloudFormationやTerraformのような一般的なInfrastructure as Code (IaC)ツールの例を説明し、自動化のための一般的なベストプラクティスで締めくくります。 しかし、これから参加される方には、Databricks on AWSのアーキテクチャとクラウドエンジニアにとっての利点について説明した part one を読まれることをお勧めします。また part two では、AWS 上でのデプロイとベストプラクティス、そして推奨事項について説明します。 クラウド・オートメーションのバックボーン...