メインコンテンツへジャンプ

AI and Machine Learning

Accelerate your AI projects with a data-centric approach to machine learning

q5qTlofKQMhSZjLkjXNTqDfb7Zo5CIUlAqwWPc03hP0

オープンなレイクハウスアーキテクチャを基盤とする AI と機械学習のための Databricks は、機械学習のためのデータの準備や処理を効率化し、チーム間のコラボレーションを支援し、生成 AI や大規模言語モデルをはじめとする実験から本番までの機械学習ライフサイクルの合理化を可能にします。

Machine Learning

AI/ML データをシンプルに

Databricks ML は、オープンなレイクハウスアーキテクチャを基盤として構築されており、Delta Lake が組み込まれています。機械学習チームによる、あらゆる規模、種類のデータのアクセス、探索、準備を可能にします。データエンジニアリングのサポートなしで、特徴量をセルフサービスで本稼働パイプラインに組み込めます。

Machine Learning

実験追跡とガバナンスの自動化

マネージド MLflow により、実験を自動的に追跡し、トレーニング実行ごとのパラメータ、メトリクス、データとコードのバージョン、モデルの成果物を記録できます。実行履歴をすぐに確認でき、結果を比較したり、必要に応じて過去の結果を再現したりすることも可能です。本番環境に最適なモデルのバージョンを特定した後は、モデルレジストリに登録し、展開ライフサイクル全体のハンドオフを簡素化できます。

Machine Learning

モデルのライフサイクル全体を動的に管理

トレーニングされたモデルを登録すると、モデルレジストリを使用してモデルのライフサイクルを共同管理できます。モデルのバージョン管理や移動は、実験、ステージング、本番環境、アーカイブなどさまざまな段階で可能です。ライフサイクル管理は、ロールベースのアクセス制御に従って、承認やガバナンスのワークフローと統合されています。また、コメントやメールの通知機能により、データチームのコラボレーション環境が充実します。

ML Flow

ML モデルの大規模展開を低レイテンシで

サーバーの管理やスケールの制限を気にすることなく、ワンクリックでモデルをデプロイできます。Databricks を使用することで、エンタープライズレベルの高可用性で、モデルを REST API エンドポイントとして任意の場所にデプロイできます。

LLM

生成 AI や大規模言語モデルの活用

Hugging Face トランスフォーマーのライブラリやその他のオープンソースライブラリのような、既存の事前トレーニング済みモデルをワークフローに統合できます。トランスフォーマーのパイプラインは、GPU の利用を容易にし、GPU に送られるアイテムのバッチ処理を可能にし、スループットを向上させます。

特定のタスクのために、ユーザー独自のデータでモデルをカスタマイズできます。Hugging Face や DeepSpeed などのオープンソースツールのサポートにより、基礎となる LLM を迅速かつ効率的に取得し、独自のデータでトレーニングを開始することで、ドメインやワークロードに対してより高い精度を持つことができます。これにより、トレーニングに使用するデータを管理できるようになり、責任を持って AI を使用していることを確認できます。

製品コンポーネント

Collaboration

コラボレーション型 Notebook

Databricks の Notebook は、Python、R、SQL をネイティブにサポートしており、ユーザーは任意の言語やライブラリを使用できます。気づきの視覚化と共有も容易です。

詳しく見る
Runtime

機械学習のランタイム

最も一般的な ML フレームワーク(PyTorch、TensorFlow、scikit-learn など)のスケーラブルかつ信頼性のある分散処理により、事前に構成された ML 最適化クラスタにワンクリックでアクセスできます。このクラスタは、大規模に高性能を実現する最適化を備えています。

詳しく見る
Feature Store

特徴量ストア(Feature Store)

自動的にログに記録されたデータソースを活用するデータリネージの検索機能で、特徴量の再利用を促進します。クライアントアプリケーションの変更を不要とするシンプルなモデル展開により、トレーニングやサービスに特徴量を活用できます。

詳しく見る
Data science

AutoML

AutoML は、グラスボックス的なアプローチによって、機械学習の専門家だけでなく市民データサイエンティストも支援します。すぐに使える高性能なモデルの提供はもとより、専門家による改良が可能なコードの生成もできます。

詳しく見る
Unity

マネージド MLflow

マネージド MLflow は、MLライフサイクルにおいて世界をリードするオープンソースプラットフォームの MLflow 上に構築されています。エンタープライズセキュリティ、信頼性、スケーラビリティで、 ML モデルの実験から本番への迅速な移行を支援します。

詳しく見る
Icon Production

本番グレードのモデルサービング

サーバレスコンピューティングを活用するオプションを備え、あらゆるスケールのモデルをワンクリックで容易に提供します。

詳しく見る
Icon Structured Streaming

モデル監視

モデルのパフォーマンスとそれがビジネス指標に与える影響をリアルタイムで監視します。Databricks は、ソースデータシステムでの修正が必要なモデルに対してもエンドツーエンドの可視性とリネージを提供します。ML ライフサイクル全体にわたるモデルとデータの品質を分析し、問題が発生する前にリスクを特定するのに役立ちます。

詳しく見る
Repos Icon

リポジトリ

Repos は、Databricks での Git ワークフローを効率化し、自動化された CI/CD ワークフローとコードのポータビリティの活用を可能にします。

詳しく見る
icon machine learning

大規模言語モデル(LLM)

Databricks は、大規模言語モデル(LLM)へのアクセスやワークフローへの統合を容易にし、独自のデータを用いて LLM を微調整するためのプラットフォーム機能を提供することで、ドメイン性能を向上させます。

詳しく見る

データブリックスソリューションへの移行

Hadoop やエンタープライズ DWH などのレガシーシステムに関連するデータサイロ、パフォーマンス低下、高いコストにうんざりしていませんか?Databricks レイクハウスに移行することで、あらゆるデータ、分析、AI のユースケースに対応する最新のプラットフォームが実現します。

データブリックスソリューションへの移行

無料お試し・その他ご相談を承ります