過去 1 年間、業界レベルのLLMテクノロジーの世界をフォローしてきた方なら、本番運用におけるフレームワークやツールの多さに気付いているでしょう。スタートアップ企業は、 検索拡張生成 (RAG) 自動化からカスタム ファインチューニング サービスまで、あらゆるものを構築しています。Langchain は 、おそらくこれらすべての新しいフレームワークの中で最も有名で、2023 年春以降、連鎖言語モデル コンポーネントの簡単なプロトタイプ作成を可能にしています。ただし、最近の重要な開発は、スタートアップ企業からではなく、学術界から生まれました。 2023年10月、Databricksの共同創設者であるMatei Zahariaのスタンフォード研究室の研究者たちが、宣言型の言語モデルコールを自己改善型パイプラインにコンパイルするためのライブラリである DSPy を発表しました。DSPyの主要な要素は自己改善型パイプラインです。例えば、ChatGPTは単一の入力-出力インターフェースとして見えますが、実際には単一のLLM

Databricks Assistant オートコンプリート のパブリックプレビューを発表できることを嬉しく思います。この機能は、リアルタイムでAI駆動のアシスタントがパーソナライズされたコード提案を提供します。ノートブックやSQLエディタに直接統合されており、Assistant Autocompleteの提案が開発の流れに自然に溶け込み、エディタに集中したまま作業を続けることができます。 AI によるコード提案で生産性を向上 Databricks Assistant オートコンプリートは、SQLおよびPythonでの入力中に自動的に高速なコード提案を提供します。AIコード補完は、現在のコードセルや周囲のコードセル、Unity Catalogメタデータ、DataFrameデータなどのコンテキストを使用して、入力中に非常に関連性の高い提案を生成します。 SQL Python Databricks Assistant Autocompleteを最大限に活用する方法 Databricks Assistant Autoc

GenAI アプリケーションをうまく構築するには、最先端の最新モデルを活用するだけでは不十分です。 データ、モデル、インフラストラクチャを柔軟かつスケーラブルに統合し、本番運用に対応した 複合AIシステム を開発する必要 があります。これには、オープンソース モデルと独自モデルの両方、ベクター データベースへのアクセス、モデルの微調整、構造化データのクエリ、エンドポイントの作成、データの準備、コストの管理、ソリューションの監視を行う機能が必要です。 このブログでは、 Databricksへの投資も行っている大手ベンチャーキャピタル会社 (このブログでは「VC」と表記) の GenAI 変革について見ていきます。この VC は、社内でイノベーションを推進するだけでなく、将来の投資を導く GenAI アプリケーションを構築する機会をより深く理解したいと考えていました。この VC は、構造化ファンド データから「 Databricksにいくら投資したか、現在の価値はいくらか」などの情報を照会する Q&A...

データ サイエンスとエンジニアリングの急速に進歩する分野では、生産性を向上させるために人工知能 (AI) の統合が不可欠になっています。 数多くのツールが登場し、データ実務者の生活を一変させ、複雑なタスクを容易にし、イノベーションを促進してきました。 2023 年 7 月に Databricks Assistant をパブリック プレビューでリリースしたとき、私たちはデータ サイエンティスト、アナリスト、エンジニア間の効率を合理化することのみを目的として設計しました。 この目標をどの程度達成しているかをよりよく理解するために、経験の異なる複数の組織のトップユーザーを対象に調査を行うことにしました。 調査の目的 Databricks Assistant がデータ プロフェッショナルに与える影響をより深く理解するために、幅広いユーザー エクスペリエンスを捉えられるようにこの調査を綿密に設計しました。 このアンケートを実施した目的は、アシスタントがユーザーの日常生活に与える影響をよりよく理解するだけでなく、アシスタント

私たちは最近、 DBRX という最新の汎用LLM（大規模言語モデル）を発表しました。DBRXは、Mosaic AI Trainingを使用してトレーニング、ファインチューニング、および評価されました。トレーニングは3072台のNVIDIA H100を使用してスケーリングされ、処理したトークン数は12兆を超えました。 LLMのトレーニング、特にDBRXのようなMoE（専門家の集合）モデルのトレーニングは難しいです。これには、多くのインフラ、パフォーマンス、科学的な課題を克服する必要があります。Mosaic AI Trainingはこれらの課題に対応するために意図的に構築され、 DBRX 、 MPTシリーズのモデル 、および Ola の Krutrim 、 AI2 の OLMo 、 Dynamo AIの...

Databricksでの巧みなプロンプトとファインチューニングにより、Llama3 8B で Spider dev データセットの 79.9% に到達した方法。

昨年、 Databricksモデルサービングにおける 基盤モデルのサポート を開始し 、企業が統合データおよび AI プラットフォーム上で安全でカスタマイズされた生成 AI アプリを構築できるようにしました。 それ以来、何千もの組織がモデルサービングを使用して、独自のデータセットに合わせてカスタマイズされた生成 AI アプリを展開してきました。 本日、生成 AI アプリの実験、カスタマイズ、展開を容易にする新しいアップデートを発表できることを嬉しく思います。 これらの更新には、新しい大規模言語モデル (LLM) へのアクセス、より簡単な検出、よりシンプルなカスタマイズ オプション、および改善された モニタリング が含まれます。 これらの改善により、生成 AI...

良いベンチマークとは、どのモデルが優れていて、どのモデルが劣っているかを明確に示すものです。 Databricks Mosaic Researchチームは、研究者が実験を評価するための優れた測定ツールを見つけることに専念しています。 モザイク評価ガントレットは、モデルの質を評価するためのベンチマークセットで、言語理解、読解力、記号的問題解決、世界知識、常識、プログラミングの6つのコアコンピテンシーにまたがる39の公開ベンチマークで構成されています。 モデル規模を超えた研究タスクに最も有用なメトリクスに優先順位をつけるため、一連の高度なモデルを使用してベンチマークをテストしました。 最近の研究、特に DeepMindのChinchilla論文 では 、 パラメータ数と学習データサイズの両方を増やすことで言語モデルをスケールアップすると、性能が大幅に向上することが実証 されています。信頼できるベンチマークセットを特定するには、モデルの性能とスケールの間に確立された関係を活用します。スケーリング法則は個々のベンチマーク

生成AIの企業導入に関して、ほとんどの組織は過渡期にあります。 私たちが話をした顧客の88% は、 現在、生成AIのパイロットプロジェクトを実行して いると述べていますが、大多数は、テスト環境から本番環境に実験を移行することに神経質になりすぎているとも述べています。 では、何がこの格差を引き起こしているのでしょうか？ それがコストとリスクに関する懸念です。 以前は、IT投資を行う場合、企業は「構築すれば価値は後からやってくる」という考え方をすることができましたが、もう違います。現在は、新しいプロジェクトは、ビジネスにとって価値あるものを迅速に生み出すことが求められています。 かつては、役員や投資家はIT投資に対するリターンが得られるまで数年待っても構わなかったかもしれませんが、今ではわずか6ヶ月での進展を求めています。 企業は、生成AI開発コストのROIを懸念しているだけでなく、AIシステムが悪い結果や不正確な結果（ハルシネーションなど）を吐き出し、ビジネスに損害を与えたり、企業の機密情報が漏洩する可能性があるこ