データ サイエンスとエンジニアリングの急速に進歩する分野では、生産性を向上させるために人工知能 (AI) の統合が不可欠になっています。 数多くのツールが登場し、データ実務者の生活を一変させ、複雑なタスクを容易にし、イノベーションを促進してきました。 2023 年 7 月に Databricks Assistant をパブリック プレビューでリリースしたとき、私たちはデータ サイエンティスト、アナリスト、エンジニア間の効率を合理化することのみを目的として設計しました。 この目標をどの程度達成しているかをよりよく理解するために、経験の異なる複数の組織のトップユーザーを対象に調査を行うことにしました。 調査の目的 Databricks Assistant がデータ プロフェッショナルに与える影響をより深く理解するために、幅広いユーザー エクスペリエンスを捉えられるようにこの調査を綿密に設計しました。 このアンケートを実施した目的は、アシスタントがユーザーの日常生活に与える影響をよりよく理解するだけでなく、アシスタント

私たちは最近、 DBRX という最新の汎用LLM（大規模言語モデル）を発表しました。DBRXは、Mosaic AI Trainingを使用してトレーニング、ファインチューニング、および評価されました。トレーニングは3072台のNVIDIA H100を使用してスケーリングされ、処理したトークン数は12兆を超えました。 LLMのトレーニング、特にDBRXのようなMoE（専門家の集合）モデルのトレーニングは難しいです。これには、多くのインフラ、パフォーマンス、科学的な課題を克服する必要があります。Mosaic AI Trainingはこれらの課題に対応するために意図的に構築され、 DBRX 、 MPTシリーズのモデル 、および Ola の Krutrim 、 AI2 の OLMo 、 Dynamo AIの...

Databricksでの巧みなプロンプトとファインチューニングにより、Llama3 8B で Spider dev データセットの 79.9% に到達した方法。

毎年恒例の Data Team Awards は、ビジネス界が直面している最も一般的で複雑な問題のいくつかに、多様なエンタープライズデータチームがどのように取り組んでいるかにスポットライトを当てています。 今年は、世界中のさまざまな業界から 200 以上のノミネートが寄せられました。 6 つの異なるカテゴリーにまたがるこれらのファイナリストは、組織がデータと AI の取り組みに適用する並外れた創造性と独創性を強調しています。 私たちは、この画期的な成果をデータの専門家や愛好家のコミュニティと共有できることを嬉しく思っています。 データ チーム ディスラプター アワードは、各分野のデータ管理とアクティベーションへの取り組み方を根本的に変えているエンタープライズ データ チームを表彰するものです。 この賞は、現状に挑戦する人々を称えるものであり、データと AI をビジネス慣行に統合して、それぞれの業界で新しい基準を確立したチームに贈られます。 以下は、2024...

昨年、 Databricksモデルサービングにおける 基盤モデルのサポート を開始し 、企業が統合データおよび AI プラットフォーム上で安全でカスタマイズされた生成 AI アプリを構築できるようにしました。 それ以来、何千もの組織がモデルサービングを使用して、独自のデータセットに合わせてカスタマイズされた生成 AI アプリを展開してきました。 本日、生成 AI アプリの実験、カスタマイズ、展開を容易にする新しいアップデートを発表できることを嬉しく思います。 これらの更新には、新しい大規模言語モデル (LLM) へのアクセス、より簡単な検出、よりシンプルなカスタマイズ オプション、および改善された モニタリング が含まれます。 これらの改善により、生成 AI...

12 月に、Databricks は Retrieval Augmented Generation (RAG) を使用して AI アプリケーションを本番運用するための新しいツール を発表しました 。それ以来、 Databricks Data Intelligence Platform 上で何千もの顧客によって構築される RAG アプリケーションが爆発的に増加しています 。 本日、 DatabricksVector Searchの一般提供やモデルサービングのメジャーアップデートなど、...

Data Team Awards は、さまざまなセクターの企業が最も差し迫った課題に直面するのを支援する上で、エンタープライズデータチームが果たす重要な役割を称えるものです。 200以上のノミネートがあり、最終選考に残った企業は、データと人工知能における目覚ましいイノベーションを披露しています。 Data + AI Summit が近づいており、Databricks はノミネートされたすべての企業の成功事例を共有できることを嬉しく思っています。 2024 年のトランスフォーメーション アワードは、データと AI を通じて組織を変革するために全力を尽くしたチームを表彰するために設けられる名誉ある賞であり、前例のない規模でこの変革を推進する変革の設計者を称えます。 企業チーム内でのデータの役割を再考し、最先端のデータおよび AI テクノロジーを活用して、ビジネス モデル、ワークフロー、意思決定プロセスを根本的に変えています。 彼らの仕事はトランスフォーメーションの本質を体現しており、データが戦略的イノベーション、オペ

序章 AIやデータ ドリブンを目指す組織では、多くの場合、社内のチームに高品質で信頼できるデータ を提供する必要があります。 このようなデータプロダクトを構築することで、組織はデータと AI の目標に対する標準と信頼できるビジネス上で価値のある基盤を確立できるようになります。 品質とユーザビリティを最優先するアプローチの 1 つは、データメッシュ パラダイムを使用してデータ資産の所有権と管理を民主化することです。 当社のブログ記事 ( パート 1 、 パート 2 ) では、顧客が企業内でDatabricksを活用して、データ メッシュの基本的な柱 (その 1...

データ分析とAIガバナンスは、データとAIの民主化の取り組みにおいて、おそらく最も重要でありながら最も難しい側面です。 データ分析とAIのニーズに合わせて、ビジネスインテリジェンス用のデータウェアハウスとAI用のデータレイクという 2 つの異なるシステムを導入している可能性があります。 そして今、それぞれが異なるガバナンスモデルを持つ2つのシステム間でデータを移動するデータサイロを作成しました。 ただし、データはファイルやテーブルに限定されません。 また、ダッシュボード、ML モデル、ノートブックなどの資産にはそれぞれ独自の権限モデルがあり、これらすべての資産に対するアクセス権限を一貫して管理することが困難になっています。 データ資産が、アクセス管理ソリューションが異なる複数のクラウドに存在する場合、問題はさらに大きくなります。 良いニュースです。データガバナンスを統合する方法があります。 しかし、なぜ気にする必要があるのでしょうか? 堅牢なデータガバナンスがなければ、チームや企業はオーディエンスを完全に理解でき