序章 ビンパッキング問題は、業界を問わず企業組織に広範な影響を及ぼす古典的な最適化の課題です。この問題の核心は、有限の数のコンテナや「ビン」に一連のオブジェクトを最も効率的に詰め込む方法を見つけることで、目標は無駄なスペースを最小限に抑えることです。 この課題は、実世界のアプリケーションで広く見られます。例えば、出荷や物流の最適化、データセンターやクラウドコンピューティング環境でのリソースの効率的な割り当てなどです。組織はしばしば大量のアイテムやコンテナを扱うため、最適なパッキングソリューションを見つけることで、大幅なコスト削減と運用効率の向上を実現できます。 10Bドル規模の先進的な産業機器メーカーにとって、ビンパッキングは供給チェーンの重要な一部です。この会社では、購入した部品を詰めてもらうために、コンテナをベンダーに送ることが一般的です。これらの部品は、重機や車両の製造プロセスで使用されます。供給チェーンの複雑さが増し、生産目標が変動する中で、パッケージングエンジニアリングチームは、組み立てラインに適切な数

私たちは、 Mosaic AIモデルトレーニング が、Meta Llama 3.1モデルファミリーの微調整時に131Kトークンの全文脈長をサポートするようになったことを発表することを嬉しく思います。この新機能により、Databricksの顧客は、長い文脈長のエンタープライズデータを使用して特化したモデルを作成することで、さらに高品質なRetrieval Augmented Generation（RAG）またはツール使用システムを構築することができます。 LLMの入力プロンプトのサイズは、その コンテキスト長 によって決定されます。お客様は特にRAGやマルチドキュメント分析のようなユースケースでは、短いコンテキスト長に制限されることが多いです。Meta Llama 3.1モデルは、コンテキスト長が131Kトークンと長いです。比較すると、『グレート・ギャツビー』は 約72Kトークン です。Llama 3.1モデルは、大量のデータコーパスを理解することを可能にし、RAGでのチャンキングや再ランキングの必要性を減らすか、

ジェネレーティブAI技術は数ヶ月間話題となっており、その技術の現状や将来への即時的な影響に関してはさまざまな意見が存在します。技術が絶えず変化している中でも、Gartnerは 2026年には 80％の企業がジェネレーティブAIソリューションを本番環境で使用するようになると予測しています。さらに、Gartnerは、これらのソリューションを構築・展開するためのエンジニアリングスキルを今から身につけることを推奨しています。また、スキルギャップが将来の技術とその実用化に支障をきたす可能性があると強調しています。 そのため、Databricksはこの進化し続ける課題に対応するための認定資格、「 Databricks Generative AI Engineer Associate 認定」を設立しました。我々は業界初のジェネレーティブAIエンジニア認定に投資し、企業や個人がDatabricks上でジェネレーティブAIアプリケーションを構築・展開するための専門知識を確立できるよう支援しています。Databricksは、認定資格

Databricksでは、データが最も価値のある資産の一つであることを理解しています。当社の製品とセキュリティチームは協力して、セキュリティリスクに対抗し、コンプライアンスの義務を満たすことができるエンタープライズグレードの データインテリジェンスプラットフォーム を提供します。過去1年間で、 Azure Private Link for Databricks SQL Serverless によるデータアクセスの保護、 Azure firewall support for Workspace storage によるデータのプライバシー保護、 Azure confidential computing による使用中のデータ保護、 FedRAMP...

Databricksを基盤にした画期的なGenerative AIのユースケースを持つ起業家やスタートアップですか？それなら、私たちのチャレンジに挑戦してみませんか？Databricksは、 Databricks Generative AI Startup Challenge を紹介することを大変嬉しく思います - これは、Generative AIの力を利用して実際の顧客の問題を解決する革新的な製品を開発している 初期段階のスタートアップ向けの賞金総額が100万ドル以上のコンペティション であり、Databricks Data Intelligence Platformの力を活用しています。 Databricks Ventures と Databricks for Startups のスポンサーであり、AWSとの協力のもと、これはあなたが印象を残し、比類のない露出を得て、成功への道を加速するチャンスです。...

本日、SQLエディタで 名前付きパラメータマーカー のサポートを発表できることを嬉しく思います。この機能により、SQLエディタでパラメータ化されたコードを記述でき、そのままダッシュボードやノートブックで構文を変更せずにコピーして実行することが可能になります。これは、クエリ、ノートブック、ダッシュボード全体でパラメータを統一するための重要なマイルストーンとなります。 名前付きパラメータマーカーを使用する パラメータを使用することで、実行時にデータセットのクエリに値を代入し、日付や商品カテゴリなどの条件でデータをフィルタリングできます。これにより、SQLクエリでデータが集約される前に、より効率的なクエリと精度の高い分析が可能になります。 パラメータマーカーは、クエリ、ノートブック、ダッシュボード、ワークフロー、 SQL Execution API でサポートされています。これらは厳密に型指定されており、提供された値をSQL文から明確に分離することで、SQLインジェクション攻撃に対する耐性も強化されています。名前付きパ

パーソナルアクセストークン（PAT）は、パスワードでログインせずにAzure DatabricksやAzure DevOpsなどのサービスにアクセスする便利な方法です。 現在、多くの顧客がDatabricks Gitフォルダ（旧Repos）のリモートリポジトリのGit認証情報としてAzure DevOps PATトークンを使用しています。 残念ながら、PATトークンの使用にはいくつかのデメリットがあります。 Azure DevOpsでは、PATトークンはサービスプリンシパルやマネージドアイデンティティに発行することができず、顧客はサービスアカウントやユーザーのアイデンティティに頼ることになります。 また、PATトークンの最大寿命はしばしば数日、数週間、あるいは数ヶ月であり、そのローテーション（古いトークンが使用できなくなるようにトークンを更新するプロセス）は 管理 されることがありますが、これは長寿命の漏洩したトークンが大きなリスクをもたらす可能性があることを意味します。 より安全な代替手段は、Microsoft

Databricksが2024年の フォーチュン最優秀テクノロジー職場™ の一つに選ばれたことを嬉しく思います。この賞は、Brickstersが活躍し、革新を生み出しながら、データチームが世界の最も厳しい問題を解決するための環境を作り出すという私たちのコミットメントを反映しています。UCバークレーAMP研究所での起源に根ざして、Databricksはオープンで透明な文化を育て、次世代のデータインテリジェンスを推進し、データとAIの未来を形成することに専念しています。 テクノロジーの最優秀職場リストは非常に競争力があります。Great Place To Workは、職場文化に関する世界的な権威であり、アメリカ最大の継続的な年間労働力調査を実施しており、今年だけでも130万件以上の調査回答と820万人以上の従業員を代表する企業からのデータに基づいています。 彼らの言葉だけを信じないでください。テクノロジーの最優秀職場であるDatabricksを作り上げるBrickstersから直接聞いてみてください。 データ駆動型エ

Databricks Visual Studio Code Extensionの強化された機能セットを発表することを嬉しく思います： Databricks Asset Bundles （DABs）を基にしたプロジェクトの設定を簡単に行い、リソースエクスプローラーで内部開発ループを改善し、Databricks CLIとのより密接な統合で生産性を向上させます。すでにVS Code拡張機能を使用している場合は、これらの機能を簡単にアップグレードして有効にすることができます。 これらの機能は、DABsの力をあなたの指先にもたらし、コンテキストスイッチを減らし、最良の慣行に基づいたスケーラブルでテスト可能な、再利用可能なソフトウェアの作成に没頭させます。 "Databricks VS Code Extensionなしでは、2024年の目標を達成することはできませんでした。インタラクティブウィンドウは、ソースコードを変更することなくデバッグを可能にすることで、開発中に私にとって重要な役割を果たしました。ローカルでのコード実行