メインコンテンツへジャンプ
<
ページ 10
>

Databricks Notebooksの新機能について

翻訳:Junichi Maruyama. Original Blog Link Databricks Notebooksは、データチームやAIチームが効率的に共同作業を行えるオーサリングエクスペリエンスを開発者向けに提供しています。今月末に開催されるData + AI SummitでNotebooksのエキサイティングな新機軸を共有するために、このチームは懸命に働いています。 Weston HutchinsとNeha Sharmaが担当するセッション「 Develop Like a Pro in Databricks Notebooks 」にぜひご参加ください。 ウォームアップとして、Notebooksに最近追加された機能を簡単に振り返ってみたいと思います。 SQLウェアハウスでDatabricks...

DatabricksとGoogle Cloudでリアルタイムデータ処理のパワーを解き放つ

Original Blog , 翻訳: junichi.maruyama Databricks Lakehouse Platform の Google Pub/Sub コネクタの正式リリースをお知らせします。この新しいコネクタは、 外部データソースコネクタの広範なエコシステム に追加され、Databricksから直接Google Pub/Subに簡単に登録し、リアルタイムでデータを処理・分析することができます。 Google Pub/Sub connector を使用すると、Pub/Subトピックを介して流れる豊富なリアルタイムデータを簡単に利用することができます。IoTデバイスからのストリーミングデータ、ユーザーインタラクション、アプリケーションログなど、Pub/Subストリームをサブスクライブする機能は、リアルタイム分析および機械学習のユースケースの可能性を広げます: また、Pub/Subコネクタを使用して、Google Cloudからのリアルタイムデータを燃料とする低レイテンシーの運用ユースケースを推進する

ゲスト投稿: Laminiを使用してDatabricksのデータで独自のLLMをトレーニングする

June 15, 2023 Sharon Zhou による投稿 in プラットフォームブログ
Original : Guest Post: Using Lamini to train your own LLM on your Databricks data 翻訳:Junichi Maruyama これは私たちのスタートアップパートナーである Lamini からのゲスト投稿です。 上の写真のLLMは、 Lamini のドキュメントで訓練されたものです。遊んでみてください。...

Welcome Rubicon to Databricks: これからのAIストレージとサービングシステムにむけて

Original: Welcome Rubicon to Databricks: The Future of AI Storage and Serving Systems 翻訳: saki.kitaoka RubiconのチームがDatabricksに参加することを発表でき、大変嬉しく思っています。大規模インフラ構築者であるAkhil GuptaとSergei Tsarevによって設立されたRubiconは、AIのためのストレージシステムの構築に取り組むスタートアップです。 私たちは10年以上前に、データとAIアプリケーションの構築を劇的に容易にすることを目標に、Databricksを会社としてスタートしました。私たちはすぐに、AIアプリケーションに必要なデータを処理するには、企業のデータウェアハウスなどの従来のストレージシステムでは不十分であることに気づきました。そこで、データウェアハウスとデータレイクストレージの長所を組み合わせたレイクハウスのコアストレージ基盤であるDelta Lakeを構築しました。 LL

Databricksのワークフローを利用したLakehouseのオーケストレーション

Original: Lakehouse Orchestration with Databricks Workflows 翻訳: junichi.maruyama 業界を問わず、組織はレイクハウス・アーキテクチャを採用し、すべてのデータ、アナリティクス、AIのワークロードに統一プラットフォームを使用しています。ワークロードを本番環境に移行する際、組織はワークロードのオーケストレーションの方法が、データとAIソリューションから引き出すことのできる価値にとって重要であることに気づいています。オーケストレーションが正しく行われれば、データチームの生産性を向上させ、イノベーションを加速させることができ、より良いインサイトと観測性を提供でき、最後にパイプラインの信頼性とリソース利用を改善することができる。 Databricks Lakehouse Platformの活用を選択したお客様にとって、オーケストレーションがもたらすこれらの潜在的なメリットはすべて手の届くところにありますが、Lakehouseとうまく統合されたオーケ

Databricks Unity CatalogをオープンなApache Hive Metastore APIで拡張可能になりました

Original: Extending Databricks Unity Catalog with an Open Apache Hive Metastore API 翻訳: saki.kitaoka 本日、Databricks Unity CatalogのHive Metastore(HMS)インターフェイスのプレビューを発表しました。Apache Hiveは、業界で最も広くサポートされているカタログインターフェースであり、事実上すべての主要なコンピューティングプラットフォームで使用可能です。この機能により、企業はデータ管理、発見、ガバナンスをUnity Catalogに一元化し、Amazon Elastic MapReduce(EMR)、オープンソースのApache Spark、Amazon...

Visual Studio Codeを使ってコードやノートブックをデバッグしましょう

Original: Debug your code and notebooks by using Visual Studio Code 翻訳: saki.kitaoka 今年初めに、Visual Studio Code用の公式Databricks拡張機能を ローンチ しました。今日、この拡張機能を使って、 インタラクティブなデバッグとローカルJupyter(ipynb)ノートブック開発 をサポートする機能を追加しています! Databricks Connectを使ったインタラクティブなデバッグ データサイエンティストやデータエンジニアは通常、コードのエラーを特定するためにprint文やログに頼っていますが、これは時間がかかり、エラーが生じやすいです。...

Delta Live Tablesを用いたサイバーセキュリティのレイクハウス向けETLパイプラインの構築

June 8, 2023 Silvio Fiorito による投稿 in データエンジニアリング
翻訳: Masahiko Kitamura オリジナル記事: Building ETL pipelines for the cybersecurity lakehouse with Delta Live Tables Databricksはこのほど、データエンジニア、データサイエンティスト、アナリストが、複雑なインフラを管理することなく、あらゆるクラウド上で信頼性の高いデータ、分析、MLワークフローを構築できるようにする Workflows を発表しました。Workflowsでは、 Delta Live Tables を使用して、インジェストやリネージを含む自動管理されたETLパイプラインを構築することができます。ワークフローとDelta Live...

CrowdStrike Falconのイベントに向けてサイバーセキュリティのレイクハウスの構築

翻訳: Masahiko Kitamura オリジナル記事: Building a Cybersecurity Lakehouse for CrowdStrike Falcon Events 今すぐDatabricksを導入して、 こちらのノートブック を実行してみてください。 エンドポイントデータは、セキュリティチームが脅威の検出、脅威の狩猟、インシデント調査、およびコンプライアンス要件を満たすために必要です。データ量は、1日あたりテラバイト、1年あたりペタバイトになることもあります。ほとんどの組織がエンドポイントログの収集、保存、分析に苦労しているのは、このような大容量のデータに関連するコストと複雑さのためです。しかし、こうである必要はありません。 この2部構成のブログシリーズでは、Databricksを使用してペタバイトのエンドポイントデータを運用し、高度な分析によってセキュリティ体制を向上させる方法を、コスト効率の良い方法でご紹介します。第1部(このブログ)では、データ収集のアーキテクチャとSIEM(Sp

Delta Live Table(DLT)を用いたGDPR・CCPAにおける「忘れられる権利」の取り扱いについて

June 1, 2023 Marcin Wojtyczka による投稿 in プラットフォームブログ
Original: Handling "Right to be Forgotten" in GDPR and CCPA using Delta Live Tables (DLT) 翻訳: junichi.maruyama ここ数十年でデータ量は爆発的に増加し、各国政府は個人データに対する個人の保護と権利を強化するための規制を設けています。 General Data Protection Regulation (GDPR)と...