メインコンテンツへジャンプ
<
ページ 5
>

クラウドエンジニアがAWSにDatabricksをデプロイするためのベストプラクティスとガイダンス: パート3

July 29, 2023 JD BraunTony Bo による投稿 in プラットフォームブログ
翻訳:Junichi Maruyama. - Original Blog Link クラウドエンジニアがAWSにDatabricksをデプロイするためのベストプラクティスとガイダンスシリーズの最終回として、重要なトピックである 自動化 を取り上げます。このブログポストでは、デプロイで使用される3つのエンドポイントを分解し、CloudFormationやTerraformのような一般的なInfrastructure as Code (IaC)ツールの例を説明し、自動化のための一般的なベストプラクティスで締めくくります。 しかし、これから参加される方には、Databricks on AWSのアーキテクチャとクラウドエンジニアにとっての利点について説明した part one を読まれることをお勧めします。また part two では、AWS 上でのデプロイとベストプラクティス、そして推奨事項について説明します。 クラウド・オートメーションのバックボーン...

Delta Live Table(DLT)を用いたGDPR・CCPAにおける「忘れられる権利」の取り扱いについて

June 1, 2023 Marcin Wojtyczka による投稿 in プラットフォームブログ
Original: Handling "Right to be Forgotten" in GDPR and CCPA using Delta Live Tables (DLT) 翻訳: junichi.maruyama ここ数十年でデータ量は爆発的に増加し、各国政府は個人データに対する個人の保護と権利を強化するための規制を設けています。 General Data Protection Regulation (GDPR)と...

Databricksがファイルサイズの自動最適化によりクエリパフォーマンスを最大2.2倍向上させた方法

Original : How Databricks improved query performance by up to 2.2x by automatically optimizing file sizes 翻訳:saki.kitaoka テーブルファイルサイズの最適化は、長い間データエンジニアにとって必要だが複雑なタスクでした。テーブルの適切なファイルサイズに到達すると、大幅なパフォーマンス向上が実現しますが、これは伝統的に深い専門知識と大量の時間投資を必要としていました。 最近、Databricks SQLのためのPredictive I/O( Predictive I/O...

Unity Catalogにおけるデータ権限モデルとアクセス制御のためのヒッチハイカーズガイド

The Hitchhiker's Guide to data privilege model and access control in Unity Catalog 翻訳: junichi.maruyama データの量、速度、多様性が増すにつれ、組織は、中核となるビジネス成果を適切に満たすために、確固たるデータガバナンスの実践にますます頼るようになっています。 Unity Catalog は、Databricks Lakehouseを支えるデータとAIのためのきめ細かなガバナンス・ソリューションです。データアクセスを管理・監査するための一元的なメカニズムを提供することで、企業のデータ資産のセキュリティとガバナンスを簡素化することができます。 Unity Catalogがファイル、テーブルの権限モデルを統一し、すべての言語をサポートするようになる以前、お客様は レガシーワークスペースレベルのテーブルACL(TACL)...

ソフトウェア開発およびDevOpsのベストプラクティスをDelta Live Tableパイプラインに適用

April 28, 2023 Alex Ott による投稿 in プラットフォームブログ
Original Blog : Applying software development & DevOps best practices to Delta Live Table pipelines 翻訳: junichi.maruyama Databricks Delta Live Tables(DLT)は、データエンジニアが記述・維持する必要のあるコード量を減らすことで、堅牢なデータ処理パイプラインの開発を根本的に簡素化します。また、環境間でコードとパイプラインの構成をシームレスに推進できるようにしながら、データのメンテナンスとインフラ運用の必要性を低減します。しかし、パイプラインに含まれるコードのテストを行う必要があり、それを効率的に行う方法についてよく質問を受けます。 このブログでは、複数のお客様との共同作業の経験に基づき、以下の項目を取り上げます: DevOpsのベストプラクティスをDelta...