Databricks のリポジトリを使用したデータサイエンスの生産化

多くのデータサイエンスソリューションは、データチームに、探索の柔軟性か生産の強硬性かのどちらかを選択させます。その結果、データサイエンティストは、異なるテクノロジースタックを使用するエンジニアリングチームに作業を引き渡すことが多く、その作業は新しい環境で実質的に書き直されることになります。これはコストがかかるだけでなく、データサイエンティストの仕事がビジネスに価値をもたらすまでにかかる時間を遅らせます。

Databricks 上の次世代データサイエンスワークスペースは、これらのトレードオフを乗り越え、現代のデータチームにオープンで統合されたエクスペリエンスを提供します。この Databricks ワークスペースの一環として、新しい Repos 機能の一般提供が開始されました。これにより、Git プロバイダーとのリポジトリレベルでの統合が実現され、データチームのメンバー全員がベストプラクティスを実践できるようになります。Databricks Reposは、Github、Bitbucket、Gitlab、Microsoft Azure DevOpsをはじめとする幅広いGitプロバイダーをサポートし、開発者ツールキットと統合されます。

Git と統合することで、Databricks Repos はデータサイエンスとデータエンジニアリングに最高クラスの開発環境を提供します。コードを本番運用環境にデプロイする前に、Databricks で開発されたコードに対して、コードレビューやテストなどの標準を適用できます。開発者は Repos で、リモート Git リポジトリのクローン（図 1）、ブランチの管理、リモートの変更のプル、コミット前の変更の視覚的な確認（図 2）など、使い慣れた Git 機能を利用できます。

Repos の一般公開に伴い、最も要求の厳しいエンタープライズのユースケースに対応するための機能を追加しています。

• 許可リストを使用すると、管理者は、ユーザーがコードをコミットできる Git リポジトリの URL プレフィックスを設定できます。これにより、許可されていないリポジトリにコードが誤ってプッシュされることがなくなります。
• シークレット検出は、コミットされる前にソースコード内の平文のシークレットを特定し、データチームがシークレットマネージャーを使用するというベストプラクティスに従うのを支援します。

Repos は CI/CD パイプラインと統合することもでき、データチームはデータサイエンスとmachine learning (ML) のコードを実験段階から本番運用へシームレスに移行できます。Repos API (現在プライベートプレビュー中。アクセスについては Databricks の担当者にお問い合わせください) を使用すると、Databricks Repos をリモートブランチの最新バージョンにプログラムで更新できます。これにより、たとえば次のようなベストプラクティスのワークフローなど、CI/CD パイプラインを簡単に実装できます。

1. 開発: 開発者は、ユーザーフォルダ内にあるリモートリポジトリを個人用にチェックアウトし、機能ブランチで作業します。
2. レビューとテスト: 機能のレビュー準備が整い、PRが作成されると、CI/CDシステムはRepos APIを使用して、機能ブランチの変更でDatabricksのテスト環境を自動的に更新し、変更を検証するための一連のテストを実行できます。
3. 本番運用: 最後に、すべてのテストに合格し、PR が承認・マージされると、CI/CD システムは Repos API を使用して、Databricks の本番運用を変更内容で更新できます。これで、本番運用ジョブは最新のコードでランされます。

Repos機能はNext Generation Workspaceの一部であり、このパブリックリリースによって、データチームはベストプラクティスに容易に従い、探索から本番運用までのパスを加速できるようになります。

無料トライアル

Reposはパブリックプレビュー中であり、Databricksワークスペースで有効にできます！Admin パネル → Advanced に移動し、"Files in Repos" の隣にある "Enable" をクリックしてください。詳しくはドキュメントを参照してください。