メインコンテンツへジャンプ
ページ 1
Company blog

🏆第1回 DatabricksアジアパシフィックLLMカップ優勝者発表🥇

Databricksがアジア太平洋地域で初めて開催した大規模言語モデル(LLM)カップの優勝者を発表できることを嬉しく思います。この大会には、10カ国以上の1,000人を超えるデータおよびAIの実務家が参加しました。 2023年10月から12月にかけて、参加者はDatabricksを使用してLLMを活用したアプリケーションを構築し、実際のビジネス課題を解決するために招待されました。 参加者を成功に導くため、ハッカソンに先立ち、LLM構築に関する自習型学習ワークショップと、Databricksのソリューションアーキテクトによる専用トレーニングを提供しました。 応募作品は、創造性、ビジネスへの適用可能性、関連性、取組みの完成度、LLMアーキテクチャの拡張性などに基づいて評価されました。 インパクトのあるプロジェクトが数多くあった中で、電気通信とサイバーセキュリティにおける組織の重要な課題に取り組む革新的なアイデアを持つ2つのチームが際立っていました。 受賞チームのイノベーションは、適切なテクノロジーによってチームがい
Engineering blog

Databricks上のPyTorch - Spark PyTorch Distributor の紹介

Original Blog : PyTorch on Databricks - Introducing the Spark PyTorch Distributor 翻訳: junichi.maruyama 背景と動機 ディープラーニングのアルゴリズムは複雑で、トレーニングに時間がかかりますが、これらのアルゴリズムが実現する価値のために、研究室から生産現場へと急速に移行しつつあります。学習済みのモデルを使用して微調整する場合でも、ネットワークをゼロから構築する場合でも、学習時のメモリと計算負荷はすぐにボトルネックとなります。このような制約を克服するための手段として、一般的な最初の防御策は、分散学習を活用することです。Tensorflowには spark-tensorflow-distributor がありますが、PyTorchには同等のものがありませんでした。 Apache Sparkクラスタでの分散PyTorchトレーニングを簡素化するTorchDistributorライブラリをようやく発表することができました。