高速、安全、高信頼性：エンタープライズグレードのLLM推論
イントロダクション 2023年のめまぐるしい発展の後、多くの企業がビジネスを加速させるために、ますます高性能になる生成AIモデルの採用に躍起になっています。 この推進には、最先端の大規模言語モデルをクエリし、企業の既存の業務の流れに組み込む能力が不可欠です。 これらのプロジェクトの主力は推論APIで、ユーザーがセキュアな環境にあるモデルにリクエストを送 り、素早くレスポンスを受け取るための使いやすいインターフェースです。 私たちは、リアルタイムインタラクションの要求に合わせた最先端の推論システムを開発しました。このようなシステムの構築には、革新的なスケジューリング技術から、セキュリティや信頼性を含む新しい考慮事項まで、異なる原則のセットが必要です。このブログポストでは 、 前回のブログ で学んだことを 推論APIに取り入れることで、私たちの思考プロセスがどのように進化してきたかを説明します。 オンライン推論とユーザー体験にとって重要なこと パフォーマンスを最大化するために、推論リクエストはNVIDIAのA100およ
きめ細かなヒューマンフィードバック
このブログ投稿では 、 Fine-Grained RLHF について説明 します。Fine-Grained RLHFは、密度と多様性という2つの異なる方法できめ細かい報酬関数から学習とトレーニングを可能にするフレームワークです。 密度とは、全てのセグメント（例えば文章）が生成された後に報酬を提供することで達成されます。多様性は、異なるフィードバックタイプ（例えば、事実誤認、無関係、情報の不完全性）に関連する複数の報酬モデルを組み込むことによって達成されます。 粒度の細かい報酬とは？ RLHF における これまでの 研究 は、 言語モデル（LM）出力の全体的な品質に関する人間の嗜好を収集することに重点を置いてきました。 しかし、このような全体的なフィードバックは限られた情報しか提供しません。 NeurIPS 2023で発表した論文 では、人間のフィードバック（例えば、どのサブセンテンスが無関係か、どのセンテンスが真実でないか、どのセンテンスが有害か）を明示的な学習信号として導入しました。 RLHFの報酬関数とは、テ
LIMIT：インストラクション・チューニングは「より少ないこと」が重要
汎用的な質問応答用の大規模言語モデルをどのようにファインチューニングすればよいのでしょうか？ 興味深いアプローチの1つは、少数の高品質なサンプルに対する教師ありのファインチューニングです。 最近の LIMA（"Less Is More for Alignment" ） 研究では、1,000の多様で質の高い質問と回答のペアでトレーニングするだけで、汎用的な指示の追従が達成できると大胆に主張しました。同時期の他のいくつかの研究でも、この種の「スタイルアライメント」のファインチューニングは、少数の質の高いサンプルで達成できると主張しています（例えば 、Alpaca、 Vicuna 、 Alpagasus 、および Tülü 、しかし、 The False Promise of Imitating Proprietary...
米空軍ハッカソン：大規模言語モデルが米空軍の飛行試験にどのような革命をもたらすか
[配布に関する声明 A. 公開を承認；配布は無制限 412TW-PA-24004] 本書は、米国空軍、国防総省、または米国政府の公式な方針または立場を反映するものではありません。 米空軍（USAF）ハッカソンとは？ 空軍テストセンター（AFTC） データハッカソンは、AFTCのテスト専門家が1週間にわたって集まり、新しい技術を駆使して空軍の新たな問題に取り組むコンソーシアムです。 今回の第5回ハッカソンでは、大規模言語モデル（LLM）に焦点を当て、AFTCの3つの拠点に44名の参加者が集まり、また遠隔地からの参加者もありました。 OpenAIのChatGPTのようなLLMは、急速に技術分野で注目を集めるようになり、コードの初期化や文章コンテンツの下書きにデジタルアシスタントを利用するというアイデアが主流になりつつあります。 このような利点があるにもかかわらず、空軍では、機密情報を領域外に暴露する可能性があるため、商用モデルの短期的な使用には制約があります。 機能するLLMを空軍の境界内に配備したいという意欲はありま
Databricksを活用したOLMoが登場
私はDatabricksにおけるニューラルネットワークのチーフサイエンティストとして、誰もが自分のデータを使ってAIモデルを構築し、微調整（ファインチューニング）できるようにするという目標に向かって研究チームを率いています。 2020年、私は機械学習の研究者や有識者からなる小さなグループの一員として、MosaicMLを設立しました。 私たちは常に、知識を共有し、コミュニティにツールを提供することで、開かれた科学的探究を支援することに尽力してきました。 同じアカデミックなルーツを持つDatabricksに加わって以来、私たちはそのコミットメントをさらに深めています。 その精神に基づき、私たちは非営利団体 Allen Institute for AI（AI2 ）の科学者たちと 、 技術的な知識の共有から 今日の大きな発表 に至るまで、あらゆる面で協力してきました： OLMoです。私の意見では、AI2は世界最高のNLP研究所のひとつであり、非営利団体ならではの自由奔放な創造性、誠実さへのコミットメント、リソースを駆使し