NVIDIAは、研究者が生成AI、大規模言語モデル（LLM）、および創薬アプリケーションの基盤モデルを構築および展開できるプラットフォームであるBioNeMoフレームワークを開始した。このプラットフォームはNGCからダウンロードでき、創薬における生成AIの使用を簡素化し、加速するための管理サービス、APIエンドポイント、トレーニングフレームワークが含まれている。BioNeMoは、大規模なエンドツーエンドのアクセラレーションにより、最先端のモデルを事前トレーニングまたは微調整する機能も提供する。NVIDIA Base Commandプラットフォームを備えたNVIDIA DGX Cloud上のフルマネージドサービスとして、またはオンプレミス インフラストラクチャーやさまざまなクラウドプラットフォームで展開するためのダウンロード可能なフレームワークとしてアクセスできるという。
BioNeMoフレームワークは、創薬研究者と開発者に、標的の特定からリードの最適化まで、創薬パイプライン全体にわたって最先端のAIアプリケーションを構築および統合するための迅速かつ簡単な方法を提供する。このプラットフォームは、自動ダウンローダーによる簡単なデータ読み込み、前処理されたデータ、および一般的な生体分子データ形式のサポートを特徴としている。また、ドメイン固有のモデル、数千のGPUでトレーニングを加速するための最適化されたスケーリングレシピ、大規模な事前トレーニング、微調整、下流タスクの高速トレーニングのための柔軟なトレーニング ワークフローも含まれているとのこと。
BioNeMoフレームワークv1.0は、タンパク質および低分子LLMをトレーニングするための最適化されたモデルアーキテクチャーとツールを提供する。ESMモデルファミリは、BERTアーキテクチャーに基づいて構築されたトランスフォーマーベースのタンパク質言語モデルのコレクションであり、最適化され、BioNeMoフレームワークで利用できるようになった。これらのモデルは、タンパク質の構造と機能を支配する基礎的なパターンとアミノ酸間の関係を学習するために、タンパク質配列の大規模なデータセットでトレーニングされる。トレーニングされたESMモデルは、3D構造予測、バリアント効果予測、de novoタンパク質の設計など、転移学習を通じてさまざまな下流タスクに使用できるという。
BioNeMoフレームワークは、モデルパイプライン並列処理やモデル テンソル並列処理など、さまざまな手法を使用して、より高いスループットとスケーラビリティーの向上を実現する。また、モデルのハイパーパラメータを選択および調整するためのベストプラクティスも含まれており、パフォーマンスを最大化するためにこれらのオプションの多くを簡単に構成できる。BioNeMoフレームワークと最新のNVIDIA GPUによって提供されるフルスタックの最適化により、大幅に向上した速度と効率で最先端のモデルをトレーニングできる。例えば、20BパラメーターのESM2モデルは、BioNeMoフレームワークと512個のH100 GPUを使用して、わずか18.6日で1Tトークンでトレーニングできるとのことだ。
