Generatived（Beta）｜生成AIの最新ニュースとトレンドを提供

NTTリサーチ（カリフォルニア州サニーベール）は、物理・情報学（PHI）研究所に所属する科学者たちが、ディープニューラルネットワーク（DNN）のバイアスを克服する方法を提案する論文を共著したと発表した。DNNはAIの一種で、科学、エンジニアリング、ビジネス、さらには一般的なアプリケーションで広く使われているが、時折、バイアスを伝える可能性のある不適切な属性に依存することがある。この論文は、ミシガン大学の大学院生でPHI研究所の研究インターンであるエクディープ・シン・ルバナ、ハーバード大学脳科学センターの研究科学者である田中秀典、および他の3人の科学者によって提案されたもので、DNNのエラーや「損失」を減らすための現状の方法であるナイーブな微調整の限界を克服し、モデルがバイアスに傾きやすい属性に依存するのを減らす新しいアルゴリズムを提案している。DNNを駆動する技術、特に生成AIは人気があるが、その動作原理はあまり知られていない。この論文の著者たちは、DNNの損失ランドスケープに焦点を当てている。具体的には、予測を行うための異なるメカニズムに依存する損失最小化関数がどのように接続されているかを考察している。例えば、魚（この研究で使用されたイラスト）などの画像を分類するDNNは、オブジェクトの形状と背景を予測の入力パラメータとして使用できる。そのため、その損失最小化パスは、形状という正当な属性に依存するものと、背景色という不適切な属性に依存するものという、メカニズム的に異なるモードで動作する。従って、これらのモードは線形的な接続性、つまり低損失の単純なパスを欠いている。ナイーブな微調整は、モデルの意思決定メカニズムを根本的に変えることができない。なぜなら、それは損失ランドスケープ上の別の谷へ移動することを必要とするからだ。代わりに、低損失の「シンク」や「谷」を分離する障壁を越えてモデルを駆動する必要がある。著者たちは、この修正アルゴリズムを接続性に基づく微調整（CBFT）と呼んでいる。田中博士は、ナイーブな微調整は谷を探索するだけで、メカニズムを変えるには山を越える必要があり、これがCBFTが行うことだと述べている。最終的な目標は、DNNが、「魚を分類する」か「クレジット限度を設定する」か何か他のことをするかに関わらず、背景色や性別などの不適切な属性ではなく、オブジェクトの形状や実際の信用力などの正当な属性に依存するようにすることだという。PHI研究所は、既存の計算モデルを再考し、現実世界のブレークスルーを実現することを目指して設立された。この研究所は、線形光学、量子関連の計算、ニューラルネットワークに焦点を当てている。この論文は、PHI研究所がニューラルネットワークに取り組んでいる作業を代表するもので、それはいくつかの角度からアプローチしている。その一例として、2019年のNeurIPS会議で発表された論文があり、これは脳内のニューラルネットワークについての基本的な理解を深めたものだ。その改訂版が最近、最も影響力のあるジャーナルの一つであるNeuronの最新版に掲載された。