韓国のKAIST AI大学院チェ・ジェシク教授（説明可能な人工知能研究センター長）の研究チームが、深層学習（以下ディープラーニング）生成モデルのエラー修正技術を開発したと25日に明かした。
最近ディープラーニング生成モデル（Deep Generative Models）は画像や音声だけでなく、文章など新たなコンテンツを生成するのに広く活用されている。このような生成モデルの発展にも関わらず、最近開発された生成モデルも依然として結果に欠陥がある場合が多く、国防、医療、製造など重要な作業や学習に生成モデルを活用するのは難しい点があった。
チェ教授の研究チームは、ディープラーニング内部を解析する説明可能な人工知能を活用し、生成モデルの内部で、画像生成過程で問題を起こすユニット（ニューロン）を見つけ除去するアルゴリズムを考案し、生成モデルのエラーを修正した。このような生成エラーの修正技術は、ニュートラルネットワークモデルの再学習を要求せず、モデルの構造に対する依存性も少なく、様々な敵対的生成ネットワークに広く応用・適用できると期待される。また、考案された技術はディープラーニング生成モデルの信頼度を向上させ、生成モデルが重要な作業にも適用されることが期待される。
AI大学院のAli Tousi、チョン・へドン研究員が共同第一著者として参加した今回の研究は「国際コンピュータビジョンとパターン認識学術大会（IEEE Conference on Computer Vision and Pattern Recognition, CVPR）」で6月23日に発表された。（論文名：Automatic Correction of Internal Units in Generative Neural Networks, CVPR 2021）
敵対的生成ネットワークは、生成器と識別器の敵対関係を利用したモデルで、生成画像の品質が高く多様性も高いため、画像生成だけでなく様々な分野（例えば、時系列データの生成）で注目されている。
ディープラーニング生成モデルの性能を向上させるために、敵対的生成技法・生成器の新しい構造設計あるいは学習戦略の細分化といった研究が活発に行われている。しかし、最新の敵対的生成ネットワークモデルは依然として視覚的欠陥を含む画像を生成しており、再学習を通じてこれを解決するにはエラー修正を保障できず、多くの時間とコストが必要になる。このように規模が大きい最新の敵対的生成ネットワークモデルの一部エラーを解決するために、モデル全体を再学習させるのは不適切だ。
研究チームは問題解決のために、生成エラーを誘発するディープラーニング内部のユニット（ニューロン）を見つけて除去するアルゴリズムを開発した。アルゴリズムは、ディープラーニングモデルの視覚的欠陥の位置を把握し、ディープラーニングモデル内の層に存在するエラーを誘発したユニットを探し、活性化できないようにして欠陥が発生しないようにした。
研究チームは説明可能な人工知能技術を活用し、視覚的欠陥が、生成された画像のどの部分に分布しているのか、またディープラーニング内部のどのユニットが欠陥の生成に関与しているのかを見つけることができる。開発された技術は、ディープラーニング生成モデルのエラーを修正でき、生成モデルの構造に関係なく適用できる。
研究チームは伝統的な構造を持つ「PGGAN（Progressive GAN）」において、開発技術が効果的に生成エラーを修正できることを確認した。修正性能はマサチューセッツ工科大学（MIT）が保有する修正技術と比べてFID点数が約10点減少し、ユーザー評価で試験画像グループの約50％が欠陥が除去され、約90％で品質が改善された。さらに、特異構造を持つ「StyleGAN2」と「U-net GAN」においても生成エラーの修正が可能であることを示すことによって、開発技術の一般性と拡張の可能性を示した。
研究チームが開発した生成モデルのエラー除去技術は様々な画像の他にも、様々な生成モデルに適用され、モデルの結果に対する信頼性を高めることが期待される。
共同第一著者のAli Tousi、チョン・へドン研究員は「ディープラーニング生成モデルが生成した結果に存在する視覚的エラーを見つけ、これに相応する活性化を示す生成モデル内部のユニットを順次除去することにより、生成エラーを修正できるということを示した」とし、これは「十分に学習されたモデル内部に未学習あるいは誤って学習された内部要素があることを示す結果だ」と述べた。
一方、今回の研究は、2021年度科学技術情報通信部の財源で情報通信企画評価院の支援を受けた革新成長動力プロジェクト説明可能な人工知能および韓国科学技術院人工知能大学院のプロジェクト課題を通じて行われた。
