AI が生成した画像を使用して再学習するとどうなるでしょうか? 最近、スタンフォード大学とカリフォルニア大学バークレー校の研究者がそのような実験を行い、その結果は驚くべきものでした。
研究者らは、AI画像生成モデルが自ら生成した画像を使用するように再トレーニングすると、モデルが非常に歪んだ画像を生成することを発見した。さらに悪いことに、この歪みは再トレーニングに使用されるテキスト キューに限定されません。モデルが一度「汚染」されると、後で実際の画像のみを使用して再トレーニングしたとしても、モデルを完全に回復することは困難です。
実験の出発点は、Stable Diffusion (SD) と呼ばれるオープンソース モデルです。研究者らはまず、FFHQ 顔データセットから 70,000 枚の高品質の顔画像を選択し、それらを自動的に分類しました。次に、これらの実際の画像を入力として使用し、安定拡散モデルを通じて特定の人々のグループの特徴と一致する 900 枚の画像を生成しました。
次に研究者らは、これらの生成された画像をモデルの反復的な再トレーニングに使用しました。彼らは、再トレーニング データセット内の自己生成画像の割合に関係なく、最終的にモデルが崩壊し、生成された画像の品質が大幅に低下することを発見しました。再トレーニング データに自己生成された画像が 3% しか含まれていない場合でも、モデルの崩壊現象は依然として存在します。
実験結果は、安定拡散モデルのベースライン バージョンがテキスト キューと一致し、高い視覚品質を備えた画像を生成することを示しています。しかし、モデルが繰り返し再トレーニングされるにつれて、生成された画像には意味上の矛盾や視覚的な歪みが見られるようになりました。研究者らはまた、モデルの崩壊が画質に影響を与えるだけでなく、生成された画像の多様性の欠如を引き起こすことも発見しました。
これを検証するために、研究者らは、生成された画像のカラーヒストグラムを調整し、低品質の画像を削除することで、モデル崩壊の影響を軽減するための対照実験も実施しました。しかし、結果は、これらの対策がモデルの崩壊を防ぐのに効果的ではないことを示しています。
研究者らはまた、モデルが「汚染」された後に再トレーニングによって回復することが可能かどうかも調査した。彼らは、場合によっては、再トレーニングを複数回繰り返すことで結果として得られる画像の品質が回復したものの、モデル崩壊の兆候が残っていることを発見しました。これは、モデルが一度「汚染」されると、その影響が長期にわたるか、場合によっては回復不能になる可能性があることを示しています。
この調査では、現在普及している拡散ベースのテキストから画像への生成 AI システムは、データの「汚染」に非常に敏感であるという重要な問題が明らかになりました。この「汚染」は、オンライン ソースから画像を無差別にスクレイピングするなど、意図せずに発生する可能性があります。 「汚染された」データを意図的に Web サイトに配置するなど、標的型攻撃である可能性もあります。
これらの課題に直面して、研究者らは、画像真正性検出器を使用して AI で生成された画像を除外したり、生成された画像に透かしを追加したりするなど、いくつかの可能な解決策を提案しています。不完全ではありますが、これらの方法を組み合わせることで、データの「汚染」のリスクを大幅に軽減できる可能性があります。
この研究は、AI技術の開発にはリスクがないわけではないことを思い出させます。 AI によって生成されたコンテンツがモデルやデータセットに長期的な悪影響を及ぼさないように、AI によって生成されたコンテンツについてはより注意する必要があります。今後の研究では、AI システムのこの種のデータ「汚染」に対する耐性を高める方法や、モデルの「修復」を高速化できる技術を開発する方法をさらに検討する必要があります。