最近、人間の3Dモデルに焦点を当てたウクライナのウェブサイトであるTrilegangersは、前例のない交通攻撃に遭遇し、サーバーが崩壊しました。このWebサイトは、3Dアーティストとゲーム開発者に膨大な量の人体3Dモデルデータを提供することに取り組んでいますが、OpenaiのCrawler Gptbotの頻繁なrawりのために問題が発生しています。この事件は、Webクローラーの潜在的な脅威をWebサイトの運用にさらしただけでなく、AIテクノロジーと著作権保護のバランスに関する広範な議論も引き起こしました。
Trilegangersのスタッフによると、ウェブサイトは明示的に許可されていないクロールと使用契約での使用を禁止していますが、クローラーがアクセスを防ぐためにRobots.txtファイルの誤った設定によりサーバーは過負荷になります。サーバーログによると、OpenaiのGptbot Crawlerは600を超えるIPアドレスを通じて数万のリクエストを開始しました。その結果、ウェブサイトは、分散型サービス拒否（DDOS）攻撃に遭遇するのと同様に、正常に機能することができませんでした。この状況は、ウェブサイトの通常の操作に影響を与えるだけでなく、ユーザーに大きな不便をもたらします。
Openaiは、Crawlerの説明で、WebサイトがGptbotにコンテンツをクロールすることを望まない場合、robots.txtファイルで設定する必要があると述べました。しかし、トリレガンガーはこれを認識しておらず、現在のジレンマにつながります。 robots.txtファイルは法律では必要ありませんが、ウェブサイトが不正使用が禁止されていると述べた場合、GPTBOTのクロール行動は依然として関連する規制に違反する可能性があります。この事件は、ウェブサイトのオペレーターに技術的設定の重要性を思い出させ、またAIテクノロジーの適用の倫理について考えていることを引き起こします。
さらに、Amazon AWSサーバーの使用により、帯域幅とトラフィックでのTrilegangersの消費も劇的に増加し、追加のコスト圧力が発生しています。この緊急事態に応えて、TrileGangersは、CloudFlareを介してGPTBOTを含む複数のクローラーへの正しいロボットを設定するための措置を講じています。このレッスンは、他のWebサイトの貴重なリファレンスも提供します。
この事件は、特にAIテクノロジーと著作権保護のバランスをとる方法のコンテキストで、ネットワーククローラーの行動に人々の注意を引き付けました。 AIテクノロジーの継続的な進歩により、ネットワーククローラーの動作は、技術開発と著作権保護のバランスをより複雑で隠すことになります。この事件は、トリレガンガーへの挑戦であるだけでなく、インターネット業界全体への警告でもあります。