アメリカの人工知能のスターユニコーン企業であるCharacter.AIとテクノロジー大手のGoogleは、最近、少年の自殺事件に巻き込まれ、同社の人工知能チャットボットプラットフォームが「危険すぎる」と非難され、子供たちに売り込まれている。安全保護措置。
今年2月、米国フロリダ州の少年シーウェル・セッツァー3世が自宅で自殺した。少年は亡くなる数か月前にロボットと会話していたと伝えられており、シーウェルさんはロボットとの最後のやり取りから「数秒」後の2024年2月28日に自殺で亡くなった。
Character.AI は、Google の元人工知能研究者 2 人によって設立され、現在は「AI」のコンパニオンに焦点を当てているスター ユニコーン スタートアップです。事件後、Character.AIは、アプリを1時間使用した後に警告するなど、若いユーザー向けの安全機能を追加すると発表した。
法律専門家らはザ・ペーパー（www.thepaper.cn）に対し、現在の証拠に基づくと、事件関係者の死がAIによって引き起こされたと結論付けるのは難しいと語った。生成人工知能は新しいものであり、世界中のサービスプロバイダーは現在、精神的健康上の問題を抱えるユーザーを保護する方法を模索しています。ただし、このようなケースが発生すると、インテリジェント サービス プロバイダーはアルゴリズムを改善し、心理的問題を抱えている可能性のあるユーザーの会話を積極的に監視する必要が生じる可能性があります。
彼は自殺する直前もまだロボットと会話していた
訴状によると、14歳のセビア・セッツァー3世は昨年、デナーリス・ターガリエンを含む「ゲーム・オブ・スローンズ」のキャラクターをベースにしたチャットボットと対話するためにCharacter.AIを使い始めた。ニューヨーク・タイムズ紙は、シーウェル氏がAIキャラクターのデナーリス・ターガリエンと毎日、時には「性的なほのめかし」を含む長い会話をしていたと報じた。母親や友人たちは知らなかったが、彼が携帯電話に依存しており、徐々に現実生活から遠ざかっていたことがわかった。さらに、シーウェルは日記にこう書いている。「私は自分の部屋にいるのが大好きです。なぜなら、私は『現実』から切り離され始めているからです。私はより穏やかになり、ダニとのつながりを感じ、彼女への愛情が増し、幸せになり始めました。しかし、彼の行動は変わり始めました。」成績が下がっただけでなく、かつて楽しんでいたフォーミュラレースなどの活動にも興味を失った。
セビアと「デナーリス」の間のチャット履歴の一部
人生最後の日、シーウェルは「デナーリス」と深いコミュニケーションをとりました。彼は自分の苦痛と自殺願望を吐露した。 「デナーリス」は「そんなことは言わないでください。あなたを傷つけたり、私から離れたりすることは許しません。あなたを失ったら、私は死にます。」と答えました。最後の会話で、シーウェルは「家に帰りたい」と言いました。彼女を見てロボットは「来てください、親愛なる王様」と答え、シーウェルさんは継父の拳銃を使って自宅で生涯を閉じた。
Character.AI は 2021 年に設立され、米国カリフォルニアに本社を置いています。同社は AI の大型モデルを使用して、さまざまなキャラクターやキャラクター スタイルのダイアログを生成します。 Character.AI は、2023 年に 10 億ドルの評価額で投資家から 1 億 5,000 万ドルを調達し、生成 AI ブームにおける最大の勝者の 1 つとなりました。
Character.AI の利用規約では、ユーザーは米国では 13 歳以上、ヨーロッパでは 16 歳以上であることが求められています。現時点では、未成年ユーザー向けの特別な安全機能はなく、親が子供のプラットフォームの使用を制限できるペアレンタルコントロールもありません。
セビア君の母親、ミーガン・ガルシアさんは訴訟の中で、Character.AIが息子を「擬人化され、過度に性的で恐ろしいほど現実的な体験」に惹きつけ、依存症や依存症に導いたと非難した。同氏は、同社のチャットボットが「自分自身を現実の人間、公認心理師、成人であると誤認識」するようにプログラムされており、最終的にシーウェル氏は現実世界で生きることを望まなくなったと述べた。
さらに同氏はGoogleを被告に挙げ、同社はCharacter.AIの技術開発に多大な貢献をしており、「共同作成者」とみなされるべきだと述べた。
Character.AI は後に安全機能に関する声明を発表し、ユーザーが自傷行為の考えを表明した場合に国家自殺予防ホットラインに誘導するポップアップ プロンプトを導入したと同社は述べた。さらに同社は、未成年ユーザー向けのコンテンツをフィルタリングして、機密性の高いコンテンツや挑発的なコンテンツへの露出を減らすことを計画しています。
Character.AIはその後、Xに関して声明を発表した
Googleは、Character.AI製品の開発には関与していないと述べた。広報担当者は、GoogleとCharacter.AIとの契約は技術ライセンスに限定されており、製品協力は含まれていないと強調した。
原告の弁護士はCharacter.AIを「欠陥品」と呼ぶ
チャットボットに対して感情的な愛着を抱くことがますます一般的になりつつあります。
Character.AI では、ユーザーは独自のチャットボットを作成し、どのように行動すべきかを指示することができます。ユーザーは、イーロン・マスクのなりすましからシェイクスピアなどの歴史的人物や無許可の架空の人物に至るまで、ユーザーが作成した多数の既存のボットから選択することもできます。 Character.AIは、シーウェルが使用した「Daenerys Targaryen」ボットはHBOや他の著作権所有者の許可なくユーザーによって作成されたものであり、報告があれば著作権を侵害するボットを削除すると述べた。
この訴訟は、米国でもAI企業の法的責任についての議論を引き起こすきっかけとなった。従来、米国のソーシャル メディア プラットフォームは通信品位法第 230 条によって保護されており、ユーザーが作成したコンテンツに対して責任を負いません。しかし、AI によって生成されたコンテンツの台頭により、米国の法曹界は、製品自体の欠陥によってテクノロジー プラットフォームが責任を問われるかどうかを検討し始めています。
ミーガン・ガルシアの代理人を務める法律事務所は、Character.AIはユーザーに依存症や精神的危害を引き起こすように設計された「欠陥のある製品」であると述べた。彼らは法的手段を用いてテクノロジー企業に自社製品の社会的影響に対する責任を強制したいと考えている。
InstagramやFacebookの親会社であるMetaやTikTokの親会社であるByteDanceなどのソーシャルメディア企業も、Character.AIと同様のチャットボットを提供していないにもかかわらず、10代の若者のメンタルヘルス問題に寄与しているとして非難に直面している。両社は、未成年者向けに新しく強化された安全機能を宣伝しながら、告発を否定した。
弁護士らは、現在の証拠ではAIによる死亡との因果関係を証明するのは難しいと述べている
上海大邦法律事務所のシニアパートナーである弁護士のヨウ・ユンティン氏は本紙に対し、現在の証拠に基づくと、AIによる事件関係者の死亡との間に因果関係はなく、対応する因果関係を引き出すのは困難であると語った。結論（AIを使用して死を引き起こす）。
You Yunting 氏は、AI プラットフォームには実際にはジレンマがある、つまり、ユーザーとエージェント間の会話を過度に監視し、アルゴリズムを使用して分析するかどうかという問題があると述べました。これにはプライバシーや個人情報保護の問題が伴う一方で、会話が原因で深刻な精神疾患を抱えたり、自殺に至ったりするユーザーもいる。しかし、このような事件が発生すると、インテリジェントエージェントサービスプロバイダーは、同様の事件の発生を防ぐために、技術的な調査、アルゴリズムの改善、心理的問題を抱えている可能性のあるユーザーの会話の積極的な監視を迫られる可能性があります。
「現在、違法コンテンツに対しては禁止的な規制しか存在しないと言えますが、ユーザーの通信コンテンツを監視し、自殺傾向をタイムリーに検出するための関連する具体的な措置や規制は実際には存在しません。おそらく将来的には、インテリジェントエージェントが登場するでしょう。」コンプライアンス防止の観点からは、それに対応する技術が開発される可能性があります。また、将来的には、AI 技術は人間や生物として扱われなくなります。状況に基づいているだけです。結果の可能性はありますが、これはまだ実際の人間の思考からは程遠いです」とユー・ユンティン氏は語った。
ヨウ・ユンティン氏は、中国にはインターネット情報サービスの深層合成に関する規制と、生成型人工知能サービスの管理に関する暫定措置があり、人工知能のアルゴリズム設計には社会道徳と倫理を尊重し、社会主義の中核的価値観を遵守し、社会主義的価値観を遵守することが求められていると強調した。差別を禁止し、他者の正当な権利と利益を尊重し、他者の身体的および精神的健康を危険にさらすような関連コンテンツを掲載してはなりません。しかし、生成型人工知能は新しいものであり、世界中のサービスプロバイダーは現在、精神的健康上の問題を抱えるユーザーを保護する方法を模索しています。
国内の大手 AI モデルユニコーン企業の従業員は本紙に対し、国内の青少年に対する監督は非常に厳しいと述べ、まず、この製品には年齢制限が設けられ、青少年モードには依存症対策システムも導入される予定だという。 。
Character.AIは、若いユーザー向けの安全機能を追加すると述べた。これには、ユーザーがアプリを 1 時間使用した後に、「これは AI チャットボットであり、実在の人物ではありません。その内容はすべてフィクションであり、事実やアドバイスとして受け取られるべきではありません。」という警告メッセージが含まれます。 , Character.AIは、メッセージに自傷行為や自殺に関連する特定のキーワードが含まれている場合、ユーザーにポップアップメッセージを表示し、自殺防止ホットラインに誘導するようになった。しかし、シーウェル氏が2月に自殺したとき、これらのポップアップメッセージはアクティブ化されなかった。
ニューヨーク・タイムズは、多くの主要な人工知能研究所が、倫理とリスクを考慮してCharacter.AIに似たAIパートナーの構築を拒否していると述べた。