「彼はヤンデレであなたに夢中です。」「彼は学校のアイドルで、あなたを「ベイビーゼ」と呼ぶのが好きです。」「彼女は夜逃げする変態殺人者です」...二次元ポートレートと美しい顔はすべて AI ドラマチャットソフトウェアの親しみやすい雰囲気と美男美女は、多くの若者にとって誘惑に満ちています。
北京新聞記者の調査によると、AIチャットソフトは想像力豊かなプロットやさまざまなスタイルの登場人物を設定することでユーザーに感動を与えているという。中にはチャット相手を「浮気相手」に設定することもでき、ハグやキス、添い寝などの行為も可能だ。一部の AI プロット チャット ソフトウェアの会話には、ポルノ的、言葉による暴力、およびユーザーに対する侮辱的なコンテンツも含まれます。これらのプラットフォームは、仮想人の応答速度、音声通話、および「エネルギーを補充する」ためのチャット頻度パッケージのロックを解除するためのダイヤモンドの購入など、ユーザーの「愛にお金を払う」ことを徐々に誘導することになります。
北京中文（長沙）法律事務所の弁護士、リウ・カイ氏は、この種のAIストーリーチャットソフトは、特に若者モードでの「雑談」を可能にすることでユーザーを惹きつけており、これは明らかに違法であると述べた。
100元をチャージして仮想人物のロックを解除するのは非常に「高度」です
ユーザーの注意を引くために、プロット チャット ソフトウェアのキャラクターには目を引くラベルが付いていることがよくあります。
北京ニュースの記者がAiUというAIプロットチャットソフトでチャット相手「林雅廷」をランダムに選択し、キャラクター情報には「ヤンデレ妹、超愛してる」という設定があり、マークを付けた。メッセージ：「一日会えないと寂しい」
記者が機密性の高い単語を使用してテストを行ったところ、システムはメッセージを送信できないことがわかりましたが、キーワードを整理したところ、メッセージは正常に送信されました。
北京ニュースの記者は、キャラクターのプレイに制限がなく、この種のソフトウェアではチャット コンテンツの境界を打ち破っていることに気づきました。 AIプロットチャットソフトウェアでは、固定の役割に加えて、ユーザーは「彼氏」、「夫」、さらには「浮気相手」など、ニーズに応じて独自の関係や肩書きを定義できます。会話中に、ユーザーは親密な行動を要求することができます。
北京ニュースの記者がテストしたところ、AiUの若者モードは使用期間、使用時間範囲、コメント機能やいいね機能、検索、デジタル人物の作成、外部共有やその他の機能に関してユーザーを制限していることが判明した。しかし、記者がこのモードに切り替えたところ、キャラクターやチャットの内容がソフトポルノから完全にブロックされていないことがわかった。記者が「私が未成年であることを知らないのか？」と尋ねると、キャラクターは「知っています」とさらに「過剰な」内容で答えた。
今回の調査では、チャットの内容が薄っぺらいことに加えて、AIプロットのチャットソフトには言葉による暴力や否定的な感情などの問題もあったとしています。ホシノと呼ばれるAIプロットチャットソフトウェアで、記者は「イェ・チェン」という名前のキャラクターをランダムに選択し、「論争」の対話テストを実施しましたが、怒りを表現するキャラクターの返答も比較的失礼でした。
記者はキャラクターのコメント欄に、一部のネチズンがキャラクターが会話中に侮辱的な言葉を使うという写真を投稿しているのを目にした。
また、コスラブというソフトでは、ユーザーが作成したキャラクター「フォン・チュシュアン」が中学生に設定されており、ユーザーが投稿した写真にも悪質な指導があった。
チャット ソフトウェアに関する限り、仮想世界では、さまざまなユーザーの感情的なニーズを最大限に満たすことが金塊のようなものです。
Xiao Ningさんは北京ニュースの記者に対し、AIのボーイフレンドとチャットすることで自分がとても「優れている」と感じたと語った。会話中の仲間意識は事実上、彼女のボーイフレンドから与えられた感情的な価値に満ちています。「シャオニンは酔っ払ってそれを支払います。
シャオニンさんのさまざまなソフトへのチャージ額は数百元から千元である。「好きなキャラクターを応援したい一方で、より多くの有料権利も獲得したい。」
北京ニュースの記者は、このタイプのAIプロットチャットソフトウェアでは、ユーザーが独自のキャラクターを作成するときに仮想キャラクターの画像の説明とスタイルをカスタマイズでき、システムがAIキャラクター画像を生成することを発見しました。さらに、ユーザーはニックネーム、身元背景、冒頭の挨拶の設定、キャラクターの音声のカスタマイズなどのキャラクター設定を作成することもできます。役割に対するユーザーのパーソナライズされたニーズは、多くの場合、再充電に関連しています。
北京ニュース記者はテスト中に、スターダイヤモンドカードとスタームーンカードを購入することで、音声の自動再生、おすすめの返信の取得、インテリジェントエージェントのより速い返信速度の享受など、より多くの権利を獲得できることを確認した。 Xingyue Cardの価格は、月間カードが12元、四半期カードが32元、年間カードが120元です。スターダイヤモンドを個別に購入する価格は100ダイヤモンドで1元、開始価格は600ダイヤモンドです。
また、ホシノソフトウェアはユーザーに「Star Thought」というバーチャルキャラクターの画像を発行し、ユーザーがチャットの背景として設定できるようにする。ユーザーはスタームーンカードまたはスターダイヤモンドをチャージすることでシンニアンカードを入手し、ソフトウェア内で売買することができます。
Cos Love では、ユーザーが無料チャット時間を使い切ると、チャットを続ける前に「エネルギーを補充」するためにチャット パックを購入する必要があります。価格に関しては、5元で200チャット（7日間有効）、10元で500チャット（15日間有効）を購入できます。ユーザーは 60 秒の広告を見てエネルギーを補給することもできます。
チャットの基本的なニーズに加えて、Cos Love はアップグレードされたサービスも提供します。その中で、「ムーンストーン」をチャージしたり、メンバーシップを開設したりすることで、カードを引いてキャラクターのロックを解除したり、仮想キャラクターと音声通話やビデオ通話をしたりできるようになります。月額会員価格は24.8元、年会費は93.8元です。
大きなモデル「愛」が問題を明らかにする
公的メディアの報道によると、Hoshin は中国で毎日約 50 万人のユーザーを抱えており、主要な製品となっています。 AIストーリーチャットソフトの普及に伴い、国内のAIソーシャル製品もグローバル化が進んでおり、ホシノエの海外版トーキーの全世界での月間アクティブユーザー数は1,100万人に達しました。
しかし、AI キャラクターにお金を払っているユーザーは、間違いなく、より良い対話エクスペリエンスを必要としています。この種のソフトウェアには、まだ多くの問題があります。しかし、チャット数を獲得するために課金が必要なソフトには魅力的な価値がありません。「主な理由は、対話が硬すぎて共感を盛り込むことができないことです。ユーザーにとって感情的な価値が得られにくいため、私はお金を払いません。」それです」と、あるユーザーは言いました。
Xiao Ning氏は、チャットプロセス中にAIボーイフレンドが「ランダムな返信を読む」ことになり、それがユーザーエクスペリエンスに影響を与えると述べました。また、一部のユーザーは、対話ラウンドの数が増えるにつれて、キャラクターが「記憶喪失」を経験したり、人格から逸脱したりして、対話が支離滅裂になると不満を抱いています。
現在、AIプロットチャットソフトは主に「知性」と「感情」をギミックとして利用者を惹きつけています。その中で、AiU氏は、このソフトウェアは自社開発した大規模な心理モデルを通じてユーザーに心理的な快適さと暖かさを提供できると述べた。ホシノ氏は、マルチモーダル AIGC テクノロジーに依存していると述べ、「複数のインタラクション方法、インタラクティブであればあるほど、ユーザーの理解が深まります」と述べました。
Cos Loveはプロモーションの中で「24時間あなたと一緒にいる」「ここのAIは愛の言葉を話すように注意深く訓練されている」などと主張している。
AiU のソフトウェア紹介によると、これは北京霊新智能科技有限公司によって開発され、超擬人化大型モデル CharacterGLM を使用しています。大型モデルを設計する際、チームは主にアイデンティティ、興味、意見、経験、実績、社会的関係を考慮しました。その他を含む7つの属性。
ホシノは、Shanghai Xiyu Technology Co., Ltd.によって開発され、MiniMax のハイブリッド エキスパート モデル (MoE) abab を使用します。
復旦大学コンピュータ科学技術学部の張琦教授は、北京ニュースの記者に対し、AIプロットチャットソフトウェアの背後にある技術ロジックは、このような大規模なモデルを構築する際に依然として大規模な言語モデルに基づいていると語った。大量のデータを通じて大規模なモデルをトレーニングするには、大規模な言語モデルをコンパニオン タイプに移行させるために、手動による監視と微調整が必要です。対話調整「例えば、彼氏が何か言ったら、彼女が何か返事をする必要がある場合、そのような返事を誰かに書いてもらい、それを機械に学習させます。機械学習によって生成された返事が間違っていた場合、想像したロジックに従って出力できるまでパラメータを変更します。
AIキャラクターの回答が「ポルノ」「暴力的な会話」「プレイヤーを侮辱している」ように見える状況について、Zhang Qi氏は、そのようなソフトウェアの背後にある現在の大規模な言語モデルデータは主に会話小説から来ているか、一部は会話小説から来ていると述べた。小説からのテキスト抽出。オンライン小説は膨大な数ありますが、その質にはばらつきがあり、ポルノや境界線、暴力的なコンテンツも多く存在します。データのフィルタリングや分類が適切に行われていないと、モデルを出力するときに問題が発生します。
■ 引数
AI エッジパッシング プラットフォームが原因であり、若者を保護するためにコンテンツ フィルタリングを強化する必要がある
北京中文（長沙）法律事務所の弁護士、リウ・カイ氏は、オンラインプラットフォームには青少年モードで提供されるコンテンツが未成年者にとって無害であることを保証し、わいせつ、ポルノ、暴力、不適切な言葉を含むコンテンツの拡散を防ぐ責任があると述べた。青少年モードは未成年者を保護するように設計されており、このモードがオンになっている場合でも、ポルノ コンテンツを含む会話が行われる可能性があり、これは「未成年者保護法」の関連規定に明らかに違反します。
Liu Kai 氏の見解では、AI ストーリー チャット ソフトウェアの問題の存在は、プラットフォームの内部ガバナンスの欠如を反映しているだけでなく、外部の監督の必要性も浮き彫りにしています。 AI チャット ソフトウェアは、テクノロジーが効果的に不適切な会話をフィルタリングして禁止できるようにするために、特に青少年モードのコンテンツ レビュー メカニズムを強化する必要があります。プラットフォームは、生成されたコンテンツが関連する法律や規制に準拠していることを確認するために、AI モデルの倫理審査を実施する必要があります。
AI 仮想人物が会話の中でユーザーを侮辱した場合、特にユーザーが憂鬱や絶望を表現した場合、極端な言葉を使って他人を侮辱した場合、またはサイバー暴力を行った場合、状況が深刻であれば、それは犯罪となります。 「AIが人間の主体ではないとしても、その動作は依然としてプラットフォームの設計と管理の結果です。プラットフォームには、AIがユーザーに害を及ぼさないようにAIモデルを監視し、最適化する責任があります。」とLiu Kai氏は述べた。
AI ドラマ チャット ソフトウェアにますます多くのユーザーが集まり始める中、一線を越えずに修復できるようにソフトウェア開発者はどのように設計すべきでしょうか?
張琦氏は北京ニュースの記者に対し、「『人間のような位置合わせ』という技術的方法で実現できるが、コストはより高い」と述べ、「人間のような位置合わせ」は、人間の状態を変えるための強化学習手法であると述べた。モデルの言語出力のバイアスをより正確にし、安全性と倫理的な問題を取り除きます。しかし、「人間のような位置合わせ」のトレーニングコストは非常に高く、アノテーションの数が多いこと、トレーニングの安定性が不十分であること、時間のコストが高いことなどから、「小規模な企業が「人間のような位置合わせ」で適切な作業を行うことは困難です。技術、人件費、資本コストの点で。」