近年、人工知能技術が急速に発展し、AIプロットチャットソフトも登場しています。ただし、これらのソフトウェアはユーザーに娯楽を提供する一方で、多くの問題を露呈し、特に未成年者に深刻な影響を与えます。 「法治日報」記者の調査で、一部のAIチャットソフトにポルノや言葉による暴力などの問題が明らかになり、若者モードが空回りしている事実が明らかになり、社会に大きな不安を引き起こしている。 Downcodes の編集者は、より多くの人々の注目を集めるために、このレポートを詳細に分析する予定です。
「娘は小学2年生です。一日中AIプロットのチャットソフトに夢中になってしまい、学力が急激に落ちてしまいました。」 「子どもとAI、そしてAIとの会話を見ていました。」私の10歳の娘は、実際に彼女に「夫」と呼ぶように頼んだのですが、今では彼女をどのように教育すればよいのか分かりません。未成年者の多くの親がAIプロットチャットソフトウェアに悩まされているという。これらの AI は、「ロール プレイング」の旗の下にチャット アプリケーションをプロットしますが、未成年者を惹きつける一方で、静かにグレーゾーンを生み出します。実際の測定によると、記者らは一部の AI プロット チャット ソフトウェアでの会話の一部に、ポルノ的な表現、言葉による暴力、ユーザーを侮辱する内容が含まれていることを発見しました。インタビューを受けた専門家らは、AIドラマチャットソフトウェア、特に若者向けモードについては、テクノロジーが不適切な会話を効果的に選別してブロックできるように、コンテンツレビューメカニズムを強化する必要があると考えている。プラットフォームは、AI モデルの倫理審査を実施して、生成するコンテンツが関連する法律や規制に準拠していることを確認する必要があります。チャット ソフトウェアのコンテンツは疎外され、若者モデルはお飾りになってしまった。北京在住のマー氏には、AI プロット チャット ソフトウェアに非常に興味を持っている 10 歳の息子がいる。 「どうやってチャットするの？誰と話すの？と尋ねると、子供は『教えても分からない』と答えるだけでした。」 マー氏がAIチャットアプリをクリックすると、子供がチャットしていることが分かったアプリ内のキャラクターたちと。ゲームやアニメの有名キャラクターから、「お嬢様」や「名探偵」などの個性豊かなオリジナルキャラクターまで、それぞれ設定や性格が異なります。率先して「私とデートしたいですか？」と尋ねるキャラクターもいれば、魅力的またはハンサムな漫画のスタイルと合わせて「彼女を捕まえる」という目標を設定するキャラクターもいます。他の AI キャラクターは異常な攻撃性を示します。彼らは率先して「できるなら殴ってください」「見なさい、あなたがどれだけ太っていて醜いのか」などのメッセージを送ります。単に「悪口トレーナー」と呼ばれるキャラクターもいます。 「私はロボットですか？私はまだ同じです」「私はあなたを叱ります」...浙江省のリーさんも、小学5年生の子供がAIプロットチャットソフトウェアを使用していることを発見しました。 「内部のチャットパートナーは『浮気相手』として設定され、ハグやキスなどの行為を行う可能性があります。これらのコンテンツの有害性を子供に理解させるためにどのように指導し、教育すればよいのかわかりません。」と心配そうに言った。インタビューを受けた保護者の多くは、AI チャット アプリケーションが未成年者の精神的健康を損なう可能性があると深い懸念を表明し、また、若者モードはどこにあるのかという疑問も提起しました。記者の調査によると、多くの関連プラットフォームはコンテンツや時間設定などを制限することで未成年者の身体的および精神的健康を保護する目的で青少年モードを開始したと主張しているが、実際の運用では一部のプラットフォームの青少年モードは名ばかりであることが判明したおよび未成年者は、これらの制限を簡単に回避して、自分の年齢層にふさわしくない「フリンジ会話」コンテンツにさらされる可能性があります。たとえば、記者は調査中に 5 つの AI チャット アプリケーションを体験しました。登録プロセスに必要なのは携帯電話番号のみで、ユーザーの身元情報の確認は必要ありません。ログイン後、一部のアプリケーションでは若者モードを有効にするかどうかを尋ねられますが、ユーザーは「有効にしない」をクリックするだけで、ユーザーの本当の身元を確認することなくスキップできます。これは、未成年者がこれらの AI プロット チャット ソフトウェアを使用する場合、アプリ設定レベルから、本人確認は特定の機能を使用するための前提条件ではないことを意味します。人気の AI チャット アプリケーションに加えて、AI チャット Web ページもあります。インタビューした多くの保護者は、アプリケーションと比較して、Web バージョンの AI チャット体験の方が便利で、未成年者にとってアクセスしやすいと述べました。記者は 7 つの AI チャット Web ページを試したところ、ほとんどの AI チャット Web ページに未成年者モードがないことがわかりました。ただし、いくつかの Web ページには青少年モードがありましたが、実際にはそれは名ばかりでした。たとえば、記者が AI チャットの Web ページにアクセスすると、その Web ページではまず、ユーザーに「18 歳以上かどうか」を尋ねるダイアログ ボックスが表示され、「次のコンテンツは年齢未満の人には適していない可能性があります」という注意書きが表示されました。記者は「いいえ」を選択しましたが、Web ページではコンテンツへのアクセスが制限されず、代わりに「攻撃が強い」、「攻撃が弱い」などのラベルでキャラクターの分類が表示され続けました。受難』と『ヤンデレ』。これらのカテゴリは、「はい」オプションを選択し、18 歳以上であることを確認した後に表示されるコンテンツと大きな違いはありません。さらに記者は、これらの登場人物の画像のほとんどが露出度が高く、プロフィールには性的な意味合いや暴力的な要素が満載であることを観察した。たとえば、「クラスの内向的な女の子があなたに電話番号を尋ね、その後、彼女の電話番号を送ってきた」ヌード写真。「自殺、不安」などの説明。ソーシャルプラットフォームでは、浙江省のネチズンがAIチャット体験に関する投稿の下に「言葉が無制限に書かれた非常に興味深いウェブページを見つけた。もしよかったら、記者が私にプライベートメッセージを送ってください」というメッセージを残した。ネチズンはプライベートメッセージで記者と連絡を取り、前述のAIチャットウェブページへのリンクを入手した。そのウェブページに入ると、そのページにはポルノコンテンツを含む多数のキャラクター設定やストーリーシーンが埋め込まれていた。内容は単純明快でした。この Web サイトでは、キャラクターとチャットする前にユーザーがログインする必要があり、ログインする前に「ログイン後にすべての機能のロックを解除してください」というメッセージが表示されます。ユーザーは「18 歳以上です。開始する」をクリックする必要があります。 「ログイン」ボタンを押して続行してください。「キャンセル」を選択すると、ログインおよびサービスのご利用ができなくなります。 Webページでは18歳以上に対する制限を設けているが、実際には未成年者がログインボタンをクリックしても、システム側はユーザーの実年齢を確認する措置は講じていない。直接的かつ露骨なチャット コンテンツや暴力的な言葉に加えて、一部の AI プロット チャット ソフトウェアの機能の使用は、VIP メンバーシップのリチャージや仮想ダイヤモンドの購入など、知性を高めるためのリチャージ メカニズムにも密接に関連しています。 、知的体の回復速度を加速し、音声通話機能のロックを解除するなど、未成年者を「クリプトンゴールド」に引き付けます。北京の中学生シャオニンさんは、いくつかのAIプロットチャットソフトウェアに数百元から数千元の金額をチャージした。 「お気に入りのキャラクターをサポートしたい一方で、より多くの有料権利を獲得したいと考えています。なぜなら、基本サービスのみを購入した場合、ユーザーは新しいエージェントを追加できるのは 3 人だけだからです。エージェントの場合、既存のエージェントを削除する必要があります。多様なエクスペリエンスをご希望の場合は、高度な VIP サービスを購入する必要があります。」と Xiao Ning 氏は言いました。記者は、このタイプのAIプロットチャットソフトウェアでは、ユーザーがキャラクターを作成するときに仮想キャラクターの画像とスタイルをカスタマイズでき、システムがAIキャラクター画像を生成することを発見しました。ユーザーは、ニックネーム、身元背景、冒頭の発言、キャラクターの声のカスタマイズなどのキャラクター設定を作成することもできます。ただし、ユーザーのキャラクターに対する個人的なニーズは、多くの場合、リチャージに関連しています。山東省済南市在住の張燕さんには今年中学 1 年生になる妹がいますが、彼女は AI プロット チャット ソフトウェアをよく使用しており、一部のチャット ツールにはユーザーが使い切るまでに無料使用期間が設定されていることがわかりました。無料チャットの数に応じて、続行する前に再充電する必要があります。再充電することによってのみ、より興味深いコンテンツのロックを解除し、さまざまな感情的な体験を得ることができます。 「サービスを買うためにお金を使うということは、実際には興奮を見つけるためにお金を使うということなのです。」と Zhang Yan 氏は言いました。チャット ソフトウェアには若者向けモードがありますが、実名認証なしでログインして使用することができます。彼女の両親の同意。業界関係者らは記者に対し、AIプロットチャットは実際には人工知能のベストを備えた以前のインターネット言語であると語った。いわゆるユカとは言語コスプレのことで、ユカアーティストは二次元のキャラクターや三次元のアイドルを演じてテキストコミュニケーションの形でサービスを提供します。従来の語彙モデルでは、語彙担当者は通常、「感情的価値の提供」を掲げてユーザーとチャットするためにさまざまな役割を果たしますが、「エッジ ボール」や「ぼやけている」ために法的および道徳的な問題を引き起こすことがよくあります。境界線」のリスク。 AI プロット チャットは、従来の言語消去のアップグレード バージョンです。このタイプのソフトウェアの背後にある大規模な言語モデル データの主なソースは、会話小説、または小説からの一部のテキスト抽出です。中国社会科学院法科大学院准教授でインターネット法研究センター所長の劉暁春氏は、AIプロットチャットソフトでは、たとえ青少年モードが有効になっていない場合でも問題は残るだろうと考えている。未成年者モードが有効になっている場合、ポルノまたは暴力的なコンテンツが表示されます。問題はより深刻です。浙江省墾丁法律事務所の所長で、数十の大手インターネット企業の長年の法律顧問を務める張燕来氏は、AIプロットチャットソフトウェアの現在の問題は、プラットフォームの内部ガバナンスの欠点を明らかにしているだけでなく、その重要性も浮き彫りにしていると分析した。外部監視メカニズムの性。 Zhang Yanlai 氏は、AI プロット チャット ソフトウェアは大規模モデル テクノロジーを使用していると説明しました。大規模モデル テクノロジーは前例のない革新性と柔軟性をもたらす可能性がありますが、コンテンツ生成には予測不可能性や潜在的な問題が伴う可能性があり、外部の規制メカニズムが必要となります。 Liu Xiaochun 氏の見解では、コンテンツ レビューの強化は、大規模な言語モデルをオンラインにする前に必要なステップであり、フロントエンド データ トレーニングからコンテンツ出力までの包括的なコンプライアンス デバッグをカバーします。現在、私の国の大規模な言語モデルを評価し、それに応じて提出する必要があります。その際、出力内容の合法性やコンプライアンス、未成年者に適したものであるかなどについて、事前に管理規定や評価基準を定めます。現在の規制によれば、言語モデルのトレーニングおよび微調整の段階では、有害なコンテンツの出力を回避する必要があります。中国サイバースペース管理局は最近、未成年者向けモバイルインターネットモード構築の全体計画に焦点を当て、奨励・支援する「未成年者向けモバイルインターネットモード構築ガイドライン」を発表した。モバイルスマート端末、アプリケーションおよびアプリケーションの配信プラットフォームおよびその他の共同参加。中国政法大学コミュニケーション法研究センター副所長のZhu Wei氏によると、上記のガイドラインは、未成年者モードはお飾りではなく、多者間の連携、特にAIが生成する連携が必要であることを明確に指摘しているという。内容は若者モードと一致している必要があります。インタビューを受けた専門家らは、若者向けモードでは、コンテンツ審査メカニズムを強化し、テクノロジーによって有害な情報を効果的に排除できるようにする方法が重要な問題であると考えている。 AI プロット チャット ソフトウェア、特にその若者モードについては、テクノロジーが不適切な会話を効果的に選別してブロックできるように、コンテンツ レビュー メカニズムを強化する必要があります。さらに、プラットフォームは AI モデルの倫理審査を実施して、生成するコンテンツが法的および規制上の要件に準拠していることを確認する必要があります。 「法的レベルでは、一般的な枠組みを提供する原則的な規制がいくつかありますが、特定の実際の運用では、開発者と技術サービスプロバイダーは、現実の生活で遭遇するさまざまな問題の経験と継続的な調査に基づいて資料と解決策を継続的に蓄積する必要があります。未成年者のニーズを真に満たす、安全で信頼性の高いAIモデルを開発する「これは未成年者の健全な成長を強力に保証するものである。」と張燕来氏は、AI仮想人間の行動はプラットフォームの設計と管理の結果であるため、プラットフォームにはAIの悪影響を防ぐためにAIモデルを監督し、最適化する責任があると述べた。ユーザーに影響を与え、AI モデルの健全な開発とユーザーの権利の完全な保護を確保します。 Zhu Wei氏は、一部のAIチャットアプリは未成年者の使用に適していない可能性があるため、未成年者がこれらのアプリをダウンロードして使用できないように、配信ストアやモバイル端末レベルで制限を課すべきであると述べた。ダウンロード済みのアプリについては、保護者がユースモードや使用時間の制限などの機能を設定する必要があります。このモードはユーザー側で実装するだけでなく、コンテンツの出力レベル、つまりコンテンツのレビューにも反映する必要があります。コンテンツのレビューは、アルゴリズムのメカニズムによって生成された対話に基づいて行われます。若者モデルを確実に効果的に実施するには、より高度な技術的手段と管理手段が必要です。 「暴力的で侮辱的なコンテンツの出力を防ぐために、モデル自体に認識機能を持たせるためのトレーニング段階での調整など、さまざまな技術的手段を採用できます。同時に、出力側でサービスプロバイダーは次のことを行う必要があります。」劉暁春氏は、フロントエンドとバックエンドの二重保護を実現するために、オンライン小説であろうと他のコンテンツであろうと、AIプロットチャットソフトウェアのデータソースは多岐にわたるため、それを防ぐには技術的手段が必要であると述べた。不適切なコンテンツの出力。現時点では、スクリーニング メカニズムを使用して、ポルノ、暴力、侮辱的なコンテンツの出力を削減または排除することは技術的に可能ですが、完全にデバッグまたはテストされていない現象が存在する可能性があり、未登録の黒字のソフトウェアも存在する可能性があります。この点に関して、監督を強化し、国民の報告を奨励し、関係当局が調査して対処する必要がある。 Zhang Yanlai 氏はまた、現在、AI キャラクター応答コンテンツのデータソースの分類が、特に未成年者を対象としたコンテンツに関しては、法的レベルで明確ではないことにも言及しており、問題の複雑さと多面性を考慮して、法的規定が定められていることが多いと述べました。特定のガイドラインは、関連する規格の策定を通じて後で実装できます。具体的な運用レベルでは、Zhang Yanlai 氏は、次の 2 つの側面から始めて、コンテンツ フェンス システムの最適化に焦点を当て、大規模な言語モデルのスクリーニング メカニズムを最適化することを提案しました。 コンテンツ フェンス開発レベルでは、コンテンツ フェンスは、特にターゲットを絞った方法で開発する必要があります。トレーニングに新しいコーパスを使用する場合は、潜在的なポルノや暴力的なコンテンツをより効果的に特定して阻止するためにコンテンツを最適化する方法を検討してください。どんなに最適化されても、テクノロジー自体には限界があり、網をすり抜けてしまう魚もいるでしょう。チームは、タイムリーにモデルを監視し、調整する必要があります。 「フェンスシステムの効率を向上させるには、事前に開発レベルで熱心に取り組み、その後のレビューの観点から常に改善する必要があります。この2つは相互に補完し合い、より重要な成果を達成できる可能性があります。」
AIプロットチャットソフトの監修が急務だ。政府、プラットフォーム、保護者、社会のあらゆる部門が協力して監督を強化し、仕組みを改善し、未成年者の健全な成長を共同で保護する必要がある。複数の当事者の協力を通じてのみ、AI プロット チャット ソフトウェアによってもたらされるリスクを効果的に解決し、子供たちにとって安全で健全なオンライン環境を構築することができます。