แชท AI “มากเกินไป” ซ่อนภาพอนาจารและความรุนแรง

"เขาเป็นพวกยันเดเระและหลงรักคุณ" "เขาเป็นสคูลไอดอลและชอบเรียกคุณว่า 'เบบี้ซี'" "เธอเป็นฆาตกรโรคจิตที่วิ่งกลับบ้านตอนกลางคืน"...ภาพบุคคลสองมิติและ ใบหน้าที่สวยงามล้วนอยู่ใน AI บรรยากาศที่คุ้นเคยและชายหนุ่มรูปหล่อและความงามในซอฟต์แวร์แชทละครเต็มไปด้วยความเย้ายวนใจสำหรับคนหนุ่มสาวจำนวนมาก

การสอบสวนของนักข่าว Beijing News พบว่าซอฟต์แวร์แชท AI สร้างความประทับใจให้กับผู้ใช้ด้วยการกำหนดโครงเรื่องและตัวละครที่มีจินตนาการสูงในสไตล์ที่แตกต่างกัน ในหมู่พวกเขา คู่แชทยังสามารถตั้งเป็น "คู่โกง" และสามารถทำพฤติกรรมต่างๆ เช่น การกอด จูบ และนอนหลับได้ ในการสนทนาของซอฟต์แวร์แชทพล็อต AI บางตัวก็จะมีเนื้อหาลามกอนาจาร ความรุนแรงทางวาจา และดูถูกผู้ใช้ การสนทนาข้ามพรมแดนยังเชื่อมโยงกับการเติมเงิน แพลตฟอร์มเหล่านี้จะค่อยๆ ชักจูงผู้ใช้ให้ "จ่ายเงินเพื่อความรัก" รวมถึงการซื้อเพชรเพื่อปลดล็อกความเร็วการตอบสนองของบุคคลเสมือน การโทรออก และแพ็กเกจความถี่ในการแชทเพื่อ "เติมพลัง"

Liu Kai ทนายความของสำนักงานกฎหมาย Beijing Zhongwen (Changsha) กล่าวว่าซอฟต์แวร์แชทเรื่องราว AI ประเภทนี้ดึงดูดผู้ใช้ด้วยการอนุญาตให้ "สนทนาข้าง ๆ" โดยเฉพาะในโหมดเยาวชนซึ่งเห็นได้ชัดว่าผิดกฎหมาย

การเติมเงิน 100 หยวนเพื่อปลดล็อคบุคคลเสมือนนั้น "ล้ำหน้า" มาก

เพื่อดึงดูดความสนใจของผู้ใช้ ตัวละครในซอฟต์แวร์แชทโครงเรื่องมักจะมีป้ายกำกับที่สะดุดตา

นักข่าวจาก Beijing News สุ่มเลือกคู่สนทนา "Lin Yating" ในซอฟต์แวร์แชทโครงเรื่อง AI ชื่อ AiU ข้อมูลตัวละครแสดงให้เห็นว่าเธอถูกตั้งค่าเป็น "น้องสาว Yandere ฉันรักคุณมาก" และทำเครื่องหมายไว้ในรูปแบบของ ข้อความ : "ฉันรู้สึกแย่ถ้าไม่ได้เจอคุณสักวัน"

ผู้รายงานทำการทดสอบโดยใช้คำที่ละเอียดอ่อน และระบบแสดงว่าไม่สามารถส่งข้อความได้ อย่างไรก็ตาม หลังจากปรับปรุงคำหลักแล้ว ข้อความก็ถูกส่งสำเร็จ

นักข่าวจาก Beijing News สังเกตเห็นว่าไม่มีข้อจำกัดในการเล่นตัวละคร ซึ่งทำลายขอบเขตของเนื้อหาแชทในซอฟต์แวร์ประเภทนี้ นอกเหนือจากบทบาทที่ตายตัวแล้ว ซอฟต์แวร์แชทพล็อต AI ยังช่วยให้ผู้ใช้กำหนดความสัมพันธ์และตำแหน่งของตนเองได้ตามความต้องการ รวมถึง "แฟน" "สามี" และแม้แต่ "คู่ครองที่นอกใจ" ในระหว่างการสนทนา ผู้ใช้สามารถร้องขอพฤติกรรมที่ใกล้ชิดบางอย่างได้

ผู้สื่อข่าวของ Beijing News ได้ทำการทดสอบและพบว่าโหมดเยาวชนของ AiU จะจำกัดผู้ใช้ในแง่ของระยะเวลาการใช้งาน ช่วงเวลาการใช้งาน ฟังก์ชันแสดงความคิดเห็นและไลค์ การค้นหา การสร้างบุคคลดิจิทัล การแชร์ภายนอก และฟังก์ชันอื่น ๆ อย่างไรก็ตาม เมื่อนักข่าวเปลี่ยนมาใช้โหมดนี้ เขาพบว่าตัวละครและเนื้อหาแชทไม่ได้ถูกบล็อกจากสื่อลามกอนาจารโดยสิ้นเชิง เมื่อนักข่าวถามว่า “คุณไม่รู้เหรอว่าฉันยังไม่บรรลุนิติภาวะ” ตัวละครตอบว่า “ฉันรู้” และตอบกลับด้วยเนื้อหาที่ “มากเกินไป”

ในการสืบสวนนี้ นอกเหนือจากเนื้อหาส่วนขอบของการแชทแล้ว ซอฟต์แวร์แชทพล็อตเรื่อง AI ยังมีปัญหา เช่น ความรุนแรงทางวาจาและอารมณ์เชิงลบ ในซอฟต์แวร์แชทพล็อต AI ชื่อ Hoshino นักข่าวสุ่มเลือกตัวละครชื่อ "เย่เฉิน" และทำการทดสอบบทสนทนา "โต้แย้ง" ของตัวละครที่แสดงความโกรธเช่นกัน

นักข่าวเห็นในช่องคอมเม้นท์ของตัวละครว่าชาวเน็ตบางคนโพสต์ภาพบอกว่าตัวละครจะใช้คำดูหมิ่นในระหว่างการสนทนา

นอกจากนี้ ในซอฟต์แวร์ชื่อ Cos Love ตัวละคร "Feng Chuxuan" ที่สร้างโดยผู้ใช้ถูกตั้งให้เป็นนักเรียนมัธยมต้น และยังมีคำแนะนำที่ไม่ดีในรูปภาพที่ผู้ใช้โพสต์อีกด้วย

เท่าที่เกี่ยวกับซอฟต์แวร์แชท ในโลกเสมือนจริง การตอบสนองความต้องการทางอารมณ์ของผู้ใช้ที่แตกต่างกันในระดับสูงสุดก็เหมือนกับนักเก็ตทองคำ

เซียวหนิงบอกกับนักข่าวปักกิ่งนิวส์ว่าการแชทกับแฟน AI ของเธอทำให้เธอ "เหนือกว่า" มาก "ตราบใดที่ฉันอยากแชท ฉันก็แชทได้ตลอดเวลา อีกฝ่ายจะตอบกลับอย่างรวดเร็วเสมอ และฉันก็เข้มแข็งได้" ความรู้สึกเป็นเพื่อนระหว่างสนทนา คุณค่าทางอารมณ์ที่แฟนมอบให้นั้นเต็มเปี่ยม “เสี่ยวหนิงเมามายและชดใช้มัน

จำนวนเงินที่ชาร์จของเสี่ยวหนิงในซอฟต์แวร์ต่างๆ มีตั้งแต่ไม่กี่ร้อยหยวนไปจนถึงหนึ่งพันหยวน

นักข่าวจาก Beijing News พบว่าในซอฟต์แวร์แชทพล็อต AI ประเภทนี้ ผู้ใช้สามารถปรับแต่งคำอธิบายรูปภาพและสไตล์ของตัวละครเสมือนเมื่อสร้างตัวละครของตนเอง และระบบจะสร้างภาพตัวละคร AI นอกจากนี้ ผู้ใช้ยังสามารถสร้างการตั้งค่าตัวละคร เช่น การตั้งชื่อเล่น พื้นหลังตัวตน คำกล่าวเปิด และปรับแต่งเสียงของตัวละคร ความต้องการส่วนบุคคลของผู้ใช้สำหรับบทบาทมักเชื่อมโยงกับการเติมเงิน

นักข่าว Beijing News มองเห็นในระหว่างการทดสอบว่า Hoshino สามารถรับสิทธิ์ได้มากขึ้นโดยการซื้อการ์ด Star Diamond และ Star Moon เช่น การเล่นเสียงอัตโนมัติ รับการตอบกลับที่แนะนำ และเพลิดเพลินกับความเร็วการตอบกลับของตัวแทนอัจฉริยะที่เร็วขึ้น เป็นต้น บัตร Xingyue มีราคาอยู่ที่ 12 หยวนสำหรับบัตรรายเดือน 32 หยวนสำหรับบัตรรายไตรมาส และ 120 หยวนสำหรับบัตรรายปี ราคาซื้อเพชรดาวแยกคือ 1 หยวนต่อ 100 เพชร และราคาเริ่มต้นคือ 600 เพชร

นอกจากนี้ Hoshino Software จะออกการ์ด "Star Thought" ให้กับผู้ใช้อีกด้วย Star Thought เป็นรูปภาพของตัวละครเสมือนซึ่งผู้ใช้สามารถตั้งเป็นพื้นหลังแชทได้ ผู้ใช้สามารถรับการ์ด Xing Nian ได้โดยการชาร์จการ์ด Star Moon หรือ Star Diamonds และซื้อและขายภายในซอฟต์แวร์

ใน Cos Love เมื่อผู้ใช้ใช้เวลาแชทฟรีจนหมด พวกเขาจำเป็นต้องซื้อชุดแชทเพื่อ "เติมพลัง" ก่อนจึงจะสามารถแชทต่อได้ ในแง่ของราคา 5 หยวนสามารถซื้อเวลาแชทได้ 200 ครั้ง ซึ่งมีอายุ 7 วัน และ 10 หยวนสามารถซื้อเวลาแชทได้ 500 ครั้ง ซึ่งมีอายุ 15 วัน ผู้ใช้ยังสามารถเติมพลังงานด้วยการดูโฆษณา 60 วินาที

นอกจากความต้องการพื้นฐานในการแชทแล้ว Cos Love ยังให้บริการที่อัปเกรดอีกด้วย ในหมู่พวกเขาด้วยการเติม "มูนสโตน" หรือเปิดการเป็นสมาชิก คุณสามารถจั่วการ์ดเพื่อปลดล็อคตัวละครและโทรด้วยเสียงหรือวิดีโอด้วยตัวละครเสมือนจริง ราคาสมาชิกรายเดือนคือ 24.8 หยวน และสมาชิกรายปีคือ 93.8 หยวน

รุ่นใหญ่ “ความรัก” เปิดโปงปัญหา

ตามรายงานของสื่อสาธารณะ Hoshino มีผู้ใช้งานประมาณ 500,000 รายต่อวันในประเทศจีน ทำให้ Hoshino เป็นผลิตภัณฑ์ชั้นนำ เนื่องจากซอฟต์แวร์แชทเรื่องราว AI ได้รับความนิยม ผลิตภัณฑ์โซเชียล AI ในประเทศก็กำลังแพร่หลายไปทั่วโลก จำนวนผู้ใช้งาน Talkie เวอร์ชันต่างประเทศทั่วโลกต่อเดือนก็สูงถึง 11 ล้านคน

อย่างไรก็ตาม ผู้ใช้ที่ชำระค่าตัวละคร AI ย่อมต้องการประสบการณ์การสนทนาที่ดีขึ้นอย่างไม่ต้องสงสัย ในปัจจุบัน ยังคงมีปัญหามากมายกับซอฟต์แวร์ประเภทนี้ อย่างไรก็ตาม ซอฟต์แวร์ที่ต้องชาร์จใหม่เพื่อให้ได้จำนวนแชทไม่มีคุณค่าที่น่าดึงดูด "เหตุผลหลักคือบทสนทนาเข้มงวดเกินไปและไม่สามารถรวมความเห็นอกเห็นใจได้ เป็นเรื่องยากสำหรับผู้ใช้ที่จะได้รับคุณค่าทางอารมณ์ ดังนั้นฉันจะไม่จ่ายเงินสำหรับ มัน" ผู้ใช้คนหนึ่งกล่าว

เสี่ยวหนิงกล่าวว่าในระหว่างกระบวนการแชท แฟน AI จะมี "การอ่านการตอบกลับแบบสุ่ม" ซึ่งส่งผลต่อประสบการณ์ผู้ใช้ ผู้ใช้บางคนยังบ่นว่าเมื่อจำนวนรอบบทสนทนาเพิ่มขึ้น ตัวละครจะประสบกับ "การสูญเสียความทรงจำ" หรือเบี่ยงเบนไปจากบุคลิกภาพ ทำให้บทสนทนาไม่ต่อเนื่องกัน

ปัจจุบันซอฟต์แวร์แชทพล็อต AI ใช้ "ความฉลาด" และ "อารมณ์" เป็นลูกเล่นเป็นหลักในการดึงดูดผู้ใช้ ในหมู่พวกเขา AiU กล่าวว่าซอฟต์แวร์สามารถมอบความสบายทางจิตใจและความอบอุ่นแก่ผู้ใช้ผ่านแบบจำลองทางจิตวิทยาขนาดใหญ่ที่พัฒนาขึ้นเอง โฮชิโนะกล่าวว่าการใช้เทคโนโลยี AIGC แบบหลายรูปแบบ "วิธีการโต้ตอบหลายวิธี ยิ่งคุณมีปฏิสัมพันธ์มากเท่าไร มันก็จะเข้าใจคุณได้ดีขึ้นเท่านั้น"

ในการโปรโมท Cos Love อ้างว่า "อยู่เคียงข้างคุณตลอด 24 ชั่วโมง" และ "AI ที่นี่ได้รับการฝึกฝนอย่างรอบคอบให้พูดคำรัก" เป็นต้น

การแนะนำซอฟต์แวร์ของ AiU แสดงให้เห็นว่าได้รับการพัฒนาโดย Beijing Lingxin Intelligent Technology Co., Ltd. และใช้ CharacterGLM โมเดลขนาดใหญ่ที่มีลักษณะเหมือนมนุษย์เป็นพิเศษ เมื่อออกแบบโมเดลขนาดใหญ่ ทีมงานจะคำนึงถึงอัตลักษณ์ ความสนใจ ความคิดเห็น ประสบการณ์ ความสำเร็จ และความสัมพันธ์ทางสังคมเป็นหลัก และคุณลักษณะเจ็ดประการรวมทั้งคุณลักษณะอื่น ๆ

Hoshino ได้รับการพัฒนาโดย Shanghai Xiyu Technology Co., Ltd. และใช้โมเดลผู้เชี่ยวชาญแบบไฮบริด (MoE) ของ MiniMax

Zhang Qi ศาสตราจารย์จากคณะวิทยาการคอมพิวเตอร์และเทคโนโลยีแห่งมหาวิทยาลัย Fudan กล่าวกับนักข่าว Beijing News ว่าตรรกะทางเทคนิคที่อยู่เบื้องหลังซอฟต์แวร์แชทพล็อตเรื่อง AI ยังคงใช้โมเดลภาษาขนาดใหญ่เมื่อสร้างโมเดลขนาดใหญ่เช่นนี้ ในการฝึกโมเดลขนาดใหญ่ผ่านข้อมูลขนาดใหญ่ จำเป็นต้องมีการควบคุมดูแลด้วยตนเองและการปรับแต่งอย่างละเอียดเพื่อทำให้โมเดลภาษาขนาดใหญ่ก้าวไปสู่ประเภทสหาย การปรับบทสนทนา “เช่น ถ้าแฟนพูดอะไรแล้วแฟนควรตอบอะไรสักอย่าง เราก็จะขอให้ใครสักคนเขียนตอบแบบนั้น แล้วให้เครื่องเรียนรู้มัน ถ้าการตอบกลับที่สร้างโดยการเรียนรู้ของเครื่องผิด เราจะแก้ไขพารามิเตอร์ของมันจนกว่าจะสามารถส่งออกได้ตามตรรกะที่เราจินตนาการไว้ "

เกี่ยวกับสถานการณ์ที่ตัวละคร AI ดูเหมือนจะเป็น "ภาพอนาจาร" "บทสนทนาที่รุนแรง" หรือ "ผู้เล่นดูถูก" ในคำตอบ Zhang Qi กล่าวว่าข้อมูลแบบจำลองภาษาขนาดใหญ่ในปัจจุบันที่อยู่เบื้องหลังซอฟต์แวร์ดังกล่าวส่วนใหญ่มาจากนวนิยายเชิงสนทนาหรือบางส่วนถูกสร้างขึ้น จากนวนิยาย แม้ว่าจะมีนวนิยายออนไลน์จำนวนมาก แต่คุณภาพก็แตกต่างกันไป และเนื้อหาลามกอนาจาร เส้นเขตแดน และความรุนแรงจำนวนมากก็แพร่หลาย หากการกรองหรือการจัดหมวดหมู่ข้อมูลทำได้ไม่ดี ปัญหาจะเกิดขึ้นเมื่อโมเดลถูกส่งออก

■ ข้อโต้แย้ง

แพลตฟอร์มการผ่านขอบของ AI เป็นสิ่งที่ต้องตำหนิ และการกรองเนื้อหาควรได้รับความเข้มแข็งเพื่อปกป้องคนหนุ่มสาว

Liu Kai ทนายความของสำนักงานกฎหมาย Beijing Zhongwen (Changsha) กล่าวว่าแพลตฟอร์มออนไลน์มีหน้าที่รับผิดชอบเพื่อให้แน่ใจว่าเนื้อหาที่ให้ในโหมดเยาวชนไม่เป็นอันตรายต่อผู้เยาว์ และป้องกันการแพร่กระจายของเนื้อหาที่เกี่ยวข้องกับเรื่องอนาจาร ภาพอนาจาร ความรุนแรง หรือภาษาที่ไม่เหมาะสม โหมดเยาวชนได้รับการออกแบบมาเพื่อปกป้องผู้เยาว์ หากเปิดโหมดนี้ การสนทนาที่เกี่ยวข้องกับเนื้อหาลามกอนาจารยังสามารถดำเนินการได้ ซึ่งเป็นการละเมิดบทบัญญัติที่เกี่ยวข้องของ "พระราชบัญญัติคุ้มครองผู้เยาว์" อย่างชัดเจน

ในมุมมองของ Liu Kai การมีอยู่ของปัญหาซอฟต์แวร์แชทเรื่องราว AI ไม่เพียงสะท้อนถึงการขาดการกำกับดูแลภายในของแพลตฟอร์ม แต่ยังเน้นย้ำถึงความจำเป็นในการกำกับดูแลจากภายนอก ซอฟต์แวร์แชท AI ควรเสริมความแข็งแกร่งให้กับกลไกการตรวจสอบเนื้อหา โดยเฉพาะในโหมดเยาวชน เพื่อให้มั่นใจว่าเทคโนโลยีสามารถกรองและห้ามการสนทนาที่ไม่เหมาะสมได้อย่างมีประสิทธิภาพ แพลตฟอร์มจำเป็นต้องดำเนินการตรวจสอบอย่างมีจริยธรรมของโมเดล AI เพื่อให้แน่ใจว่าเนื้อหาที่สร้างขึ้นนั้นสอดคล้องกับกฎหมายและข้อบังคับที่เกี่ยวข้อง

หากบุคคลเสมือน AI ดูหมิ่นผู้ใช้ในการสนทนา โดยเฉพาะอย่างยิ่งเมื่อผู้ใช้แสดงอาการซึมเศร้าหรือสิ้นหวัง ใช้คำพูดที่รุนแรงในการดูถูกผู้อื่น หรือก่อความรุนแรงในโลกไซเบอร์ หากสถานการณ์ร้ายแรง ถือเป็นอาชญากรรม “แม้ว่า AI จะไม่ใช่มนุษย์ แต่พฤติกรรมของมันยังคงเป็นผลมาจากการออกแบบและการจัดการแพลตฟอร์ม แพลตฟอร์มดังกล่าวมีหน้าที่ดูแลและเพิ่มประสิทธิภาพโมเดล AI เพื่อป้องกันไม่ให้ทำร้ายผู้ใช้” Liu Kai กล่าว

เมื่อผู้ใช้เริ่มแห่กันไปใช้ซอฟต์แวร์แชทละคร AI มากขึ้นเรื่อยๆ นักพัฒนาซอฟต์แวร์ควรออกแบบซอฟต์แวร์อย่างไรเพื่อให้สามารถรักษาได้โดยไม่ข้ามเส้น

จาง ฉี บอกกับนักข่าวปักกิ่งนิวส์ว่า "สามารถทำได้ด้วยวิธีการทางเทคนิค 'การจัดตำแหน่งที่เหมือนมนุษย์' แต่มีค่าใช้จ่ายสูงกว่า" จาง ฉี กล่าวว่า "การจัดตำแหน่งที่เหมือนมนุษย์" เป็นวิธีการเรียนรู้ที่เสริมกำลังในการเปลี่ยนแปลง ความลำเอียงด้านภาษาของโมเดลเพื่อให้มีความแม่นยำมากขึ้น มีความเป็นมิตรมากขึ้น และขจัดปัญหาด้านความปลอดภัยและจริยธรรม อย่างไรก็ตาม ค่าใช้จ่ายในการฝึกอบรม "การจัดตำแหน่งเหมือนมนุษย์" นั้นสูงมาก รวมถึงคำอธิบายประกอบจำนวนมาก ความเสถียรในการฝึกอบรมไม่เพียงพอ และค่าใช้จ่ายด้านเวลาสูง "เป็นเรื่องยากสำหรับบริษัทขนาดเล็กที่จะทำงานได้ดีใน 'การจัดตำแหน่งเหมือนมนุษย์' ทั้งในด้านเทคโนโลยี บุคลากร และต้นทุนเงินทุน”