SoulChat

SoulChat

จากคุณลักษณะ 6 ประการของสุขภาพเชิงรุก ได้แก่ ความคิดริเริ่ม การป้องกัน ความแม่นยำ การปรับเปลี่ยนเฉพาะบุคคล การสร้างร่วมและการแบ่งปัน และความมีวินัยในตนเอง School of Future Technology of South China University of Technology-Guangdong Regional Key Laboratory of Digital Twins ได้เปิดแหล่งที่มา ระบบสุขภาพเชิงรุกของพื้นที่อยู่อาศัยในสาขาจีน ได้แก่

• BianQue โมเดลด้านสุขภาพในพื้นที่อยู่อาศัยขนาดใหญ่ที่ได้รับการปรับแต่งโดยคำแนะนำข้อมูลบทสนทนาด้านสุขภาพของจีนหลายสิบล้านรายการ

• SoulChat โมเดลด้านสุขภาพจิตขนาดใหญ่ได้รับการปรับแต่งอย่างละเอียดผ่านคำแนะนำร่วมกันระหว่างคำสั่งข้อความยาวของจีน และข้อมูลบทสนทนาที่เอาใจใส่หลายรอบในด้านการให้คำปรึกษาทางจิตวิทยานับล้านครั้ง

เราหวังว่า พื้นที่อยู่อาศัยแบบจำลองขนาดใหญ่ด้านสุขภาพเชิงรุก ProactiveHealthGPT สามารถช่วยชุมชนวิชาการเร่งการวิจัยและการประยุกต์ใช้แบบจำลองขนาดใหญ่ในสาขาสุขภาพเชิงรุก เช่น โรคเรื้อรัง และการให้คำปรึกษาทางจิตวิทยา โปรเจ็กต์นี้คือ SoulChat โมเดลสุขภาพจิตขนาดใหญ่

อัพเดทล่าสุด

• 2024.06.06: ชุดข้อมูล SoulChatCorpus เวอร์ชันโอเพ่นซอร์สเปิดตัวแล้ว สำหรับรายละเอียด โปรดดู https://www.modelscope.cn/datasets/YIRONGCHEN/SoulChatCorpus โดยเฉพาะ เราได้กรองตัวอย่างการสนทนาออกไปแล้วประมาณ 90,000 ตัวอย่าง (เนื่องจากความเสี่ยงด้านความเป็นส่วนตัว ปัญหาด้านความปลอดภัย ความเสี่ยงทางการเมือง ตัวอย่างที่มีคุณภาพต่ำ ฯลฯ ตัวอย่างเหล่านี้ยังอยู่ในขั้นตอนการเพิ่มประสิทธิภาพด้วยตนเอง หลังจากการตรวจสอบด้วยตนเองเสร็จสิ้นแล้ว พวกเขาจะได้รับการอัปเดตเป็น ชุดข้อมูลเวอร์ชันโอเพ่นซอร์ส) และในที่สุดก็เก็บบทสนทนาหลายรอบได้ 258,354 รายการ รวมเป็น 1,517,344 รอบ โมเดลเวอร์ชันใหม่จะเปิดตัวในอนาคตอันใกล้นี้ และคาดว่าจะได้รับการปรับให้เข้ากับโมเดลโอเพ่นซอร์สหลายตัวและระดับพารามิเตอร์หลายระดับ เพื่ออำนวยความสะดวกในการใช้งานของผู้ใช้หรือดำเนินการวิจัยเชิงทดลองเชิงเปรียบเทียบ

• 12.07.2023: เอกสารของเราซึ่งรวมอยู่ในข้อค้นพบของ EMNLP 2023 โปรดดู SoulChat: การปรับปรุงความสามารถด้านความเห็นอกเห็นใจ การฟัง และความสบายใจของ LLM ผ่านการปรับแต่งอย่างละเอียดด้วยการสนทนาการเอาใจใส่แบบหลายรอบ

• 2023.07.07: SoulChat รุ่นเบต้าแบบปิดออนไลน์เปิดตัวแล้ว ยินดีต้อนรับสู่การคลิกลิงก์เพื่อใช้: SoulChat เวอร์ชันเบต้าแบบปิด

• 2023.06.24: โปรเจ็กต์นี้รวมอยู่ในรายการโมเดลขนาดใหญ่ของจีน โดยเป็นโมเดลโอเพ่นซอร์สขนาดใหญ่ในประเทศรุ่นแรกในสาขาจิตวิทยาที่มีความสามารถในการเอาใจใส่และการฟัง

• 2023.06.06: โมเดล BianQue-2.0 เป็นโอเพ่นซอร์ส สำหรับรายละเอียด โปรดดูที่ BianQue-2.0

• 06.06.2023: SoulChat ซึ่งเป็นโมเดลสุขภาพทางจิตวิญญาณขนาดใหญ่ที่มีความสามารถในการเอาใจใส่และรับฟัง ได้รับการเผยแพร่แล้ว ดูรายละเอียดได้ที่ SoulChat ซึ่งเป็นโมเดลสุขภาพทางจิตวิญญาณขนาดใหญ่: ผ่านการปรับแต่งคำแนะนำในการให้คำปรึกษาด้วยข้อความยาวอย่างละเอียดและหลายรอบของ ชุดข้อมูลบทสนทนาที่เอาใจใส่ ประสิทธิภาพของแบบจำลองได้รับการปรับปรุงความสามารถ "เอาใจใส่"

• 2023.04.22: การสาธิตระบบคำถามและคำตอบทางการแพทย์ตามรุ่น Bianque-1.0 ดูรายละเอียดได้ที่: https://huggingface.co/spaces/scutcyr/BianQue

• 2023.04.22: รุ่น BianQue-1.0 เปิดตัวแล้ว สำหรับรายละเอียด โปรดดู: BianQue-1.0: การปรับปรุงความสามารถ "การถาม" ของโมเดลการสนทนาทางการแพทย์ผ่านคำแนะนำแบบผสมและการปรับแต่งชุดข้อมูลการสอบถามของแพทย์หลายรอบอย่างละเอียด (BianQue- 1.0: การปรับปรุงความสามารถ "คำถาม" ของโมเดลการแชททางการแพทย์ผ่านการปรับแต่งด้วยคำแนะนำแบบไฮบริดและชุดข้อมูล QA ของแพทย์แบบหลายเทิร์น)

การแนะนำ

เราตรวจสอบแพลตฟอร์มการให้คำปรึกษาทางจิตวิทยาทั่วไปในปัจจุบัน และพบว่าเมื่อผู้ใช้ขอความช่วยเหลือทางจิตวิทยาออนไลน์ พวกเขามักจะจำเป็นต้องอธิบายตัวเองอย่างกว้างขวาง จากนั้นที่ปรึกษาทางจิตวิทยาที่ให้ความช่วยเหลือก็จะตอบกลับยาวเช่นกัน (ดูรูป/single_turn.png) ขาดกระบวนการให้ความไว้วางใจที่ก้าวหน้า อย่างไรก็ตาม ในกระบวนการให้คำปรึกษาด้านจิตวิทยาที่เกิดขึ้นจริง จะมีกระบวนการสื่อสารหลายรอบระหว่างผู้ใช้และผู้ให้คำปรึกษาด้านจิตวิทยา ในระหว่างกระบวนการนี้ ผู้ให้คำปรึกษาด้านจิตวิทยาจะแนะนำผู้ใช้ให้พูดคุยและให้ความเห็นอกเห็นใจ เช่น: "เยี่ยมมาก" , “ฉันเข้าใจว่าคุณรู้สึกอย่างไร”, “แน่นอน คุณทำได้” ฯลฯ (ดูภาพด้านล่าง)

เมื่อพิจารณาถึงการขาดชุดข้อมูลบทสนทนาเชิงเอาใจใส่แบบหลายรอบในปัจจุบัน ในด้านหนึ่ง เราได้สร้าง คำแนะนำและคำตอบในการให้คำปรึกษาทางจิตวิทยาแบบข้อความยาวรอบเดียว (SoulChatCorpus-single_turn) ที่มีขนาด มากกว่า 150,000 และมีจำนวนคำตอบเกิน 500,000 (จำนวนคำสั่งปัจจุบันเป็น 6.7 เท่าของชุดข้อมูลการให้คำปรึกษาทางจิตวิทยาทั่วไป PsyQA) และใช้ ChatGPT และ GPT4 เพื่อสร้าง ข้อมูลคำตอบแบบหลายรอบรวมประมาณ 1 ล้านรอบ (SoulChatCorpus-multi_turn) - โดยเฉพาะอย่างยิ่ง เราพบในการทดลองก่อนว่ารูปแบบการให้คำปรึกษาทางจิตวิทยารอบเดียวที่ขับเคลื่อนด้วยบทความยาวๆ จะทำให้ข้อความมีความยาวที่น่าเบื่อสำหรับผู้ใช้ และไม่มีความสามารถในการแนะนำผู้ใช้ให้พูดคุยได้หลากหลาย โมเดลการให้คำปรึกษาทางจิตวิทยาแบบกลมที่ขับเคลื่อนด้วยข้อมูล โมเดลนี้ทำให้ความสามารถในการแนะนำของโมเดลลดลง ดังนั้นเราจึงผสม SoulChatCorpus-single_turn และ SoulChatCorpus-multi_turn เพื่อสร้าง ชุดข้อมูลบทสนทนาเชิงเอาใจใส่แบบผสมรอบเดียวและหลายรอบ SoulChatCorpus ที่มีมากกว่า 1.2 ล้านตัวอย่าง - ข้อมูลทั้งหมดจะรวมเป็นรูปแบบคำสั่งเดียวในรูปแบบ "ผู้ใช้: xxxn ที่ปรึกษาทางจิตวิทยา: ผู้ใช้ xxxn: ที่ปรึกษาทางจิตวิทยา xxxn:"

เราเลือก ChatGLM-6B เป็นโมเดลการเริ่มต้น และดำเนิน การปรับแต่งพารามิเตอร์ทั้งหมดอย่างละเอียด เพื่อปรับปรุงความสามารถของโมเดลในการเอาใจใส่ แนะนำให้ผู้ใช้พูดคุย และให้คำแนะนำที่สมเหตุสมผล สำหรับรายละเอียดการฝึกอบรมเพิ่มเติม โปรดอ่านเอกสารฉบับต่อๆ ไปของเรา

วิธีใช้

• โคลนโครงการนี้

 ซีดี ~git clone https://github.com/scutcyr/SoulChat.git

• เมื่อติดตั้งการขึ้นต่อกัน โปรดทราบว่าจะต้องเลือกเวอร์ชันของ Torch ตามเวอร์ชัน Cuda ที่แท้จริงของเซิร์ฟเวอร์ของคุณ สำหรับรายละเอียด โปรดดูคู่มือการติดตั้ง pytorch

 ซีดี SoulChat
conda env สร้าง -n proactivehealthgpt_py38 -- ไฟล์ proactivehealthgpt_py38.yml
conda เปิดใช้งาน proactivehealthgpt_py38

pip ติดตั้ง cpm_kernels
pip ติดตั้ง torch==1.13.1+cu116 torchvision==0.14.1+cu116 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu116

• [ภาคผนวก] แนะนำให้ผู้ใช้ภายใต้ Windows อ้างถึงกระบวนการต่อไปนี้เพื่อกำหนดค่าสภาพแวดล้อม

 cdBianQue
conda สร้าง -n proactivehealthgpt_py38 python=3.8
conda เปิดใช้งาน proactivehealthgpt_py38
pip ติดตั้ง torch==1.13.1+cu116 torchvision==0.14.1+cu116 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu116
pip ติดตั้ง -r ข้อกำหนด.txt
pip ติดตั้ง rouge_chinese nltk jieba ชุดข้อมูล # การติดตั้งต่อไปนี้คือการเรียกใช้ demoopip ติดตั้ง streamlit
pip ติดตั้ง streamlit_chat

• [ภาคผนวก] การกำหนดค่า CUDA-11.6 ใน Windows: ดาวน์โหลดและติดตั้ง CUDA-11.6, ดาวน์โหลด cudnn-8.4.0, แตกไฟล์และคัดลอกไฟล์ไปยังพาธที่สอดคล้องกับ CUDA-11.6, อ้างอิงถึง: การใช้ conda เพื่อติดตั้ง pytorch ภายใต้ win11-cuda11 . 6-แนวคิดการติดตั้งทั่วไป

• การเรียกโมเดล SoulChat ใน Python

 นำเข้า torchfrom Transformers นำเข้า AutoModel, AutoTokenizer# อุปกรณ์การตั้งค่า GPU = torch.device("cuda" if torch.cuda.is_available() else "cpu")# โหลดโมเดลด้วย tokenizer model_name_or_path = 'scutcyr/SoulChat' model = AutoModel.from_pretrained( model_name_or_path , trust_remote_code=True).half()model.to(device)tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True)# บทสนทนารอบเดียวเรียกใช้ฟังก์ชันแชทของโมเดล user_input = "ฉันเสียใจ อึดอัดมาก!" = "ผู้ใช้ :" + user_input + "nที่ปรึกษาทางจิตวิทยา:"คำตอบ ประวัติ = model.chat(tokenizer, query=input_text, history=None, max_length=2048, num_beams=1, do_sample=True, top_p=0.75, temperature=0.95, logits_processor=None)# เรียกใช้ฟังก์ชันแชทของโมเดลหลายรอบ บทสนทนา# หมายเหตุ: โปรเจ็กต์นี้ใช้ "n ผู้ใช้:" และ "n ผู้ให้คำปรึกษาด้านจิตวิทยา:" เพื่อแบ่งประวัติการสนทนาของรอบต่างๆ# หมายเหตุ: user_history ยาวกว่า bot_history 1user_history = ['สวัสดีครับอาจารย์', 'แฟนผมเลิกกับผมแล้วผมรู้สึกอึดอัดมาก']bot_history = ['สวัสดี! ฉันเป็นที่ปรึกษาดิจิทัลส่วนตัวของคุณ Sweetheart Teacher คุณสามารถพูดคุยกับฉันและพูดคุยกับฉันได้ ฉันหวังว่าจะได้ช่วยเหลือคุณ ']# บริบทประวัติการสนทนาประกบกัน = "n".join([f"User: {user_history[i]}n ผู้ให้คำปรึกษาด้านจิตวิทยา: {bot_history[i]}" for i in range(len(bot_history))])input_text = บริบท + "nuser:" + user_history [-1] + "ที่ปรึกษาทางจิตวิทยา:" การตอบสนอง ประวัติศาสตร์ = model.chat (tokenizer, query=input_text, ประวัติศาสตร์=ไม่มี, max_length=2048, num_beams=1, do_sample=True, top_p=0.75, อุณหภูมิ=0.95, logits_processor=ไม่มี)

• เริ่มให้บริการ

โปรเจ็กต์นี้จัดเตรียม soulchat_app.py ไว้เป็นตัวอย่างของการใช้โมเดล SoulChat คุณสามารถเริ่มบริการผ่านคำสั่งต่อไปนี้ จากนั้นเข้าถึงผ่าน http://<your_ip>:9026

 สตรีมรัน soulchat_app.py --server.port 9026

โดยเฉพาะอย่างยิ่งใน soulchat_app.py คุณสามารถแก้ไขโค้ดต่อไปนี้เพื่อแทนที่การ์ดกราฟิกที่ระบุ:

 os.environ['CUDA_VISIBLE_DEVICES'] = '2'

สำหรับผู้ใช้กราฟิกการ์ดเดี่ยวของ Windows คุณต้องแก้ไขเป็น: os.environ['CUDA_VISIBLE_DEVICES'] = '0' มิฉะนั้นระบบจะรายงานข้อผิดพลาด!

คุณสามารถระบุเส้นทางแบบจำลองให้เป็นเส้นทางภายในเครื่องได้โดยการเปลี่ยนรหัสต่อไปนี้:

 model_name_or_path = 'scutcyr/SoulChat'

ตัวอย่าง

• ตัวอย่างที่ 1: หลงทางในความรัก

• 
  

• ตัวอย่างที่ 2: ความสัมพันธ์ในหอพัก

• ตัวอย่างที่ 3: การสอบปลายภาค

• ตัวอย่างที่ 4: ความกดดันด้านการวิจัยทางวิทยาศาสตร์

คำแถลง

• โปรเจ็กต์นี้ใช้น้ำหนักของโมเดล ChatGLM-6B และจำเป็นต้องเป็นไปตาม MODEL_LICENSE ดังนั้น โปรเจ็กต์นี้จึงสามารถใช้เพื่อวัตถุประสงค์ในการวิจัยที่ไม่ใช่เชิงพาณิชย์เท่านั้น

• โมเดล SoulChat จัดทำโดยโปรเจ็กต์นี้มีวัตถุประสงค์เพื่อปรับปรุงบทสนทนาที่เอาใจใส่และความสามารถในการฟังของโมเดลขนาดใหญ่ อย่างไรก็ตาม ข้อความเอาท์พุตของโมเดลมีการสุ่มในระดับหนึ่ง ซึ่งจะเหมาะสมเมื่อใช้เป็นผู้ฟัง แต่เป็นเช่นนั้น ไม่แนะนำให้ใช้โมเดล SoulChat ข้อความเอาต์พุตจะแทนที่การวินิจฉัยและคำแนะนำของนักจิตวิทยา ฯลฯ โครงการนี้ไม่รับประกันว่าข้อความที่ส่งออกโดยโมเดลนี้เหมาะสำหรับผู้ใช้โดยสมบูรณ์ ผู้ใช้จำเป็นต้องแบกรับความเสี่ยงทั้งหมดเมื่อใช้โมเดลนี้!

• คุณไม่สามารถใช้ คัดลอก ปรับเปลี่ยน รวม เผยแพร่ แจกจ่าย ทำซ้ำ หรือสร้างผลงานลอกเลียนของโมเดล SoulChat ทั้งหมดหรือบางส่วน เพื่อวัตถุประสงค์ทางการค้า การทหาร หรือผิดกฎหมาย

• คุณไม่สามารถใช้โมเดล SoulChat เพื่อมีส่วนร่วมในพฤติกรรมใดๆ ที่เป็นอันตรายต่อความมั่นคงของชาติและความสามัคคีของชาติ เป็นอันตรายต่อผลประโยชน์ทางสังคมและสาธารณะ หรือละเมิดสิทธิส่วนบุคคล

• เมื่อใช้โมเดล SoulChat คุณควรทราบว่าโมเดลนี้ไม่สามารถแทนที่ผู้เชี่ยวชาญ เช่น แพทย์และนักจิตวิทยาได้ คุณไม่ควรพึ่งพา เชื่อฟัง หรือเชื่อในผลลัพธ์ของโมเดลมากเกินไป และคุณไม่ควรติดใจการสนทนากับ SoulChat แบบจำลองมาเป็นเวลานาน

รับทราบ

โครงการนี้ริเริ่มโดยห้องปฏิบัติการ Digital Twins ประจำมณฑลกวางตุ้ง, School of Future Technology, South China University of Technology โดยได้รับการสนับสนุนจากศูนย์วิจัยวิศวกรรมเครือข่ายสารสนเทศ, School of Electronics and Information และแผนกอื่นๆ ของ South China University of Technology นอกจากนี้ ยังขอขอบคุณโรงพยาบาลแม่และเด็กกวางตุ้ง, ศูนย์การแพทย์สตรีและเด็กเทศบาลกวางโจว, โรงพยาบาลในเครือแห่งที่สามของมหาวิทยาลัยซุนยัตเซ็น, สถาบันวิจัยปัญญาประดิษฐ์แห่งชาติเหอเฟย และหน่วยงานความร่วมมืออื่นๆ

ในเวลาเดียวกัน เราขอขอบคุณสื่อหรือบัญชีสาธารณะต่อไปนี้สำหรับการรายงานเกี่ยวกับโครงการนี้ (โดยไม่เรียงลำดับใดเป็นพิเศษ):

• สื่อรายงานข่าว People's Daily, China.com, Guangming.com, เทคโนโลยี TOM, Future.com, Dazhong.com, เครือข่ายรายงานการพัฒนาของจีน, China Daily Network, Xinhua News Network, China.com, Toutiao, Sohu, Tencent News, NetEase News , เครือข่ายข้อมูลจีน , เครือข่ายการสื่อสารของจีน, เครือข่ายรายงานเมืองจีน, เครือข่ายเมืองจีน

• บัญชีสาธารณะ การก่อสร้างห้องปฏิบัติการกวางตุ้ง เสียงอัจฉริยะ เยาวชนใหม่ การเรียนรู้เชิงลึก และ NLP, AINLP

อ้าง

 @inproceedings{chen-etal-2023-soulchat,title = "{S}oul{C}hat: การปรับปรุง {LLM}s{'} ความสามารถในการเอาใจใส่ การฟัง และความสะดวกสบายผ่านการปรับแต่งอย่างละเอียดด้วยการสนทนาการเอาใจใส่แบบหลายรอบ", ผู้แต่ง = "เฉิน, อี้หรงและซิง, เสี่ยวเฟินและหลิน, จิงไคและเจิ้ง, ฮุ่ยหมินและหวาง, เจิ้นหยู่และหลิว, ฉีและซู Xiangmin",editor = "Bouamor, Houda และ Pino, Juan และ Bali, Kalika",ชื่อหนังสือ = "Findings of the Association for Computational Linguistics: EMNLP 2023",เดือน = ธันวาคม,ปี = "2023",ที่อยู่ = "สิงคโปร์", สำนักพิมพ์ = "สมาคมภาษาศาสตร์คอมพิวเตอร์",url = "https://aclanthology.org/2023.findings-emnlp.83",pages = "1170--1183",abstract = "แบบจำลองภาษาขนาดใหญ่ (LLM) ได้ถูกนำไปใช้อย่างกว้างขวางในด้านต่างๆ เนื่องจากมีความสามารถที่ดีเยี่ยมในการจดจำ ความรู้และห่วงโซ่ความคิด (CoT) เมื่อนำโมเดลภาษาเหล่านี้ไปใช้ในด้านการให้คำปรึกษาทางจิตวิทยา พวกเขามักจะรีบให้คำแนะนำที่เป็นสากล อย่างไรก็ตาม เมื่อผู้ใช้ต้องการการสนับสนุนทางจิตวิทยา พวกเขาจำเป็นต้องได้รับความเห็นอกเห็นใจ ความไว้วางใจ ความเข้าใจ และความสะดวกสบาย แทนที่จะเป็นเพียงคำแนะนำที่สมเหตุสมผล ด้วยเหตุนี้ เราจึงสร้างชุดข้อมูลการสนทนาอย่างเห็นอกเห็นใจแบบหลายรอบซึ่งมีตัวอย่างมากกว่า 2 ล้านตัวอย่าง โดยข้อมูลจะเป็นบริบทของการสนทนาแบบหลายรอบ และเป้าหมายคือการตอบกลับอย่างเห็นอกเห็นใจ ที่ครอบคลุมการแสดงออก เช่น การตั้งคำถาม ความสบายใจ การจดจำ การฟัง ความไว้วางใจ การสนับสนุนทางอารมณ์ ฯลฯ การทดลองแสดงให้เห็นว่าความสามารถในการเอาใจใส่ของ LLM สามารถปรับปรุงได้อย่างมีนัยสำคัญเมื่อทำการปรับแต่งโดยใช้ประวัติการสนทนาแบบหลายรอบและการตอบกลับที่ใกล้เคียงกับการแสดงออกมากขึ้น ของที่ปรึกษาด้านจิตวิทยา"
-