SoulChat

Obrolan Jiwa

Berdasarkan enam karakteristik kesehatan aktif: inisiatif, pencegahan, akurasi, personalisasi, konstruksi bersama dan berbagi, dan disiplin diri, Sekolah Teknologi Masa Depan Universitas Teknologi China Selatan-Laboratorium Kunci Kembar Digital Provinsi Guangdong memiliki sumber terbuka sistem kesehatan aktif ruang hidup di bidang Cina. Basis model ProactiveHealthGPT, termasuk:

• BianQue, model kesehatan ruang hidup berukuran besar yang disesuaikan dengan puluhan juta instruksi data dialog kesehatan Tiongkok

• Model kesehatan mental berskala besar SoulChat telah disempurnakan melalui instruksi bersama dengan instruksi teks panjang Tiongkok dan berbagai putaran data dialog empatik di bidang jutaan konsultasi psikologis.

Kami berharap model besar kesehatan aktif ruang hidup berbasis ProactiveHealthGPT dapat membantu civitas akademika mempercepat penelitian dan penerapan model besar di bidang kesehatan aktif seperti penyakit kronis dan konseling psikologis. Proyek ini adalah SoulChat, model kesehatan mental yang besar .

Pembaruan terkini

• 06.06.2024: Versi open source dari kumpulan data SoulChatCorpus dirilis. Untuk detailnya, silakan lihat https://www.modelscope.cn/datasets/YIRONGCHEN/SoulChatCorpus, khususnya , kami telah menyaring sekitar 90.000 sampel percakapan (karena risiko privasi, masalah keamanan, risiko politik, sampel berkualitas rendah, dll., sampel ini masih dalam tahap pengoptimalan manual, dan akan diperbarui ke versi sumber terbuka kumpulan data setelah peninjauan manual selesai), pada akhirnya mempertahankan 258.354 percakapan multi-putaran, total 1.517.344 putaran. Versi baru model ini akan dirilis dalam waktu dekat, dan diharapkan dapat diadaptasi ke berbagai model sumber terbuka dan berbagai tingkat parameter untuk memfasilitasi penggunaan pengguna atau melakukan penelitian eksperimental komparatif.

• 07.12.2023: Makalah kami, termasuk dalam Temuan EMNLP 2023, lihat SoulChat: Meningkatkan Kemampuan Empati, Mendengarkan, dan Kenyamanan LLM melalui Penyempurnaan dengan Percakapan Empati Multi-putaran

• 07.07.2023: Versi beta tertutup online dari model kesehatan mental besar SoulChat diluncurkan. Selamat mengklik tautan untuk menggunakan: Versi beta tertutup SoulChat.

• 24/06/2023: Proyek ini termasuk dalam daftar model besar Tiongkok. Ini adalah model besar open source domestik pertama di bidang psikologis dengan kemampuan empati dan mendengarkan.

• 06.06.2023: Model BianQue-2.0 bersifat open source.

• 06.06.2023: SoulChat, model kesehatan spiritual besar dengan kemampuan berempati dan mendengarkan, dirilis. Untuk detailnya, lihat: SoulChat, model kesehatan spiritual besar: Melalui penyempurnaan campuran antara instruksi konsultasi teks panjang dan beberapa putaran konsultasi. kumpulan data dialog empatik, kinerja model ditingkatkan kemampuan "Empati".

• 22.04.2023: Demo sistem tanya jawab medis berdasarkan model Bianque-1.0. Untuk detailnya, kunjungi: https://huggingface.co/spaces/scutcyr/BianQue

• 22.04.2023: Model versi BianQue-1.0 dirilis. Untuk detailnya, lihat: BianQue-1.0: Meningkatkan kemampuan "bertanya" pada model obrolan medis melalui instruksi campuran dan penyesuaian beberapa putaran kumpulan data penyelidikan dokter (BianQue- 1.0: Meningkatkan Kemampuan "Pertanyaan" Model Obrolan Medis melalui penyempurnaan dengan Instruksi Hibrid dan Kumpulan Data QA Dokter Multi-putaran)

Perkenalan

Kami menyelidiki platform konseling psikologis umum saat ini dan menemukan bahwa ketika pengguna mencari bantuan psikologis online, mereka biasanya perlu mendeskripsikan diri mereka secara panjang lebar, dan kemudian konselor psikologis yang memberikan bantuan juga memberikan balasan yang panjang (lihat gambar/single_turn.png) , melewatkan proses saling percaya yang progresif. Namun dalam proses konseling psikologis sebenarnya, akan terjadi beberapa putaran proses komunikasi antara pengguna dan konselor psikologis. Selama proses ini, konselor psikologis akan membimbing pengguna untuk berbicara dan memberikan empati, seperti: “Bagus sekali.” , “Saya mengerti perasaan Anda”, “Tentu saja bisa”, dll. (lihat gambar di bawah).

Mengingat kurangnya kumpulan data dialog empatik multi-putaran saat ini, di satu sisi, kami membuat instruksi dan jawaban konseling psikologis teks panjang satu putaran (SoulChatCorpus-single_turn) dengan skala lebih dari 150.000, dan jumlah jawabannya melebihi 500.000 (jumlah instruksi saat ini 6,7 kali lipat dari kumpulan data konseling psikologis umum PsyQA), dan menggunakan ChatGPT dan GPT4 untuk menghasilkan total sekitar 1 juta putaran data jawaban multi-putaran (SoulChatCorpus-multi_turn) . Secara khusus, kami menemukan dalam pra-percobaan bahwa model konseling psikologis satu putaran murni yang didorong oleh artikel panjang akan menghasilkan teks panjang yang membosankan bagi pengguna, dan tidak memiliki kemampuan untuk memandu pengguna untuk berbicara -model konseling psikologis berbasis data dialog konseling psikologis Model ini melemahkan kemampuan rekomendasi model. Oleh karena itu, kami menggabungkan SoulChatCorpus-single_turn dan SoulChatCorpus-multi_turn untuk membuat kumpulan data dialog empatik campuran putaran tunggal dan multi-putaran SoulChatCorpus dengan lebih banyak putaran. dari 1,2 juta sampel. . Seluruh data disatukan menjadi satu format perintah berupa “User: xxxn Konselor Psikologi: xxxn User: xxxn Konselor Psikologi:”.

Kami memilih ChatGLM-6B sebagai model inisialisasi dan melakukan penyesuaian semua parameter untuk meningkatkan kemampuan model dalam berempati, memandu pengguna untuk berbicara, dan memberikan saran yang masuk akal. Untuk lebih jelasnya pelatihan, silahkan memperhatikan makalah kami selanjutnya.

Cara menggunakan

• Kloning proyek ini

 cd ~git clone https://github.com/scutcyr/SoulChat.git

• Saat memasang dependensi, harap perhatikan bahwa versi torch harus dipilih berdasarkan versi cuda sebenarnya dari server Anda. Untuk detailnya, lihat panduan instalasi pytorch.

 cd Obrolan Jiwa
conda env buat -n proactivehealthgpt_py38 --file proactivehealthgpt_py38.yml
conda aktifkan proactivehealthgpt_py38

pip instal cpm_kernels
pip install torch==1.13.1+cu116 torchvision==0.14.1+cu116 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu116

• [Tambahan] Pengguna di bawah Windows disarankan untuk merujuk ke proses berikut untuk mengkonfigurasi lingkungan.

 cdBianQue
conda buat -n proactivehealthgpt_py38 python=3.8
conda aktifkan proactivehealthgpt_py38
pip install torch==1.13.1+cu116 torchvision==0.14.1+cu116 torchaudio==0.13.1 --extra-index-url https://download.pytorch.org/whl/cu116
instalasi pip -r persyaratan.txt
pip install rouge_chinese nltk jieba datasets# Instalasi berikut menjalankan demoopip install streamlit
pip instal streamlit_chat

• [Suplemen] Mengonfigurasi CUDA-11.6 di Windows: Unduh dan instal CUDA-11.6, unduh cudnn-8.4.0, unzip dan salin file ke jalur yang sesuai dengan CUDA-11.6, lihat: Menggunakan conda untuk menginstal pytorch di bawah win11-cuda11 .6-Ide instalasi umum

• Memanggil model SoulChat dengan Python

 impor obor dari transformator impor AutoModel, AutoTokenizer# Pengaturan GPU perangkat = torch.device("cuda" if torch.cuda.is_available() else "cpu")# Muat model dengan tokenizer model_name_or_path = 'scutcyr/SoulChat' model = AutoModel.from_pretrained( model_nama_atau_jalur, trust_remote_code=True).half()model.to(device)tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True)# Dialog satu putaran memanggil fungsi obrolan model user_input = "Saya mabuk cinta, sangat tidak nyaman!" = "Pengguna :" + user_input + "nKonselor psikologis:"respons, riwayat = model.chat(tokenizer, query=input_text, history=None, max_length=2048, num_beams=1, do_sample=True, top_p=0.75, temperatur=0.95, logits_processor=None)# Panggil fungsi chat model untuk beberapa putaran dialog# Catatan: Proyek ini menggunakan "n pengguna:" dan "n konselor psikologis:" untuk membagi riwayat percakapan dari berbagai putaran# Catatan: user_history lebih panjang dari bot_history 1user_history = ['Halo, guru', 'Pacar saya putus dengan saya dan saya merasa sangat tidak nyaman']bot_history = ['Halo! Saya adalah konselor digital pribadi Anda, Guru Sayang. Anda dipersilakan untuk berbicara dengan saya dan berbicara dari hati ke hati. Saya berharap dapat membantu Anda! ']# Penyambungan konteks riwayat percakapan = "n".join([f"Pengguna: {user_history[i]}n Konselor psikologis: {bot_history[i]}" untuk i dalam rentang(len(bot_history))])input_text = konteks + "nuser:" + user_history[-1] + "npsychological counselor:" respon, history = model.chat(tokenizer, query=input_text, history=Tidak ada, max_length=2048, num_beams=1, do_sample=True, top_p=0.75, suhu=0.95, logits_processor=Tidak ada)

• Mulai layanan

Proyek ini menyediakan soulchat_app.py sebagai contoh penggunaan model SoulChat. Anda dapat memulai layanan melalui perintah berikut, dan kemudian mengaksesnya melalui http://<your_ip>:9026.

 streamlit jalankan soulchat_app.py --server.port 9026

Khususnya, di soulchat_app.py, Anda dapat mengubah kode berikut untuk menggantikan kartu grafis yang ditentukan:

 os.lingkungan['CUDA_VISIBLE_DEVICES'] = '2'

Untuk pengguna kartu grafis tunggal Windows, Anda perlu memodifikasinya menjadi: os.environ['CUDA_VISIBLE_DEVICES'] = '0' , jika tidak, kesalahan akan dilaporkan!

Anda dapat menentukan jalur model menjadi jalur lokal dengan mengubah kode berikut:

 model_name_or_path = 'scutcyr/SoulChat'

Contoh

• Contoh 1: Hilang dalam cinta

• 
  

• Contoh 2: Hubungan asrama

• Contoh 3: Ujian akhir

• Contoh 4: Tekanan penelitian ilmiah

penyataan

• Proyek ini menggunakan bobot model ChatGLM-6B dan harus mengikuti MODEL_LICENSE-nya. Oleh karena itu, proyek ini hanya dapat digunakan untuk tujuan penelitian non-komersial Anda .

• Model SoulChat yang disediakan oleh proyek ini didedikasikan untuk meningkatkan dialog empatik dan kemampuan mendengarkan model besar. Namun, teks keluaran model memiliki tingkat keacakan tertentu, yang sesuai bila digunakan sebagai pendengar, tetapi memang demikian. tidak disarankan menggunakan model SoulChat. Teks keluaran menggantikan diagnosis dan saran psikolog, dll. Proyek ini tidak menjamin bahwa keluaran teks dari model sepenuhnya sesuai untuk pengguna. Pengguna harus menanggung semua risiko saat menggunakan model ini!

• Anda tidak boleh menggunakan, menyalin, memodifikasi, menggabungkan, menerbitkan, mendistribusikan, mereproduksi, atau membuat karya turunan dari Model SoulChat, secara keseluruhan atau sebagian, untuk tujuan komersial, militer, atau ilegal.

• Anda tidak boleh menggunakan model SoulChat untuk terlibat dalam perilaku apa pun yang membahayakan keamanan nasional dan persatuan nasional, membahayakan kepentingan sosial dan publik, atau melanggar hak pribadi.

• Saat menggunakan model SoulChat, Anda harus menyadari bahwa model tersebut tidak dapat menggantikan para profesional seperti dokter dan psikolog. Anda tidak boleh terlalu bergantung, menaati, atau percaya pada keluaran model tersebut, dan Anda tidak boleh kecanduan mengobrol dengan SoulChat. model untuk waktu yang lama.

Ucapan Terima Kasih

Proyek ini diprakarsai oleh Laboratorium Kunci Kembar Digital Provinsi Guangdong, Sekolah Teknologi Masa Depan, Universitas Teknologi Tiongkok Selatan. Proyek ini didukung oleh Pusat Penelitian Rekayasa Jaringan Informasi, Sekolah Elektronika dan Informasi, serta departemen lain di Universitas Teknologi Tiongkok Selatan . Pihaknya juga berterima kasih kepada Rumah Sakit Kesehatan Ibu dan Anak Guangdong, Unit Kerja Sama Pemerintah Kota Guangzhou termasuk Pusat Medis Wanita dan Anak, Rumah Sakit Afiliasi Ketiga Universitas Sun Yat-sen, dan Institut Penelitian Kecerdasan Buatan dari Pusat Sains Nasional Komprehensif Hefei.

Pada saat yang sama, kami ingin mengucapkan terima kasih kepada media atau akun publik berikut yang telah melaporkan proyek ini (tanpa urutan tertentu):

• Liputan media People's Daily, China.com, Guangming.com, TOM Technology, Future.com, Dazhong.com, China Development Report Network, China Daily Network, Xinhua News Network, China.com, Toutiao, Sohu, Tencent News, NetEase News , Jaringan Informasi Tiongkok, Jaringan Komunikasi Tiongkok, Jaringan Laporan Kota Tiongkok, Jaringan Kota Tiongkok

• Akun Publik Konstruksi Laboratorium Guangdong, Suara Cerdas Pemuda Baru, Pembelajaran Mendalam dan NLP, AINLP

Mengutip

 @inproceedings{chen-etal-2023-soulchat,title = "{S}oul{C}hat: Meningkatkan Kemampuan Empati, Mendengarkan, dan Kenyamanan {LLM}s{'} melalui Penyempurnaan dengan Percakapan Empati Multi-putaran", penulis = "Chen, Yirong dan Xing, Xiaofen dan Lin, Jingkai dan Zheng, Huimin dan Wang, Zhenyu dan Liu, Qi dan Xu, Xiangmin",editor = "Bouamor, Houda dan Pino, Juan dan Bali, Kalika",booktitle = "Temuan Asosiasi Linguistik Komputasi: EMNLP 2023",bulan = Desember,tahun = "2023",alamat = "Singapura", penerbit = "Asosiasi Linguistik Komputasi",url = "https://aclanthology.org/2023.findings-emnlp.83",pages = "1170--1183",abstract = "Model bahasa besar (LLM) telah banyak diterapkan di berbagai bidang karena kemampuannya yang sangat baik dalam menghafal pengetahuan dan rantai pemikiran (CoT). Ketika model bahasa ini diterapkan di bidang konseling psikologis, mereka sering kali terburu-buru memberikan nasihat universal, namun ketika pengguna mencari dukungan psikologis, mereka perlu mendapatkan empati. kepercayaan, pengertian, dan kenyamanan, bukan hanya nasihat yang masuk akal. Untuk mencapai tujuan ini, kami menyusun kumpulan data percakapan empati multi-putaran yang terdiri dari lebih dari 2 juta sampel, yang masukannya adalah konteks percakapan multi-putaran, dan targetnya adalah respons empati. yang mencakup ekspresi seperti pertanyaan, kenyamanan, pengakuan, mendengarkan, kepercayaan, dukungan emosional, dll. Eksperimen telah menunjukkan bahwa kemampuan empati LLM dapat ditingkatkan secara signifikan ketika menyempurnakan dengan menggunakan riwayat dialog multi-putaran dan respons yang lebih dekat dengan ekspresi dari konsultan psikologis.",
}}