ลิงค์เสียง

ออดิโอลิงค์

พื้นที่เก็บข้อมูลของรูปแบบสำเร็จรูปแบบโต้ตอบเสียงสำหรับ Unity ที่เขียนด้วย CSharp และ HLSL เข้ากันได้กับ VRChat และ ChilloutVR

AudioLink คือระบบที่วิเคราะห์และประมวลผลเสียงในโลกเป็นสตรีมข้อมูลที่มีการตอบสนองสูงที่แตกต่างกันจำนวนมาก และเปิดเผยข้อมูลไปยังสคริปต์และ Shaders

ข้อมูลแอมพลิจูดเสียงต่อความถี่จะถูกอ่านสั้น ๆ ลงใน Udon ก่อนโดยใช้ GetOutputData ของ Unity จากนั้นจะถูกส่งไปยัง GPU เพื่อประมวลผลสัญญาณและบัฟเฟอร์ลงใน CustomRenderTexture จากนั้น CustomRenderTexture จะถูกออกอากาศทั่วโลก (เรียกว่า _AudioTexture ) ซึ่งสามารถเลือกได้โดยเชเดอร์ทั้งในโลกและในอวาตาร์ทั้งหมด

โลกตัวอย่างสาธารณะ

คำถามที่พบบ่อย

เอกสารประกอบสำหรับผู้สร้างเชเดอร์

2.0.0 - 8 กันยายน 2024

คุณสมบัติใหม่

• เพิ่มความสามารถในการปรับวิธีซิงค์คอนโทรลเลอร์ AudioLink คุณสามารถซิงค์ทุกส่วน ไม่มีเลย หรือทุกอย่าง ยกเว้นการควบคุมเกนและพลังงาน (ฟันเดล)

• เพิ่มการรองรับแหล่งเสียง Dual Mono สำหรับกรณีที่คุณต้องการจัดหาช่องสัญญาณซ้ายและขวาจากแหล่งที่แยกกัน (ฟันเดล)

• เพิ่มสคริปต์ยูทิลิตี้สำหรับการขับเคลื่อนรูปร่างที่ผสมผสานด้วย AudioLink - AudioReactiveBlendshapes เพียงเพิ่มสคริปต์ลงใน GameObject ที่มี SkinnedMeshRenderer ที่จะใช้ (ฟันเดล)

• เพิ่มการสนับสนุนพื้นฐานสำหรับการใช้ AudioLink กับเป้าหมายการสร้าง WebGL (ฟันเดล, เนินเขา)

การเปลี่ยนแปลง

• ลดระดับเสียงเริ่มต้นสำหรับรูปแบบสำเร็จรูปอวาตาร์ AudioLink ลงเล็กน้อย (เพมา)

• ลดการรับส่งข้อมูลเครือข่ายที่เกิดขึ้นโดยการซิงค์สถานะ AudioLink เล็กน้อย (แฮปปี้โรบอต33)

• เลิกใช้ ThemeColorController.customThemeColors แล้ว เนื่องจากพฤติกรรมมีการเปลี่ยนแปลง โปรดใช้ ThemeColorController.SetCustomThemeColors และ ThemeColorController.GetCustomThemeColors แทน นี่เป็นการเปลี่ยนแปลงครั้งใหญ่ (เล็กน้อย)

แก้ไขข้อบกพร่อง

• แก้ไขข้อผิดพลาดที่การสลับสีธีมคอร์ดสีบนคอนโทรลเลอร์ไม่ซิงค์อย่างถูกต้อง (เพมา)

กำลังอัปเดตโปรเจ็กต์จากเวอร์ชัน 0.2.8 หรือต่ำกว่าใช่ไหม (...การตั้งค่าครั้งแรก โปรดดูหัวข้อถัดไป)

1. ก่อนที่จะอัปเกรดโปรเจ็กต์ของคุณ ให้ทำการสำรองข้อมูล ! AudioLink เวอร์ชันล่าสุดเปลี่ยนแปลงหลายสิ่งหลายอย่าง - ปลอดภัยดีกว่าขออภัย

2. จดบันทึกว่า AudioSource ใดที่คุณใช้ในการป้อน AudioLink ข้อมูลอ้างอิงนี้อาจสูญหายไปในระหว่างการอัปเกรด

3. หากคุณไม่เคยใช้ VRChat Creator Companion (VCC) กับโปรเจ็กต์ของคุณ ให้ทำตามขั้นตอนด้านล่าง มิฉะนั้น ให้ข้ามไปยังขั้นตอนที่ 4:

• ดาวน์โหลดและติดตั้ง VRChat Creator Companion แล้วเปิดขึ้นมา

• ใช้ตัวเลือก "เพิ่ม" ในแท็บ "โครงการ" และทำตามขั้นตอนที่แสดงเพื่อเพิ่มโครงการของคุณไปยัง VCC

• เปิดแท็บโปรเจ็กต์ เลือกโปรเจ็กต์ของคุณ กดปุ่ม "ย้าย" และทำตามขั้นตอนที่แสดง

4. เปิดแท็บโครงการและเลือกโครงการของคุณ

5. ทางด้านขวา ให้ค้นหาแพ็คเกจ AudioLink และเพิ่มเข้าไป หากไม่ปรากฏขึ้น ตรวจสอบให้แน่ใจว่าคุณได้เปิดใช้งานการสลับ "คัดสรรแล้ว" ในเมนูแบบเลื่อนลงด้านขวาบน

6. ในเบราว์เซอร์ไฟล์ โดยไม่ต้องเปิด Unity ให้นำทางไปยังโฟลเดอร์ Assets ของโปรเจ็กต์ของคุณ และลบโฟลเดอร์ "AudioLink" และไฟล์ "AudioLink.meta"

7. เปิดโครงการใน Unity

8. คุณอาจได้รับแจ้งจากตัวอัปเกรดเชเดอร์ AudioLink ให้อัปเกรดเชเดอร์เก่า คุณควรทำเช่นนั้นหากโปรเจ็กต์ของคุณใช้เชเดอร์ที่เปิดใช้งาน AudioLink แบบกำหนดเอง

9. หากคุณใช้เนื้อหาจากฉากตัวอย่าง AudioLink คุณจะต้องนำเข้าเนื้อหาดังกล่าว เนื่องจากไม่ได้นำเข้าตามค่าเริ่มต้น ในการทำเช่นนั้น ให้ใช้ "AudioLink -> เปิดฉากตัวอย่าง AudioLink" ในเมนูด้านบนของโปรแกรมแก้ไข

10. หากคุณใช้ส่วนประกอบ AudioReactiveObject หรือ AudioReactiveLight คุณอาจต้องเปิดใช้งาน "ข้อมูลเสียง" อีกครั้งด้วยตนเองภายใต้การตั้งค่า "ทดลอง" ของ AudioLink ขณะนี้ฟีเจอร์นี้ถือเป็นการทดลองจนกว่า VRChat จะ ให้การอ่านกลับแบบอะซิงโครนัสดั้งเดิมแก่เรา

11. ในฉากที่มี AudioLink เวอร์ชันเก่า:

• ลบทั้งรูปแบบสำเร็จรูป AudioLink และ AudioLinkController ออกจากฉาก

• เพิ่ม AudioLink และ AudioLinkController ไปยังฉากอีกครั้งโดยการลากรูปแบบสำเร็จรูปจากโฟลเดอร์ Package/com.llealloo.audiolink/Runtime

• คลิกปุ่ม "เชื่อมโยงวัตถุที่มีปฏิกิริยาตอบสนองเสียงทั้งหมดกับ AudioLink นี้" บนแผงตรวจสอบ AudioLink

• ลากแหล่งเสียงที่คุณใช้ก่อนหน้านี้ลงในพารามิเตอร์แหล่งเสียงของ AudioLink

• หมายเหตุ: หากก่อนหน้านี้คุณใช้ AudioLinkInput คุณสามารถดำเนินการต่อได้ แต่ตอนนี้ใน 0.2.5+ AudioLink มีความชาญฉลาดมากขึ้นเกี่ยวกับอินพุต ลองลากตรงไปที่พารามิเตอร์ AudioLink / แหล่งที่มาของเสียง!

การอัพเกรดโครงการอวตาร

1. ในไฟล์เบราว์เซอร์ ให้ลบโฟลเดอร์ "Assets/AudioLink" และไฟล์ "AudioLink.meta"

2. ทำตามขั้นตอน "การตั้งค่าครั้งแรก" สำหรับโปรเจ็กต์อวตารที่อธิบายไว้ด้านล่าง

การติดตั้ง

วีอาร์ซี

ต้องการทดสอบอวาตาร์ใช่ไหม? ดูส่วน "สำหรับการทดสอบอวตาร VRC" หรือดูส่วน "สำหรับ VRC Worlds และกรณีการใช้งานอื่น ๆ" หลังการติดตั้ง

VCC (เฉพาะ Windows)

1. ดาวน์โหลดและติดตั้ง VRChat Creator Companion (VCC) เปิดขึ้นมา

2. เพิ่มโครงการของคุณไปยัง VCC:

• หากคุณต้องการสร้างโครงการใหม่ ให้ใช้ตัวเลือก "ใหม่" ในแท็บ "โครงการ" แล้วทำตามขั้นตอนที่นั่น

• หากคุณต้องการใช้โปรเจ็กต์ที่มีอยู่ ให้ใช้ตัวเลือก "เพิ่ม" ในแท็บ "โปรเจ็กต์" แล้วทำตามขั้นตอนที่นั่น

3. เปิดแท็บโครงการและเลือกโครงการของคุณ หากคุณไม่เคยใช้ VCC กับโปรเจ็กต์ ให้ใช้ปุ่ม "ย้าย" เพื่ออัปเกรด

4. ทางด้านขวา ให้ค้นหาแพ็คเกจ AudioLink และเพิ่มเข้าไป หากไม่ปรากฏขึ้น ตรวจสอบให้แน่ใจว่าคุณได้เปิดใช้งานการสลับ "คัดสรรแล้ว" ในเมนูแบบเลื่อนลงด้านขวาบน

5. ณ จุดนี้ การติดตั้งเสร็จสิ้น หากต้องการเปิดโครงการของคุณ คุณสามารถใช้ปุ่ม "เปิดโครงการ" ใน VCC

บรรทัดคำสั่ง (Linux/macOs/Windows)

สำหรับการติดตั้งบน Linux และ macOS และสำหรับผู้ใช้ Windows ที่ต้องการบรรทัดคำสั่ง เราขอแนะนำให้ใช้ vrc-get เนื่องจากเป็นโอเพ่นซอร์สและในขณะที่เขียน vpm มีจุดบกพร่องที่ยังไม่ได้รับการแก้ไขซึ่งอาจหยุดการทำงานของบางระบบได้

vrc-รับ

1. ติดตั้ง vrc-get

2. เปิดคอนโซลและ cd /path/to/your/project

3. เรียกใช้ vrc-get i audiolink

วีพีเอ็ม

1. ติดตั้ง vpm และปฏิบัติตามคำแนะนำในการตั้งค่า

2. เรียกใช้ vpm add package com.llealloo.audiolink -p /path/to/your/unity/project

ทั่วไป (ไม่ใช่ VRC รวมถึง CVR)

1. ดาวน์โหลดและนำเข้า UnityPackage AudioLink Release ล่าสุดที่ https://github.com/llealloo/vrc-udon-audio-link/releases

2. ใช้รายการเมนู "เครื่องมือ/AudioLink/เพิ่ม AudioLink Prefab ไปยังฉาก" มันควรจะทำงานนอกกรอบ

เริ่มต้นใช้งาน

หลังการติดตั้ง เพื่อใช้ AudioLink:

1. หากคุณต้องการดูฉากตัวอย่าง ให้ใช้ปุ่ม "AudioLink/เปิดฉากตัวอย่าง AudioLink" ในเมนูด้านบนของตัวแก้ไข หรือใช้รายการเมนู "เครื่องมือ/AudioLink/เพิ่ม AudioLink Prefab ไปยังฉาก"

สำหรับการทดสอบอวตาร VRC

2. ใต้ AudioLinkAvatar/AudioLinkInput ให้เพิ่มแทร็กเพลงลงใน AudioClip ใน AudioSource

3. เข้าสู่โหมดการเล่นเพื่อทดสอบอวาตาร์ของคุณ

สำหรับ VRC Worlds และกรณีการใช้งานอื่น ๆ

2. คลิกปุ่ม "เชื่อมโยงวัตถุที่มีปฏิกิริยาตอบสนองเสียงทั้งหมด..." บน AudioLink MonoBehaviour เพื่อเชื่อมโยงทุกอย่างเข้าด้วยกัน

เครื่องมือ/ทรัพย์สินที่เข้ากันได้

• Silent Cel Shading Shader โดย Silent

• Mochies Unity Shaders โดย Mochie

• Fire Lite โดย Rollthered

• ไฟเวที VR โดย AcChosen

• Poiyomi Shader โดย ปอยโยมิ

• orels1 AudioLink Shader โดย orels1

• VRC สิ่งต่าง ๆ โดย _pi_

• ShaderForge-AudioLink โดยเลธานัน

• AudioLink-USharpVideo-อะแดปเตอร์โดย Blabz

• ProTV โดย ArchiTechAnon

ขอบคุณ

• ฟอสฟีนอลสำหรับเวทมนตร์คณิตศาสตร์ การเขียนโปรแกรมเชิงแนวคิด การดีบัก ความช่วยเหลือด้านการออกแบบ และการสนับสนุนทางอารมณ์!!!

• cnlohr สำหรับความช่วยเหลือเกี่ยวกับ DFT spectrogram ใหม่และช่วยพอร์ต AudioLink ไปยังโค้ดเชเดอร์ 100%

• lox9973 สำหรับฟังก์ชัน autocorrelator และความช่วยเหลือทางคณิตศาสตร์ที่สร้างแรงบันดาลใจและวงสัมผัสในการประมวลผลสัญญาณ

• Texelsaur สำหรับ AudioLinkMiniPlayer และการสนับสนุน!

• Pema สำหรับความช่วยเหลือในการเสริมความแข็งแกร่งของ codebase และแรงบันดาลใจ!

• 3 สำหรับการเข้าร่วมทีม AudioLink ช่วยรักษาฐานรหัส และเป็นส่วนสำคัญในการออกเวอร์ชัน 0.3.0

• Merlin ที่ทำ UdonSharp และให้คำแนะนำมากมายตลอดทาง ขอบคุณเมอร์ลิน!

• Orels1 สำหรับความช่วยเหลือที่ยอดเยี่ยมทั้งหมดด้วย MaterialPropertyBlocks & shaders และสคริปต์ตัวกำหนดค่าอัตโนมัติสำหรับการทดสอบ AV3 ในพื้นที่อย่างง่ายดาย

• Xiexe สำหรับความช่วยเหลือในการพัฒนาและการทดสอบ

• Thryrallo สำหรับความช่วยเหลือในการตั้งค่าฟังก์ชันการทดสอบ AV3 ในเครื่อง

• CyanLaser สำหรับสร้าง CyanEmu

• Lyuma ที่ช่วยเหลือในหลาย ๆ ด้านและใจดีสุด ๆ !

• ACIIL สำหรับการตรวจสอบพื้นผิวที่มีชื่อใน AudioLink.cginc

• fuopy ที่ยอดเยี่ยมและสะท้อนความรู้สึกที่ยอดเยี่ยมกลับมาสู่โปรเจ็กต์นี้

• พันเอกคธูลูผู้ริเริ่มแนวคิดในการทำให้ข้อมูลเสียงปรากฏแก่อวตาร

• jackiepi สำหรับเวทมนตร์คณิตศาสตร์ การสนับสนุนทางอารมณ์ และแรงบันดาลใจ

• Barry และ OM3 ที่จุดไฟฉัน!

• โคมไฟสำหรับเพลงตัวอย่างที่ยอดเยี่ยมและแรงบันดาลใจ ติดตามพวกเขา!! https://soundcloud.com/lampdx

• Shelter, Loner, Rizumu และชุมชนการเต้นรำอื่นๆ ทั้งหมดใน VRChat ที่ทำสิ่งนี้

• rrazgriz สำหรับการสร้างและใช้งานการรองรับ yt-dlp สำหรับการทดสอบตัวแก้ไข

• LucHeart และ DomNomNom เพื่อรักษา CVR forks ของ AudioLink และให้เรานำงานของพวกเขาไปใช้

• จัดทำขึ้นเพื่อให้เรามีเพลงเพื่อการสาธิต

• fundale สำหรับการค้นหาการสนับสนุน WebGL

• ผู้มีส่วนร่วมคนอื่นๆ และชุมชนของเราสำหรับความช่วยเหลือและการสนับสนุนของพวกเขา