หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>โค้ดแหล่งที่มา AI
ดาวน์โหลด

VoiceStreamAI

VoiceStreamAI เป็นเซิร์ฟเวอร์ที่ใช้ Python 3 และโซลูชันไคลเอนต์ JavaScript ที่ช่วยให้สามารถสตรีมเสียงและการถอดเสียงแบบเรียลไทม์ได้โดยใช้ WebSocket ระบบใช้การตรวจจับกิจกรรมด้วยเสียง (VAD) ของ Huggingface และโมเดล Whisper ของ OpenAI (ค่าเริ่มต้นคือกระซิบเร็วกว่า) เพื่อการรู้จำและประมวลผลคำพูดที่แม่นยำ

คุณสมบัติ

  • การสตรีมเสียงแบบเรียลไทม์ผ่าน WebSocket
  • การออกแบบแบบโมดูลาร์เพื่อการผสานรวมเทคโนโลยี VAD และ ASR ต่างๆ ได้อย่างง่ายดาย
  • การใช้รูปแบบโรงงานและกลยุทธ์เพื่อการจัดการส่วนประกอบที่ยืดหยุ่น
  • กรอบการทดสอบหน่วยเพื่อการพัฒนาที่แข็งแกร่ง
  • กลยุทธ์การประมวลผลก้อนเสียงที่ปรับแต่งได้
  • รองรับการถอดเสียงหลายภาษา
  • รองรับ Secure Sockets พร้อมใบรับรองเสริมและอาร์กิวเมนต์ไฟล์คีย์

วิดีโอสาธิต

ลูกค้าสาธิต

Client Demo

ทำงานด้วยนักเทียบท่า

สิ่งนี้จะไม่แนะนำคุณโดยละเอียดเกี่ยวกับวิธีใช้ CUDA ใน docker ดูตัวอย่างที่นี่

นี่เป็นคำสั่งสำหรับ Linux: 

distribution= $( . /etc/os-release ; echo $ID$VERSION_ID ) 
&& curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg 
&& curl -s -L https://nvidia.github.io/libnvidia-container/ $distribution /libnvidia-container.list | 
sed ' s#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g ' | 
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo nvidia-ctk runtime configure --runtime=docker

sudo systemctl restart docker

คุณสามารถสร้างอิมเมจคอนเทนเนอร์ได้ด้วย: 

sudo docker build -t VoiceStreamAI .

หลังจากได้รับโทเค็น VAD ของคุณแล้ว (ดูหัวข้อถัดไป) ให้เรียกใช้: 

sudo docker volume create huggingface_models

sudo docker run --gpus all -p 8765:8765 -v huggingface_models:/root/.cache/huggingface  -e PYANNOTE_AUTH_TOKEN= ' VAD_TOKEN_HERE ' VoiceStreamAI

สิ่งที่ "ปริมาตร" จะช่วยให้คุณไม่ต้องดาวน์โหลดโมเดล Huggingface ใหม่ทุกครั้งที่คุณเรียกใช้คอนเทนเนอร์อีกครั้ง หากคุณไม่ต้องการสิ่งนี้ เพียงใช้: 

sudo docker run --gpus all -p 8765:8765 -e PYANNOTE_AUTH_TOKEN= ' VAD_TOKEN_HERE ' VoiceStreamAI

ปกติ ติดตั้งด้วยตนเอง

หากต้องการตั้งค่าเซิร์ฟเวอร์ VoiceStreamAI คุณต้องมี Python 3.8 ขึ้นไปและมีแพ็คเกจต่อไปนี้:

  1. transformers
  2. pyannote.core
  3. pyannote.audio
  4. websockets
  5. asyncio
  6. sentence-transformers
  7. faster-whisper

ติดตั้งแพ็คเกจเหล่านี้โดยใช้ pip: 

pip install -r requirements.txt

สำหรับฝั่งไคลเอ็นต์ คุณต้องมีเว็บเบราว์เซอร์สมัยใหม่ที่รองรับ JavaScript

การกำหนดค่าและการใช้งาน

การกำหนดค่าเซิร์ฟเวอร์

เซิร์ฟเวอร์ VoiceStreamAI สามารถปรับแต่งได้ผ่านอาร์กิวเมนต์บรรทัดคำสั่ง ซึ่งช่วยให้คุณสามารถระบุการตั้งค่าส่วนประกอบ โฮสต์ และพอร์ตได้ตามความต้องการของคุณ

  • --vad-type : ระบุประเภทของไปป์ไลน์ Voice Activity Detection (VAD) ที่จะใช้ (ค่าเริ่มต้น: pyannote )
  • --vad-args : สตริง JSON ที่มีอาร์กิวเมนต์เพิ่มเติมสำหรับไปป์ไลน์ VAD (จำเป็นสำหรับ pyannote : '{"auth_token": "VAD_AUTH_HERE"}' )
  • --asr-type : ระบุประเภทของไปป์ไลน์การรู้จำเสียงอัตโนมัติ (ASR) ที่จะใช้ (ค่าเริ่มต้น: faster_whisper )
  • --asr-args : สตริง JSON ที่มีอาร์กิวเมนต์เพิ่มเติมสำหรับไปป์ไลน์ ASR (เช่น เปลี่ยน model_name สำหรับกระซิบ)
  • --host : ตั้งค่าที่อยู่โฮสต์สำหรับเซิร์ฟเวอร์ WebSocket (ค่าเริ่มต้น: 127.0.0.1 )
  • --port : ตั้งค่าพอร์ตที่เซิร์ฟเวอร์รับฟัง (ค่าเริ่มต้น: 8765 )
  • --certfile : เส้นทางไปยังใบรับรอง SSL (ไฟล์ใบรับรอง) หากใช้ websockets ที่ปลอดภัย (ค่าเริ่มต้น: None )
  • --keyfile : เส้นทางไปยังไฟล์คีย์ SSL หากใช้เว็บซ็อกเก็ตที่ปลอดภัย (ค่าเริ่มต้น: None )

สำหรับการรันเซิร์ฟเวอร์ด้วยการกำหนดค่ามาตรฐาน:

  1. รับกุญแจสู่โมเดล Voice-Activity-Detection ได้ที่ https://huggingface.co/pyannote/segmentation
  2. รันเซิร์ฟเวอร์โดยใช้ Python 3.x โปรดเพิ่มคีย์ VAD ในบรรทัดคำสั่ง: 
python3 -m src.main --vad-args ' {"auth_token": "vad token here"} '

คุณสามารถดูตัวเลือกบรรทัดคำสั่งทั้งหมดได้ด้วยคำสั่ง: 

python3 -m src.main --help

การใช้งานไคลเอนต์

  1. เปิดไฟล์ client/index.html ในเว็บเบราว์เซอร์
  2. ป้อนที่อยู่ WebSocket (ค่าเริ่มต้นคือ ws://localhost:8765 )
  3. กำหนดค่าความยาวและออฟเซ็ตของท่อนเสียง ดูด้านล่าง
  4. เลือกภาษาสำหรับการถอดเสียง
  5. คลิก 'เชื่อมต่อ' เพื่อสร้างการเชื่อมต่อ WebSocket
  6. ใช้ 'เริ่มการสตรีม' และ 'หยุดการสตรีม' เพื่อควบคุมการจับเสียง

ภาพรวมเทคโนโลยี

  • เซิร์ฟเวอร์ Python : จัดการการเชื่อมต่อ WebSocket ประมวลผลสตรีมเสียง และจัดการการตรวจจับและการถอดเสียงกิจกรรมเสียง
  • WebSockets : ใช้สำหรับการสื่อสารแบบเรียลไทม์ระหว่างเซิร์ฟเวอร์และไคลเอนต์
  • การตรวจจับกิจกรรมเสียง : ตรวจจับกิจกรรมเสียงในสตรีมเสียงเพื่อเพิ่มประสิทธิภาพการประมวลผล
  • คำพูดเป็นข้อความ : ใช้ Faster Whisper หรือโมเดล Whisper ของ OpenAI (openai/whisper-large-v3) เพื่อการถอดเสียงที่แม่นยำ Faster Whisper เป็นค่าเริ่มต้นเนื่องจากเร็วกว่ามาก

ภาพรวมทางเทคนิค

การตั้งค่า

รูปแบบโรงงานและกลยุทธ์

สามารถขยายทั้งส่วนประกอบ VAD และ ASR ได้อย่างง่ายดายเพื่อผสานรวมเทคนิคใหม่ๆ และใช้โมเดลที่มีอินเทอร์เฟซที่แตกต่างจากไปป์ไลน์ HuggingFace คุณสามารถเพิ่มกลยุทธ์การประมวลผล/การแบ่งส่วนใหม่ใน server.py และใช้โดยไคลเอนต์เฉพาะที่ตั้งค่าคีย์ "processing_strategy" ในการกำหนดค่า

การตรวจจับกิจกรรมด้วยเสียง (VAD)

การตรวจจับกิจกรรมด้วยเสียง (VAD) ใน VoiceStreamAI ช่วยให้ระบบสามารถแยกความแตกต่างระหว่างส่วนที่เป็นคำพูดและส่วนที่ไม่ใช่คำพูดภายในสตรีมเสียง วัตถุประสงค์หลักของการนำ VAD ไปใช้คือการเพิ่มประสิทธิภาพและความแม่นยำของกระบวนการแปลงคำพูดเป็นข้อความ:

  • ลดภาระในการคำนวณ : ด้วยการระบุและประมวลผลเฉพาะส่วนที่มีคำพูด VAD จะลดทรัพยากรการคำนวณที่จำเป็นสำหรับการถอดเสียงลงอย่างมาก นี่เป็นสิ่งสำคัญเมื่อพิจารณาว่าไปป์ไลน์การรู้จำเสียงใช้เวลา 7 วินาทีบน Tesla T4 (16Gb) - ให้คำนึงถึงสิ่งนี้ด้วยเมื่อตั้งค่าความยาวของชิ้นส่วน
  • ปรับปรุงความแม่นยำในการถอดเสียง : การประมวลผลเฉพาะส่วนของเสียงจะช่วยลดโอกาสที่เสียงที่ไม่ใช่เสียงพูดจะถูกตีความผิดว่าเป็นเสียงพูด ซึ่งจะช่วยปรับปรุงความแม่นยำโดยรวมของการถอดเสียง
  • ปรับการใช้เครือข่ายให้เหมาะสม : ในบริบทการสตรีม การส่งเฉพาะส่วนเสียงผ่านเครือข่าย แทนที่จะเป็นสตรีมเสียงทั้งหมด จะเพิ่มประสิทธิภาพการใช้แบนด์วิธ

VoiceStreamAI ใช้โมเดล Huggingface VAD เพื่อรับรองการตรวจจับคำพูดที่เชื่อถือได้ในสภาพเสียงที่หลากหลาย

กลยุทธ์การประมวลผล "SilenceAtEndOfChunk"

กลยุทธ์การบัฟเฟอร์ได้รับการออกแบบมาเพื่อสร้างสมดุลระหว่างการประมวลผลแบบใกล้เรียลไทม์และรับประกันการบันทึกส่วนเสียงพูดที่สมบูรณ์และแม่นยำ ต่อไปนี้คือวิธีการจัดการบัฟเฟอร์:

  • การประมวลผลแบบ Chunk-Based : สตรีมเสียงจะถูกประมวลผลเป็น Chunk ตามความยาวที่ปรับแต่งได้ต่อไคลเอนต์ (ค่าเริ่มต้นคือ 5 วินาที)
  • การจัดการความเงียบ : การชดเชยความเงียบขั้นต่ำถูกกำหนดไว้เพื่อให้สามารถฟังและบันทึกเสียงได้อย่างต่อเนื่องเกินกว่าจุดสิ้นสุดของท่อนเดียว เพื่อให้แน่ใจว่าคำที่อยู่ในขอบเขตของประโยคจะไม่ถูกตัดออก ดังนั้นจึงรักษาบริบทและความสมบูรณ์ของคำพูด สิ่งนี้ทำให้เกิดเวลาแฝงเพิ่มเติมสำหรับส่วนของคำพูดที่มีความหนาแน่นสูง เนื่องจากการถอดเสียงจะไม่เกิดขึ้นจนกว่าจะระบุการหยุดชั่วคราวได้
  • การจัดการบัฟเฟอร์แบบไดนามิก : ระบบจะจัดการบัฟเฟอร์แบบไดนามิกสำหรับไคลเอนต์แต่ละราย เมื่อมีข้อมูลเสียงใหม่เข้ามา ข้อมูลดังกล่าวจะถูกผนวกเข้ากับบัฟเฟอร์ชั่วคราวของไคลเอ็นต์ เมื่อบัฟเฟอร์ถึงความยาวชิ้นข้อมูล บัฟเฟอร์จะถูกประมวลผล และบัฟเฟอร์จะถูกล้าง เพื่อเตรียมพร้อมสำหรับข้อมูลใหม่

Buffering Mechanism

การส่งข้อความการกำหนดค่าเฉพาะไคลเอ็นต์

ใน VoiceStreamAI ไคลเอนต์แต่ละรายสามารถมีการกำหนดค่าเฉพาะที่ปรับแต่งกระบวนการถอดเสียงให้ตรงกับความต้องการเฉพาะของพวกเขา การตั้งค่าส่วนบุคคลนี้ทำได้ผ่านระบบส่งข้อความที่ไคลเอนต์ JavaScript ส่งรายละเอียดการกำหนดค่าไปยังเซิร์ฟเวอร์ Python ส่วนนี้อธิบายวิธีการจัดโครงสร้างและส่งการกำหนดค่าเหล่านี้

การกำหนดค่าไคลเอ็นต์สามารถรวมพารามิเตอร์ต่างๆ ได้ เช่น การกำหนดลักษณะภาษา ความยาวชิ้นข้อมูล และออฟเซ็ตชิ้นข้อมูล ตัวอย่างเช่น:

  • language : ระบุภาษาสำหรับการถอดเสียง หากตั้งค่าเป็นอย่างอื่นที่ไม่ใช่ "หลายภาษา" ระบบจะบังคับให้การอนุมาน Whisper เป็นภาษานั้น
  • processing_strategy : ระบุประเภทของการประมวลผลสำหรับไคลเอ็นต์นี้ ซึ่งเป็นรูปแบบกลยุทธ์ประเภทหนึ่ง กลยุทธ์ในตอนนี้ไม่ได้ใช้ OOP แต่มีการนำไปใช้ใน if/else ใน server.py
  • chunk_length_seconds : กำหนดความยาวของแต่ละส่วนของเสียงที่จะประมวลผล
  • chunk_offset_seconds : กำหนดเวลาเงียบเมื่อสิ้นสุดแต่ละอันที่จำเป็นในการประมวลผลเสียง (ใช้โดยprocessing_strategy nr 1)

การส่งการกำหนดค่า

  1. การเริ่มต้น : เมื่อไคลเอนต์เริ่มต้นการเชื่อมต่อกับเซิร์ฟเวอร์ ก็สามารถเลือกส่งข้อความการกำหนดค่าได้ ข้อความนี้เป็นออบเจ็กต์ JSON ที่มีคู่คีย์-ค่าซึ่งแสดงถึงการตั้งค่าที่ไคลเอ็นต์ต้องการ

  2. การตั้งค่าไคลเอนต์ JavaScript : บนไคลเอนต์สาธิต การกำหนดค่าจะถูกรวบรวมจากองค์ประกอบอินเทอร์เฟซผู้ใช้ (เช่น รายการแบบเลื่อนลงและช่องป้อนข้อมูล) เมื่อเสียงเริ่มไหล ออบเจ็กต์ JSON จะถูกสร้างขึ้นและส่งไปยังเซิร์ฟเวอร์ผ่าน WebSocket ตัวอย่างเช่น: 

 function sendAudioConfig ( ) {
    const audioConfig = {
        type : "config" ,
        data : {
            chunk_length_seconds : 5 ,
            chunk_offset_seconds : 1 ,
            processing_strategy : 1 ,
            language : language ,
        } ,
    } ;
    websocket . send ( JSON . stringify ( audioConfig ) ) ;
}

การทดสอบ

เมื่อใช้ ASR, Vad หรือ Buffering Strategy ใหม่ คุณสามารถทดสอบได้ด้วย: 

pip install -r requirements-dev.txt
export PYANNOTE_AUTH_TOKEN= < VAD_TOKEN_HERE >
ASR_TYPE=faster_whisper python -m unittest test.server.test_server

โปรดตรวจสอบให้แน่ใจว่าตัวแปรสุดท้ายอยู่ในตำแหน่งแล้ว เช่น สำหรับโทเค็นการตรวจสอบสิทธิ์ VAD มีการทดสอบอื่นๆ อีกหลายประการ เช่น สำหรับ ASR แบบสแตนด์อโลน

พื้นที่สำหรับการปรับปรุง

ความท้าทายกับชิ้นส่วนเสียงขนาดเล็กใน Whisper

  • การสูญเสียบริบท : ส่วนของเสียงที่สั้นกว่าอาจขาดบริบทที่เพียงพอ ส่งผลให้ Whisper ตีความคำพูดผิดหรือไม่สามารถจับความแตกต่างของบทสนทนาได้
  • ความแปรปรวนของความแม่นยำ : ความแม่นยำของการถอดเสียงอาจแตกต่างกันไปตามความยาวของท่อนเสียง ส่วนเล็กๆ อาจส่งผลให้การถอดเสียงมีความน่าเชื่อถือน้อยลงเมื่อเทียบกับส่วนที่ยาวกว่า

ขึ้นอยู่กับไฟล์เสียง

ปัจจุบัน VoiceStreamAI ประมวลผลเสียงโดยบันทึกเป็นไฟล์แล้วเรียกใช้ไฟล์เหล่านี้ผ่านโมเดลต่างๆ

การพัฒนา

แยกและโคลนที่เก็บนี้ ติดตั้งการขึ้นต่อกันและเครื่องมือที่เกี่ยวข้อง 

pip install -r requirements.txt
pip install -r requirements-dev.txt
npm install -g [email protected] [email protected]

เพิ่มการแก้ไขของคุณไปยังพื้นที่เก็บข้อมูลและรันการตรวจสอบสไตล์โค้ดด้วยตนเอง หรือรวมเข้ากับ IDE/เอดิเตอร์ของคุณ 

 # For Python
flake8 src/ test/
black --line-length 79 src/ test/
isort src/ test/

# For JavaScript
jshint client/ * .js
eslint client/ * .js

สุดท้าย ผลักดันและสร้างคำขอดึง

ผู้ร่วมให้ข้อมูล

โครงการนี้เปิดให้มีส่วนร่วม อย่าลังเลที่จะแยกพื้นที่เก็บข้อมูลและส่งคำขอดึง

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด