ดาวน์โหลด ConversAI - ดาวน์โหลดซอร์สโค้ด ConversAI

ConversAI

โค้ดแหล่งที่มา AI

1.0.0

ดาวน์โหลด

ConversAI

ConversAI เป็นเฟรมเวิร์ก AI การสนทนาเชิงนวัตกรรมที่ออกแบบมาเพื่อเสริมศักยภาพผู้ใช้ด้วยการโต้ตอบอัจฉริยะในรูปแบบเอกสารและเนื้อหาเว็บที่หลากหลาย ConversAI ใช้เทคนิคการประมวลผลภาษาธรรมชาติขั้นสูง (NLP) ช่วยให้สามารถแยกข้อความและสืบค้นข้อความได้อย่างราบรื่น ทำให้กลายเป็นเครื่องมืออันล้ำค่าสำหรับนักวิจัย นักศึกษา ผู้เชี่ยวชาญ และใครก็ตามที่โต้ตอบกับข้อมูลที่เป็นข้อความเป็นประจำ

การแนะนำ

ในยุคที่ข้อมูลล้นหลาม การประมวลผลข้อมูลที่มีประสิทธิภาพถือเป็นสิ่งสำคัญ ConversAI จัดการกับความท้าทายนี้ด้วยการใช้ประโยชน์จากเทคโนโลยีล้ำสมัยเพื่อแปลงข้อมูลที่ไม่มีโครงสร้างให้เป็นข้อมูลเชิงลึกที่นำไปปฏิบัติได้ ไม่ว่าจะดึงข้อมูลที่มีความหมายจาก PDF ดึงข้อมูลการถอดเสียงจากวิดีโอ YouTube หรือการรวบรวมข้อมูลจากหน้าเว็บหลายหน้า ConversAI มอบอินเทอร์เฟซที่ใช้งานง่ายซึ่งช่วยให้งานที่ซับซ้อนเหล่านี้ง่ายขึ้น

เทคโนโลยีหลักที่ใช้:

Gradio : สำหรับการสร้างส่วนต่อประสานผู้ใช้แบบโต้ตอบ
Langchain : สำหรับการเชื่อมโยงงานการดึงและประมวลผลข้อมูลต่างๆ
EasyOCR : สำหรับการรู้จำอักขระด้วยแสงในรูปแบบ PDF ที่สแกนได้
Pymupdf : สำหรับการจัดการเอกสาร PDF ที่ค้นหาได้
BeautifulSoup : สำหรับการขูดเว็บและการแยกวิเคราะห์ HTML

ด้วยการออกแบบแบบโมดูลาร์ ConversAI ไม่ได้เป็นเพียงเครื่องมือ แต่เป็นแพลตฟอร์มที่สามารถขยายและปรับแต่งให้เหมาะกับความต้องการของผู้ใช้ที่หลากหลาย

คุณสมบัติ

การแยกข้อความ : แยกข้อความจาก PDF ทั้งที่ค้นหาและสแกนได้
โปรแกรมรวบรวมข้อมูลเว็บ : รวบรวมและประมวลผลข้อความจากเว็บไซต์อย่างมีประสิทธิภาพ
การดึงข้อมูลการถอดเสียงจาก YouTube : ดึงข้อมูลและประมวลผลการถอดเสียงวิดีโอเพื่อการสืบค้นที่ง่ายดาย
ส่วนต่อประสานการสนทนา : Interactive Gradio UI เพื่อการโต้ตอบกับผู้ใช้ที่ราบรื่น
กำหนดค่าได้ : ปรับแต่งได้อย่างง่ายดายเพื่อให้เหมาะกับกรณีการใช้งานเฉพาะ
การเรียกค้นเอกสารขั้นสูง : ใช้อัลกอริธึมที่ซับซ้อนเพื่อความแม่นยำและความเกี่ยวข้องที่ดีขึ้น

ประโยชน์

ประหยัดเวลา : แยกข้อความโดยอัตโนมัติ ทำให้ผู้ใช้สามารถมุ่งเน้นไปที่การวิเคราะห์มากกว่าการป้อนข้อมูลด้วยตนเอง
ความแม่นยำ : ความสามารถในการแยกข้อความที่มีความแม่นยำสูงทำให้มั่นใจได้ว่าผู้ใช้จะได้รับข้อมูลที่เชื่อถือได้
ใช้งานง่าย : อินเทอร์เฟซที่ใช้งานง่ายทำให้ผู้ใช้ที่มีทักษะทางเทคนิคแตกต่างกันสามารถเข้าถึงได้
ปรับขนาดได้ : สถาปัตยกรรมโมดูลาร์ทำให้สามารถรวมคุณสมบัติและฟังก์ชันเพิ่มเติมได้อย่างง่ายดาย

เริ่มต้นใช้งาน

ข้อกำหนดเบื้องต้น

ก่อนที่จะเรียกใช้ ConversAI ตรวจสอบให้แน่ใจว่าคุณได้ติดตั้งการอ้างอิงต่อไปนี้:

apt-get update && apt-get upgrade -y
apt-get install poppler-utils -y

นอกจากนี้ คุณต้องตั้งค่าตัวแปรสภาพแวดล้อมสำหรับ GROQ API:

ลงทะเบียนกับ Groq และรับรหัส API ของคุณ
ตั้งค่า GROQ_API_KEY ในตัวแปรสภาพแวดล้อมของคุณ

การติดตั้ง

โคลนที่เก็บ:

git clone https://github.com/rauhanahmed/ConversAI.git
cd ConversAI

ติดตั้งแพ็คเกจที่จำเป็น:
```
pip install -r requirements.txt
```

เรียกใช้แอปพลิเคชัน

หากต้องการเปิดแอปพลิเคชัน ให้รันคำสั่งต่อไปนี้:

python app.py

อินเทอร์เฟซ Gradio จะเปิดขึ้นในเว็บเบราว์เซอร์เริ่มต้นของคุณ

หมายเหตุการกำหนดค่าที่สำคัญ

ในกรณีที่ GPU ไม่พร้อมใช้งาน โปรดแก้ไขไฟล์ config.ini ดังนี้:

ในส่วน [EMBEDDINGS] ให้เปลี่ยนแปลง:
```
 device = cuda
```
ถึง:
```
 device = cpu
```
ภายใต้ส่วน [EASYOCR] ให้เปลี่ยนแปลง:
```
 gpu = true
```
ถึง:
```
 gpu = false
```

การปรับเปลี่ยนเหล่านี้จะช่วยให้มั่นใจได้ว่าแอปพลิเคชันทำงานได้อย่างราบรื่นบนทรัพยากร CPU

หมายเหตุสำคัญ

หลังจากใช้อินเทอร์เฟซแล้ว อย่าลืมคลิกปุ่ม "ล้าง" เพื่อรีเซ็ตฟิลด์ นี่เป็นสิ่งสำคัญเนื่องจากไม่มีการนำการจัดการเซสชันไปใช้ในเวอร์ชันนี้ และการไม่ล้างข้อมูลอินพุตอาจทำให้ข้อมูลคงอยู่โดยไม่ได้ตั้งใจในระหว่างการโต้ตอบครั้งต่อไป

โครงสร้างไดเร็กทอรี

ต่อไปนี้เป็นมุมมองที่ครอบคลุมของแผนผังไดเร็กทอรีของโปรเจ็กต์:

 ConversAI/
├── app.py                      # Main application file
├── config.ini                  # Configuration file
├── params.yaml                 # Prompts for the application
├── requirements.txt            # Required Python packages
├── src/                        # Source code directory
│   ├── components/             # Component modules
│   │   ├── loaders/            # Data loaders
│   │   │   ├── pdfLoader.py
│   │   │   ├── websiteCrawler.py
│   │   │   └── youtubeLoader.py
│   │   ├── rag/                # Retrieval-Augmented Generation components
│   │   │   └── RAG.py
│   │   └── vectors/            # Vector storage and processing
│   │       └── vectorstore.py
│   ├── utils/                  # Utility functions and classes
│   │   ├── exceptions.py
│   │   ├── functions.py              
│   │   ├── logging.py
│   ├── pipelines/              # Pipeline logic for data processing
│   │   └── completePipeline.py
└── README.md                   # Project documentation

สาธิต

อินเตอร์เฟซการป้อนข้อความ

อินเตอร์เฟซการอัพโหลด PDF

อินเทอร์เฟซโปรแกรมรวบรวมข้อมูลเว็บ

บทสรุป

ConversAI เป็นมากกว่าเครื่องมือ เป็นโซลูชันที่ครอบคลุมสำหรับการจัดการและดึงข้อมูลเชิงลึกจากรูปแบบเอกสารและแหล่งที่มาบนเว็บที่หลากหลาย ด้วยความสามารถอันทรงพลังและอินเทอร์เฟซที่ใช้งานง่าย ConversAI จึงพร้อมที่จะทำให้การดึงและประมวลผลข้อมูลง่ายขึ้นและมีประสิทธิภาพมากขึ้นกว่าที่เคย

แน่นอน! นี่คือส่วนที่อัปเดตเพื่อรวมการมีส่วนร่วมและการรับทราบของคุณ:

ข้อมูลผู้เขียน

อีเมล์ : [email protected]
Github : เราฮานอาเหม็ด
LinkedIn : เราฮาน อาเหม็ด
ทวิตเตอร์ : @ahmed_rauh46040
Portfolio : rauhanahmed.org

รับทราบ

โปรเจ็กต์นี้ได้รับการพัฒนาขณะทำงานเป็นวิศวกร AI ที่ Tech Consulting Partners ฉันสร้าง ConversAI ตั้งแต่เริ่มต้น โดยใช้วิธีดึงเอกสารขั้นสูง เทคนิคการจัดอันดับใหม่ วิธีค้นหาแบบไฮบริด การผสานรวมหลายรายการกับโมเดลภาษาขนาดใหญ่ (LLM) และฟังก์ชันที่ซับซ้อนอื่นๆ อีกมากมาย

แบ็กเอนด์ประกอบด้วยคุณสมบัติการจัดการผู้ใช้ โซลูชันการจัดเก็บข้อมูลที่ซับซ้อน (รวมถึงการจัดการพื้นที่เก็บข้อมูล S3) การจัดการฐานข้อมูล และฐานข้อมูลเวกเตอร์ กลยุทธ์การปรับใช้ใช้ประโยชน์จาก API ที่แข็งแกร่ง, คอนเทนเนอร์ Docker, แนวปฏิบัติ CI/CD, การตรวจสอบโมเดล และการปรับใช้แพลตฟอร์มคลาวด์

ต้นแบบโอเพ่นซอร์สนี้ทำหน้าที่เป็นก้าวสำคัญสู่โครงการที่ครอบคลุมมากขึ้นซึ่งมุ่งเป้าไปที่สาธารณประโยชน์ โดยจัดแสดงศักยภาพอันมหาศาลของเทคโนโลยี AI ขั้นสูงในการใช้งานในชีวิตประจำวัน ฉันขอขอบคุณจากใจจริงต่อ Tech Consulting Partners ที่มอบความไว้วางใจให้ฉันในโครงการริเริ่มนี้และสำหรับการสนับสนุนอันล้ำค่าของพวกเขาตลอดกระบวนการพัฒนา