flepied/second brain agent ดาวน์โหลด - flepied/second brain agent ดาวน์โหลดซอร์สโค้ด

flepied/second brain agent

โค้ดแหล่งที่มา AI

1.0.0

ดาวน์โหลด

- ตัวแทน AI สมองคนที่สอง

ขอแนะนำโครงการตัวแทน AI สมองที่สอง: เสริมศักยภาพการจัดการความรู้ส่วนบุคคลของคุณ

คุณล้นหลามกับข้อมูลที่คุณรวบรวมทุกวันหรือไม่? คุณมักจะพบว่าตัวเองหลงไปกับไฟล์มาร์กดาวน์ วิดีโอ หน้าเว็บ และ PDF มากมายหรือไม่? จะเป็นอย่างไรหากมีวิธีจัดทำดัชนี ค้นหา และแม้แต่โต้ตอบกับเนื้อหาทั้งหมดนี้อย่างที่ไม่เคยมีมาก่อน ยินดีต้อนรับสู่อนาคตของการจัดการความรู้ส่วนบุคคล: โครงการตัวแทน AI สมองที่สอง

แรงบันดาลใจจากแนวคิด Second Brain ของ Tiago Forte

แนวคิด Second Brain ที่แหวกแนวของ Tiago Forte ได้ปฏิวัติวิธีคิดของเราเกี่ยวกับการจดบันทึก ไม่ใช่แค่การจดบันทึกไอเดียเท่านั้น เป็นเรื่องเกี่ยวกับการสร้างเครื่องมืออันทรงพลังที่ช่วยเพิ่มการเรียนรู้และความคิดสร้างสรรค์ เรียนรู้เพิ่มเติมเกี่ยวกับการสร้างสมองที่สองโดย Tiago Forte ที่นี่

โครงการตัวแทน AI สมองที่สองสามารถทำอะไรให้คุณได้บ้าง?

การจัดทำดัชนีอัตโนมัติ: ไม่ต้องเรียงลำดับไฟล์ด้วยตนเองอีกต่อไป! จัดทำดัชนีเนื้อหาของไฟล์มาร์กดาวน์ของคุณโดยอัตโนมัติพร้อมกับลิงก์ที่มีอยู่ เช่น เอกสาร PDF, วิดีโอ YouTube และหน้าเว็บ
เครื่องมือค้นหาอัจฉริยะ: ถามคำถามเกี่ยวกับเนื้อหาของคุณ แล้ว AI ของเราจะตอบคำถามที่แม่นยำโดยใช้โมเดลภาษาขนาดใหญ่ของ OpenAI ที่มีประสิทธิภาพ เหมือนมีผู้ช่วยส่วนตัวที่รู้เนื้อหาของคุณจากภายใน!
บูรณาการได้อย่างง่ายดาย: ไม่ว่าคุณจะทำตามวิธี Second Brain หรือมีวิธีจดบันทึกที่เป็นเอกลักษณ์ของคุณเอง ระบบของเราจะผสานรวมเข้ากับสไตล์ของคุณได้อย่างราบรื่น ช่วยให้คุณควบคุมพลังที่แท้จริงของข้อมูลของคุณได้
ผลผลิตที่เพิ่มขึ้น: ใช้เวลาน้อยลงในการจัดระเบียบและมีเวลาสร้างสรรค์มากขึ้น ด้วยการเข้าถึงข้อมูลของคุณเร็วขึ้นและมีประสิทธิภาพมากขึ้น คุณสามารถมุ่งเน้นไปที่สิ่งที่สำคัญอย่างแท้จริงได้

✅ใครได้ประโยชน์บ้าง?

ผู้เชี่ยวชาญ: ปรับปรุงขั้นตอนการทำงานของคุณและค้นหาสิ่งที่คุณต้องการภายในไม่กี่วินาที
นักเรียน: ทำให้ช่วงการศึกษามีประสิทธิผลมากขึ้นโดยการเข้าถึงและทำความเข้าใจบันทึกย่อของคุณอย่างรวดเร็ว
นักวิจัย: เจาะลึกงานวิจัยของคุณโดยไม่สูญเสียข้อมูลมากเกินไป
โฆษณา: ปลดปล่อยความคิดสร้างสรรค์ของคุณด้วยการจัดระเบียบความคิดและไอเดียของคุณได้อย่างง่ายดาย

เริ่มต้นเลยวันนี้

อย่าปล่อยให้โน้ตและเนื้อหาของคุณครอบงำคุณ ทำให้พวกเขาเป็นพันธมิตรของคุณในการเติบโต นวัตกรรม และประสิทธิภาพการทำงาน เข้าร่วมกับเราในการเปลี่ยนแปลงวิธีการจัดการความรู้ส่วนตัวของคุณและก้าวกระโดดไปสู่อนาคต

รายละเอียด

หากคุณจดบันทึกโดยใช้ไฟล์มาร์กดาวน์ เช่น วิธี Second Brain หรือใช้วิธีของคุณเอง โปรเจ็กต์นี้จะจัดทำดัชนีเนื้อหาของไฟล์มาร์กดาวน์และลิงก์ที่มีอยู่โดยอัตโนมัติ (เอกสาร PDF, วิดีโอ YouTube, หน้าเว็บ) และอนุญาตให้คุณถามคำถามเกี่ยวกับ เนื้อหาของคุณโดยใช้โมเดลภาษาขนาดใหญ่ของ OpenAI

ระบบถูกสร้างขึ้นบนเฟรมเวิร์ก LangChain และที่เก็บเวกเตอร์ ChromaDB

ระบบจะใช้เป็นไดเร็กทอรีที่คุณจัดเก็บบันทึกย่อมาร์กดาวน์ของคุณ ตัวอย่างเช่น ฉันจดบันทึกด้วย Obsidian จากนั้นระบบจะประมวลผลการเปลี่ยนแปลงใดๆ ในไฟล์เหล่านี้โดยอัตโนมัติด้วยไปป์ไลน์ต่อไปนี้:

 กราฟ TD
A[ไฟล์ Markdown จากโปรแกรมแก้ไขของคุณ]-->B[ไฟล์ข้อความจากมาร์กดาวน์และพอยน์เตอร์]-->C[ชิ้นข้อความ]-->D[ฐานข้อมูลเวกเตอร์]-->E[Second Brain AI Agent]

จากไฟล์มาร์กดาวน์ Transformer_md.py จะแยกข้อความจากไฟล์มาร์กดาวน์ จากนั้นจากลิงก์ภายในไฟล์มาร์กดาวน์ จะแยกไฟล์ pdf, url, วิดีโอ youtube และแปลงเป็นข้อความ มีการรองรับบางประการในการดึงข้อมูลประวัติจากไฟล์มาร์กดาวน์: หากมี ## History ส่วนหรือชื่อไฟล์มี History ไฟล์จะถูกแบ่งออกเป็นหลายส่วนตามส่วน <day> <month> <year> เช่น ### 10 Sep 2023 .

จากไฟล์ข้อความเหล่านี้ Transformer_txt.py จะแบ่งไฟล์ข้อความเหล่านี้ออกเป็นส่วนๆ สร้างการฝังเวกเตอร์ จากนั้นจัดเก็บการฝังเวกเตอร์เหล่านี้ลงในฐานข้อมูลเวกเตอร์

ตัวแทนสมองที่สองใช้ฐานข้อมูลเวกเตอร์เพื่อรับบริบทในการถามคำถามกับโมเดลภาษาขนาดใหญ่ กระบวนการนี้เรียกว่าการดึงข้อมูล-เพิ่มการสร้าง (RAG)

ในความเป็นจริง กระบวนการนี้ซับซ้อนกว่า RAG มาตรฐาน เป็นการวิเคราะห์คำถามแล้วใช้ลูกโซ่อื่นตามเจตนา:

 ผังงาน TD
    A[คำถาม] --> C[/รับความตั้งใจ/]
    C --> E[คำขอสรุป] --> EA[/แยกชิ้นส่วนทั้งหมด/] --> EB[/สรุปชิ้นส่วน/]
    C --> F[pdf หรือการค้นหา URL] --> FA[/แยก URL/]
    C --> D[รายงานกิจกรรม]
    C --> G[คำถามปกติ]
    D --> DA[/รับข้อมูลเมตาของช่วงเวลา/] --> DB[/รับข้อมูลเมตาของหัวเรื่อง/] --> DC[/แยกคำถามโดยไม่มีเวลา/] --> H[/แยกเอกสารที่ใกล้ที่สุดnจากฐานข้อมูลเวกเตอร์ กรองโดยข้อมูลเมตา/]
    G --> GA[/ย้อนกลับคำถาม/] --> GB[/แยกเอกสารที่ใกล้ที่สุดnจากฐานข้อมูลเวกเตอร์/]
    H --> I[/ใช้เอกสารเป็นบริบทnเพื่อถามคำถามกับ LLM/]
    GB --> ฉัน

การติดตั้ง

คุณต้องมีล่าม Python 3, poetry และ inotify-tools ติดตั้ง ทั้งหมดนี้ได้รับการทดสอบภายใต้ Fedora Linux 38 บนแล็ปท็อปของฉันและ Ubuntu ล่าสุดในเวิร์กโฟลว์ CI แจ้งให้เราทราบหากใช้งานได้กับระบบของคุณ

รับซอร์สโค้ด:

$ git clone https://github.com/flepied/second-brain-agent.git

คัดลอกไฟล์ .env ตัวอย่างและแก้ไขให้เหมาะกับการตั้งค่าของคุณ:

$ cp example.env .env

ติดตั้งการพึ่งพาโดยใช้บทกวี:

$ poetry install

มีข้อผิดพลาดระหว่างบทกวี คบเพลิง และ pypi วิธีแก้ไขปัญหาเฉพาะหน้าคือ:

$ poetry run pip install torch

จากนั้นหากต้องการใช้ virtualenv ที่สร้างขึ้น ให้ทำดังนี้

$ poetry shell

บริการระบบ

หากต้องการติดตั้งบริการ systemd เพื่อจัดการสคริปต์ต่างๆ โดยอัตโนมัติเมื่อระบบปฏิบัติการเริ่มทำงาน ให้ใช้คำสั่งต่อไปนี้ (ต้องการการเข้าถึง sudo):

$ ./install-systemd-services.sh

หากต้องการดูผลลัพธ์ของบริการ md และ txt:

$ journalctl --unit=sba-md.service --user
$ journalctl --unit=sba-txt.service --user

ทำการค้นหาความคล้ายคลึงกับฐานข้อมูลเวกเตอร์

$ ./similarity.py " What is LangChain? " type=notes

ค้นหาการเชื่อมต่อใหม่ระหว่างโน้ต

ใช้ร้านค้าเวกเตอร์เพื่อค้นหาการเชื่อมต่อใหม่ระหว่างโน้ต:

$ ./smart_connections.py

การเปิดตัว UI ของเว็บ

เรียกใช้คำสั่งนี้เพื่อเข้าถึง UI ของเว็บ:

$ streamlit run second_brain_agent.py
  You can now view your Streamlit app in your browser.

  Local URL: http://localhost:8502
  Network URL: http://192.168.121.112:8502

นี่คือตัวอย่าง:

Screenshot