MindSearch

? Kertas | Demo

Bahasa Inggris | 简体中文

7.30._kecil.mp4

MindSearch: Meniru Pikiran Manusia Menghasilkan Pencarian AI yang Mendalam

? log perubahan

• 2024/11/05: ? MindSearch sekarang diterapkan di Puyu! Cobalah?
  • Memfaktorkan ulang modul agen berdasarkan Lagent v0.5 untuk kinerja yang lebih baik dalam konkurensi.
  • Memperbaiki UI untuk mewujudkan pencarian multi-kueri secara simultan.

⚽️ Bangun Pencarian Pikiran Anda Sendiri

Langkah1: Instalasi Dependensi

git clone https://github.com/InternLM/MindSearch
cd MindSearch
pip install -r requirements.txt

Langkah2: Atur Variabel Lingkungan

Sebelum menyiapkan API, Anda perlu mengonfigurasi variabel lingkungan. Ganti nama file .env.example menjadi .env dan isi nilai yang diperlukan.

mv .env.example .env
# Open .env and add your keys and model configurations

Langkah3: Siapkan API MindSearch

Siapkan Server FastAPI.

python -m mindsearch.app --lang en --model_format internlm_server --search_engine DuckDuckGoSearch --asy 

• --lang : bahasa model, en untuk bahasa Inggris dan cn untuk bahasa Cina.

• --model_format : format model.

  • internlm_server untuk InternLM2.5-7b-chat dengan server lokal. (InternLM2.5-7b-chat telah dioptimalkan dengan lebih baik untuk bahasa Mandarin.)
  • gpt4 untuk GPT4. jika ingin menggunakan model lain, silakan modifikasi model

• --search_engine : Mesin pencari.

  • DuckDuckGoSearch untuk mesin pencari untuk DuckDuckGo.
  • BingSearch untuk mesin pencari Bing.
  • BraveSearch untuk mesin api web pencarian Brave.
  • GoogleSearch untuk mesin api pencarian web Google Serper.
  • TencentSearch untuk mesin api pencarian Tencent.

  Harap tetapkan kunci API mesin Penelusuran Web Anda sebagai variabel lingkungan WEB_SEARCH_API_KEY kecuali Anda menggunakan DuckDuckGo , atau TencentSearch yang memerlukan id rahasia sebagai TENCENT_SEARCH_SECRET_ID dan kunci rahasia sebagai TENCENT_SEARCH_SECRET_KEY .

• --asy : menyebarkan agen asinkron.

Langkah4: Siapkan Frontend MindSearch

Menyediakan antarmuka frontend berikut,

• Bereaksi

Pertama konfigurasikan URL backend untuk proksi Vite.

HOST= " 127.0.0.1 "  # modify as you need
PORT=8002
sed -i -r " s/target:s* "" /target: " ${HOST} : ${PORT} " / " frontend/React/vite.config.ts

 # Install Node.js and npm
# for Ubuntu
sudo apt install nodejs npm

# for windows
# download from https://nodejs.org/zh-cn/download/prebuilt-installer

# Install dependencies

cd frontend/React
npm install
npm start

Detailnya dapat ditemukan di React

• gradio

python frontend/mindsearch_gradio.py

• Lampu aliran

streamlit run frontend/mindsearch_streamlit.py

Ubah API Penelusuran Web

Untuk menggunakan jenis API pencarian web yang berbeda, ubah atribut searcher_type di searcher_cfg yang terletak di mindsearch/agent/__init__.py . API penelusuran web yang saat ini didukung meliputi:

• GoogleSearch
• DuckDuckGoSearch
• BraveSearch
• BingSearch
• TencentSearch

Misalnya, untuk mengubah ke Brave Search API, Anda akan mengonfigurasinya sebagai berikut:

 BingBrowser (
    searcher_type = 'BraveSearch' ,
    topk = 2 ,
    api_key = os . environ . get ( 'BRAVE_API_KEY' , 'YOUR BRAVE API' )
)

? Menggunakan Backend Tanpa Frontend

Untuk pengguna yang lebih suka berinteraksi dengan backend secara langsung, gunakan skrip backend_example.py . Skrip ini menunjukkan cara mengirim kueri ke backend dan memproses responsnya.

python backend_example.py

Pastikan Anda telah menyiapkan variabel lingkungan dan backend berjalan sebelum menjalankan skrip.

? Debug Secara Lokal

python -m mindsearch.terminal

Lisensi

Proyek ini dirilis di bawah lisensi Apache 2.0.

Kutipan

Jika Anda merasa proyek ini bermanfaat dalam penelitian Anda, mohon pertimbangkan untuk mengutip:

 @article{chen2024mindsearch,
  title={MindSearch: Mimicking Human Minds Elicits Deep AI Searcher},
  author={Chen, Zehui and Liu, Kuikun and Wang, Qiuchen and Liu, Jiangning and Zhang, Wenwei and Chen, Kai and Zhao, Feng},
  journal={arXiv preprint arXiv:2407.20183},
  year={2024}
}

Proyek Kami

Jelajahi penelitian tambahan kami tentang model bahasa besar, dengan fokus pada agen LLM.

• Lagent: Kerangka kerja ringan untuk membangun agen berbasis LLM
• AgentFLAN: Pendekatan inovatif untuk membangun dan melatih dengan kumpulan data agen berkualitas tinggi (Temuan ACL 2024)
• T-Eval: Tolok ukur evaluasi pemanfaatan alat yang terperinci (ACL 2024)