taotie

Tao dasi (饕餮)

Biarkan Taotie menjadi penolong Anda untuk mengekstraksi pengetahuan yang bermanfaat dari informasi berisik besar. Ini terdiri dari tiga komponen utama:

• Sumber : Ini adalah sumber informasi yang dapat dilanggar oleh Taotie. Saat ini, Taotie mendukung sumber Twitter, GitHub, ARXIV, dan HTTP.
• Konsumen : Ini adalah agen yang digunakan Taotie untuk merangkum informasi tersebut. Taotie dapat diintegrasikan dengan agen model bahasa (LLM) apa pun, dan hanya pembungkus tipis yang diperlukan untuk mengintegrasikan agen dengan Taotie.
• Penyimpanan : Di sinilah Taotie menyimpan informasi yang dirangkum. Saat ini, Taotie mendukung gagasan, tetapi dapat dikonfigurasi untuk menggunakan solusi penyimpanan lainnya juga.

Arsitektur

Berikut gambaran arsitektur Taotie:

Arsitektur Taotie

Contoh

Berikut adalah contoh cara menggunakan Taotie untuk berlangganan sumber Twitter, GitHub, dan HTTP, merangkum informasi menggunakan agen LLM, dan menyimpan ringkasan dalam gagasan.

Kode contoh dapat ditemukan dalam contoh/ringkasan_to_notion/example.py.

Situs web yang didukung oleh Taotie dapat dilihat dari https://techtao.super.site/.

Situs web blog yang didukung oleh Taotie

1. Mengatur lingkungan Anda

Buat file .env dan tambahkan token API yang diperlukan:

OPENAI_API_KEY= < your OpenAI API key >
# Please follow https://developers.notion.com/docs/create-a-notion-integration.
NOTION_TOKEN= < your Notion API token >  
# The id of the page where you want to dump the summary.
NOTION_ROOT_PAGE_ID= < the ID of the page where you want to store the summaries >

# (Optional) Please follow https://developer.twitter.com/en/portal.
TWITTER_BEARER_TOKEN= < your Twitter bearer token >  

# (Optional) The list of authors whose papers you care about.
ARXIV_AUTHORS=Yann LeCun,Kaiming He,Ross Girshick,Piotr Dollár,Alec Radford,Ilya Sutskever,Dario Amodei,Geoffrey E. Hinton

2. Bangun dan jalankan contohnya:

Pada akar repositori, jalankan perintah berikut:

 # Build the docker image via docker-compose
docker-compose -f examples/summarize_to_notion/docker-compose.yml up

Ketika program berjalan, itu akan berlangganan sumber Twitter, GitHub, dan HTTP, merangkum informasi menggunakan agen LLM, dan menyimpan ringkasan dalam gagasan. Ini juga akan mengatur server HTTP mendengarkan pada port 6543 untuk menerima permintaan ringkasan ad-hoc. Misalnya, Anda dapat menggunakan perintah CURL berikut untuk merangkum posting blog:

curl -X POST -H " Content-Type: application/json " -d ' {"url": "https://www.harmdevries.com/post/model-size-vs-compute-overhead"} ' http://localhost:6543/api/v1/url

Alat yang lebih ramah pengguna belum tersedia. Tetapi Anda dapat menggunakan tukang pos untuk mengirim permintaan.

Catatan: Harap ingat untuk menghentikan wadah setelah beberapa saat. Kalau tidak, tagihan openai Anda akan tumbuh terus menerus.

Keluaran

Output dari contoh Info Summarizer

Dalam gagasan Anda, Anda dapat melihat isinya ditambahkan.

Bookmark ad-hoc

Ringkas halaman web (pos sedang)

Tren GitHub Berlangganan

Klik entri dapat menampilkan detailnya, termasuk grafik pengetahuan yang dirangkum untuk informasi ini.

Ringkas GitHub-Repo (Tren GitHub) Bendera-Data-Sumber memungkinkan Anda untuk menentukan sumber data yang akan digunakan. Ia menerima daftar sumber data yang dipisahkan secara koma. Nilai yang mungkin adalah "http_service", "github", "arxiv", dan "twitter".

Peralatan

Peralatan

1. Alat untuk menghasilkan laporan berdasarkan data yang dikumpulkan dalam database NOTION.

python taotie/tools.py report --date-lookback 2 --type-filter arxiv,blog

python taotie/tools.py report --date-lookback 2 --type-filter github-repo

Contoh Laporan

Bersihkan gambar Docker yang tidak digunakan

 docker rm $(docker ps -a -q) ; docker images | grep '<none>' | awk '{print $3}' | xargs docker rmi