Lassen Sie Taotie Ihr Helfer sein, um nützliches Wissen aus massiven lauten Informationen herauszuholen. Es besteht aus drei Hauptkomponenten:
Hier ist ein Überblick über Taoties Architektur:
Die Architektur von Taotie
Hier ist ein Beispiel dafür, wie Taotie verwendet werden kann, um Twitter, Github und HTTP -Quellen abzuonnieren, die Informationen mit einem LLM -Agenten zusammenzufassen und die Zusammenfassungen in Begriff zu speichern.
Der Beispielcode finden Sie in Beispielen/summarize_to_notion/Beispiel.py.
Eine von Taotie unterstützte Website ist von https://techtao.super.site/ zu sehen.
Die von Taotie unterstützte Blog -Website
Erstellen Sie eine .env -Datei und fügen Sie die erforderlichen API -Token hinzu:
OPENAI_API_KEY= < your OpenAI API key >
# Please follow https://developers.notion.com/docs/create-a-notion-integration.
NOTION_TOKEN= < your Notion API token >
# The id of the page where you want to dump the summary.
NOTION_ROOT_PAGE_ID= < the ID of the page where you want to store the summaries >
# (Optional) Please follow https://developer.twitter.com/en/portal.
TWITTER_BEARER_TOKEN= < your Twitter bearer token >
# (Optional) The list of authors whose papers you care about.
ARXIV_AUTHORS=Yann LeCun,Kaiming He,Ross Girshick,Piotr Dollár,Alec Radford,Ilya Sutskever,Dario Amodei,Geoffrey E. Hinton
Führen Sie am Root des Repository den folgenden Befehl aus:
# Build the docker image via docker-compose
docker-compose -f examples/summarize_to_notion/docker-compose.yml up
Wenn das Programm ausgeführt wird, abonniert es Twitter-, Github- und HTTP -Quellen, fasst die Informationen mit einem LLM -Agenten zusammen und speichert die Zusammenfassungen in der Vorstellung. Es wird auch ein HTTP-Server eingerichtet, das auf Port 6543 zuhört, um Ad-hoc-Summaranfragen zu erhalten. Beispielsweise können Sie den folgenden Curl -Befehl verwenden, um einen Blog -Beitrag zusammenzufassen:
curl -X POST -H " Content-Type: application/json " -d ' {"url": "https://www.harmdevries.com/post/model-size-vs-compute-overhead"} ' http://localhost:6543/api/v1/url
Ein benutzerfreundlicheres Tool ist noch nicht verfügbar. Sie können den Postboten jedoch verwenden, um die Anfrage zu senden.
Hinweis: Bitte denken Sie daran, den Container nach einer Weile zu stoppen. Andernfalls wächst Ihre Openai -Rechnung kontinuierlich.
Ausgabe des Info Summariizer -Beispiels
In Ihrem Begriff können Sie den hinzugefügten Inhalt sehen.
Ad-hoc-Lesezeichen
Zusammengefasste Webseite (mittlerer Beitrag)
Abonnierte Github -Trendung
Klicken Sie auf den Eintrag können die Details anzeigen, einschließlich des für diese Informationen zusammengefassten Wissensgrafiks.
Zusammenfassend GitHub-Repo (Github-Trends) Mit dem Flag-Data-Sources-Flag können Sie die zu verwendenden Datenquellen angeben. Es akzeptiert eine von Kommas getrennte Liste von Datenquellen. Die möglichen Werte sind "http_service", "github", "arxiv" und "twitter".
python taotie/tools.py report --date-lookback 2 --type-filter arxiv,blog
python taotie/tools.py report --date-lookback 2 --type-filter github-repo
Beispielbericht
docker rm $(docker ps -a -q) ; docker images | grep '<none>' | awk '{print $3}' | xargs docker rmi