taotie

陶領帶（饕餮）

讓taotie成為您的助手，以從大量的嘈雜信息中提取有用的知識。它由三個主要組成部分組成：

• 資料來源：這些是TAOTIE可以訂閱的信息來源。目前，TAOTIE支持Twitter，GitHub，Arxiv和HTTP來源。
• 消費者：這些是TAOTIE用來總結信息的代理商。可以將TATAOTIE與任何語言模型（LLM）代理集成在一起，並且只需要一個薄的包裝器即可將代理與Taotie集成。
• 存儲：這是TATAOTIE存儲匯總信息的地方。目前，TATAOTIE支持概念，但也可以配置為使用其他存儲解決方案。

建築學

這是對大教堂建築的概述：

托蒂的建築

例子

這是如何使用Taotie訂閱Twitter，Github和HTTP來源的一個示例，使用LLM代理總結了信息，並將摘要存儲在概念中。

示例代碼可以在示例/summarize_to_notion/示例中找到。

可以從https://techtao.super.site/中看到一個由Taotie支持的網站。

由TATIE支持的博客網站

1。設置您的環境

創建一個.env文件並添加必要的API令牌：

OPENAI_API_KEY= < your OpenAI API key >
# Please follow https://developers.notion.com/docs/create-a-notion-integration.
NOTION_TOKEN= < your Notion API token >  
# The id of the page where you want to dump the summary.
NOTION_ROOT_PAGE_ID= < the ID of the page where you want to store the summaries >

# (Optional) Please follow https://developer.twitter.com/en/portal.
TWITTER_BEARER_TOKEN= < your Twitter bearer token >  

# (Optional) The list of authors whose papers you care about.
ARXIV_AUTHORS=Yann LeCun,Kaiming He,Ross Girshick,Piotr Dollár,Alec Radford,Ilya Sutskever,Dario Amodei,Geoffrey E. Hinton

2。構建並運行以下示例：

在存儲庫的根部，運行以下命令：

 # Build the docker image via docker-compose
docker-compose -f examples/summarize_to_notion/docker-compose.yml up

該程序運行後，它將訂閱Twitter，GitHub和HTTP來源，使用LLM代理總結信息，並將摘要存儲在概念中。它還將在端口6543上設置HTTP服務器，以接收臨時摘要請求。例如，您可以使用以下curl命令來匯總博客文章：

curl -X POST -H " Content-Type: application/json " -d ' {"url": "https://www.harmdevries.com/post/model-size-vs-compute-overhead"} ' http://localhost:6543/api/v1/url

尚不可用的更用戶友好的工具。但是您可以使用郵遞員發送請求。

注意：一段時間後，請記住停止容器。否則，您的Openai賬單將持續增長。

輸出

信息摘要示例的輸出

在您的概念中，您可以看到添加的內容。

臨時書籤

總結網頁（中文）

訂閱GitHub趨勢

單擊條目可以顯示詳細信息，包括有關此信息的知識圖。

匯總的github-repo（github趨勢）-DATA-sources Flag允許您指定要使用的數據源。它接受逗號分隔的數據源列表。可能的值是“ http_service”，“ github”，“ arxiv”和“ twitter”。

工具

工具

1. 根據概念數據庫中收集的數據生成報告的工具。

python taotie/tools.py report --date-lookback 2 --type-filter arxiv,blog

python taotie/tools.py report --date-lookback 2 --type-filter github-repo

示例報告

清理未使用的Docker圖像

 docker rm $(docker ps -a -q) ; docker images | grep '<none>' | awk '{print $3}' | xargs docker rmi