taotie

陶领带（饕餮）

让taotie成为您的助手，以从大量的嘈杂信息中提取有用的知识。它由三个主要组成部分组成：

• 资料来源：这些是TAOTIE可以订阅的信息来源。目前，TAOTIE支持Twitter，GitHub，Arxiv和HTTP来源。
• 消费者：这些是TAOTIE用来总结信息的代理商。可以将TATAOTIE与任何语言模型（LLM）代理集成在一起，并且只需要一个薄的包装器即可将代理与Taotie集成。
• 存储：这是TATAOTIE存储汇总信息的地方。目前，TATAOTIE支持概念，但也可以配置为使用其他存储解决方案。

建筑学

这是对大教堂建筑的概述：

托蒂的建筑

例子

这是如何使用Taotie订阅Twitter，Github和HTTP来源的一个示例，使用LLM代理总结了信息，并将摘要存储在概念中。

示例代码可以在示例/summarize_to_notion/示例中找到。

可以从https://techtao.super.site/中看到一个由Taotie支持的网站。

由TATIE支持的博客网站

1。设置您的环境

创建一个.env文件并添加必要的API令牌：

OPENAI_API_KEY= < your OpenAI API key >
# Please follow https://developers.notion.com/docs/create-a-notion-integration.
NOTION_TOKEN= < your Notion API token >  
# The id of the page where you want to dump the summary.
NOTION_ROOT_PAGE_ID= < the ID of the page where you want to store the summaries >

# (Optional) Please follow https://developer.twitter.com/en/portal.
TWITTER_BEARER_TOKEN= < your Twitter bearer token >  

# (Optional) The list of authors whose papers you care about.
ARXIV_AUTHORS=Yann LeCun,Kaiming He,Ross Girshick,Piotr Dollár,Alec Radford,Ilya Sutskever,Dario Amodei,Geoffrey E. Hinton

2。构建并运行以下示例：

在存储库的根部，运行以下命令：

 # Build the docker image via docker-compose
docker-compose -f examples/summarize_to_notion/docker-compose.yml up

该程序运行后，它将订阅Twitter，GitHub和HTTP来源，使用LLM代理总结信息，并将摘要存储在概念中。它还将在端口6543上设置HTTP服务器，以接收临时摘要请求。例如，您可以使用以下curl命令来汇总博客文章：

curl -X POST -H " Content-Type: application/json " -d ' {"url": "https://www.harmdevries.com/post/model-size-vs-compute-overhead"} ' http://localhost:6543/api/v1/url

尚不可用的更用户友好的工具。但是您可以使用邮递员发送请求。

注意：一段时间后，请记住停止容器。否则，您的Openai账单将持续增长。

输出

信息摘要示例的输出

在您的概念中，您可以看到添加的内容。

临时书签

总结网页（中文）

订阅GitHub趋势

单击条目可以显示详细信息，包括有关此信息的知识图。

汇总的github-repo（github趋势）-DATA-sources Flag允许您指定要使用的数据源。它接受逗号分隔的数据源列表。可能的值是“ http_service”，“ github”，“ arxiv”和“ twitter”。

工具

工具

1. 根据概念数据库中收集的数据生成报告的工具。

python taotie/tools.py report --date-lookback 2 --type-filter arxiv,blog

python taotie/tools.py report --date-lookback 2 --type-filter github-repo

示例报告

清理未使用的Docker图像

 docker rm $(docker ps -a -q) ; docker images | grep '<none>' | awk '{print $3}' | xargs docker rmi