taotie

Галстук Дао (饕餮)

Пусть Taotie будет вашим помощником, чтобы извлечь полезные знания из огромной шумной информации. Он состоит из трех основных компонентов:

• Источники : это источники информации, на которые может подписаться Taotie. В настоящее время Taotie поддерживает источники Twitter, Github, Arxiv и HTTP.
• Потребители : Это те агенты, которые Taotie использует для обобщения информации. Taotie может быть интегрирован с любым агентом языковой модели (LLM), и для интеграции агента с Taotie необходима только тонкая обертка.
• Хранение : Вот где Taotie хранит суммированную информацию. В настоящее время Taotie поддерживает понятие, но его можно настроить для использования и других решений для хранения.

Архитектура

Вот обзор архитектуры Таоти:

Архитектура Таоти

Пример

Вот пример того, как использовать Taotie, чтобы подписаться на источники Twitter, Github и HTTP, суммируют информацию с использованием агента LLM и храните резюме в понятии.

Пример кода можно найти в примерах/Summarize_to_notion/example.py.

Веб -сайт, поддержанный Taotie, можно увидеть на https://techtao.super.site/.

Сайт блога поддержан Taotie

1. Настройте вашу среду

Создайте файл .env и добавьте необходимые токены API:

OPENAI_API_KEY= < your OpenAI API key >
# Please follow https://developers.notion.com/docs/create-a-notion-integration.
NOTION_TOKEN= < your Notion API token >  
# The id of the page where you want to dump the summary.
NOTION_ROOT_PAGE_ID= < the ID of the page where you want to store the summaries >

# (Optional) Please follow https://developer.twitter.com/en/portal.
TWITTER_BEARER_TOKEN= < your Twitter bearer token >  

# (Optional) The list of authors whose papers you care about.
ARXIV_AUTHORS=Yann LeCun,Kaiming He,Ross Girshick,Piotr Dollár,Alec Radford,Ilya Sutskever,Dario Amodei,Geoffrey E. Hinton

2. Создайте и запустите пример:

В корне репозитория запустите следующую команду:

 # Build the docker image via docker-compose
docker-compose -f examples/summarize_to_notion/docker-compose.yml up

Когда программа работает, она будет подписаться на источники Twitter, Github и HTTP, суммирует информацию с помощью агента LLM и хранить резюме в понятии. Он также настроит сервер HTTP, прослушивающий порт 6543 для получения запросов на суммирование Ad-Hoc. Например, вы можете использовать следующую команду Curl для обобщения сообщения в блоге:

curl -X POST -H " Content-Type: application/json " -d ' {"url": "https://www.harmdevries.com/post/model-size-vs-compute-overhead"} ' http://localhost:6543/api/v1/url

Более удобный для пользователя инструмент еще не доступен. Но вы можете использовать почтальона для отправки запроса.

Примечание. Не забудьте остановить контейнер через некоторое время. В противном случае ваш счет Openai будет расти непрерывно.

Выход

Вывод примера суммирования информации

В вашем понятии вы можете увидеть добавленное содержимое.

Специальная закладка

Суммированная веб-страница (средняя публикация)

Подписываемая тенденция GitHub

Нажмите на запись, может показать детали, включая график знаний, обобщенную для этой части информации.

Суммировал GitHub-Repo (тенденции GitHub). Флаг-дата-источники позволяет указать источники данных, которые будут использоваться. Он принимает отдельный список источников данных. Возможные значения являются «http_service», «github», «arxiv» и «Twitter».

Инструменты

Инструменты

1. Инструменты для создания отчета на основе собранных данных в базе данных понятий.

python taotie/tools.py report --date-lookback 2 --type-filter arxiv,blog

python taotie/tools.py report --date-lookback 2 --type-filter github-repo

Пример отчета

Очистите изображения Docker, не используемые

 docker rm $(docker ps -a -q) ; docker images | grep '<none>' | awk '{print $3}' | xargs docker rmi