taotie

タオタイ（饕餮）

Taotieをあなたのヘルパーにして、大規模な騒々しい情報から有用な知識を抽出してください。 3つの主要なコンポーネントで構成されています。

• ソース：これらは、Taotieが購読できる情報源です。現在、TaotieはTwitter、Github、Arxiv、およびHTTPソースをサポートしています。
• 消費者：これらは、Taotieが情報を要約するために使用するエージェントです。 Taotieは、あらゆる言語モデル（LLM）エージェントと統合でき、エージェントをTaotieと統合するには薄いラッパーのみが必要です。
• ストレージ：これは、Taotieが要約された情報を保存する場所です。現在、Taotieは概念をサポートしていますが、他のストレージソリューションも使用するように構成できます。

建築

Taotieのアーキテクチャの概要は次のとおりです。

Taotieのアーキテクチャ

例

Taotieを使用してTwitter、Github、およびHTTPソースを購読し、LLMエージェントを使用して情報を要約し、概念を概念に保存する方法の例を示します。

サンプルコードは、例/summarize_to_notion/example.pyにあります。

Taotieに裏付けられたWebサイトは、https：//techtao.super.site/から見ることができます。

Taotieに支えられたブログWebサイト

1.環境を設定します

.ENVファイルを作成し、必要なAPIトークンを追加します。

OPENAI_API_KEY= < your OpenAI API key >
# Please follow https://developers.notion.com/docs/create-a-notion-integration.
NOTION_TOKEN= < your Notion API token >  
# The id of the page where you want to dump the summary.
NOTION_ROOT_PAGE_ID= < the ID of the page where you want to store the summaries >

# (Optional) Please follow https://developer.twitter.com/en/portal.
TWITTER_BEARER_TOKEN= < your Twitter bearer token >  

# (Optional) The list of authors whose papers you care about.
ARXIV_AUTHORS=Yann LeCun,Kaiming He,Ross Girshick,Piotr Dollár,Alec Radford,Ilya Sutskever,Dario Amodei,Geoffrey E. Hinton

2。例を構築して実行します。

リポジトリのルートで、次のコマンドを実行します。

 # Build the docker image via docker-compose
docker-compose -f examples/summarize_to_notion/docker-compose.yml up

プログラムが実行されると、Twitter、GitHub、およびHTTPソースを購読し、LLMエージェントを使用して情報を要約し、概念を概念に保存します。また、アドホック要約リクエストを受信するために、ポート6543でリスニングされるHTTPサーバーを設定します。たとえば、次のCurlコマンドを使用して、ブログ投稿を要約できます。

curl -X POST -H " Content-Type: application/json " -d ' {"url": "https://www.harmdevries.com/post/model-size-vs-compute-overhead"} ' http://localhost:6543/api/v1/url

よりユーザーフレンドリーなツールはまだ利用できません。ただし、郵便配達員を使用してリクエストを送信できます。

注：しばらくして、容器を停止することを忘れないでください。そうでなければ、あなたのOpenai法案は継続的に成長します。

出力

情報要約の例の出力の例

あなたの概念では、追加された内容を見ることができます。

アドホックブックマーク

要約されたWebページ（中型投稿）

サブスクライブGithubトレンド

[エントリ]をクリックして、この情報に要約されたナレッジグラフを含む詳細を表示できます。

要約されたGithub-Repo（Github Trends） - Data-Sourcesフラグを使用すると、使用するデータソースを指定できます。データソースのコンマ分離されたリストを受け入れます。考えられる値は、「http_service」、「github」、「arxiv」、および「twitter」です。

ツール

ツール

1. 概念データベース内の収集されたデータに基づいてレポートを生成するツール。

python taotie/tools.py report --date-lookback 2 --type-filter arxiv,blog

python taotie/tools.py report --date-lookback 2 --type-filter github-repo

レポートの例

使用されていないDocker画像をクリーンアップします

 docker rm $(docker ps -a -q) ; docker images | grep '<none>' | awk '{print $3}' | xargs docker rmi