taotie

Tao Tie (饕餮)

Deixe a Taotie ser seu ajudante para extrair conhecimento útil de informações ruidosas. Consiste em três componentes principais:

• Fontes : essas são as fontes de informação que a Taotie pode se inscrever. Atualmente, a Taotie suporta fontes do Twitter, Github, Arxiv e HTTP.
• Consumidores : esses são os agentes que Taotie usa para resumir as informações. O Taotie pode ser integrado a qualquer agente do Modelo de Idioma (LLM), e apenas um invólucro fino é necessário para integrar o agente ao TAOTIE.
• Armazenamento : é aqui que a Taotie armazena as informações resumidas. Atualmente, a Taotie suporta a noção, mas também pode ser configurada para usar outras soluções de armazenamento.

Arquitetura

Aqui está uma visão geral da arquitetura de Taotie:

A arquitetura de Taotie

Exemplo

Aqui está um exemplo de como usar o TAOTIE para assinar fontes do Twitter, Github e HTTP, resumir as informações usando um agente LLM e armazenar os resumos em noção.

O código de exemplo pode ser encontrado em exemplos/Summarize_to_Notion/ExempliC.py.

Um site apoiado por Taotie pode ser visto em https://techtao.super.site/.

O site do blog apoiado por Taotie

1. Configure seu ambiente

Crie um arquivo .env e adicione os tokens de API necessários:

OPENAI_API_KEY= < your OpenAI API key >
# Please follow https://developers.notion.com/docs/create-a-notion-integration.
NOTION_TOKEN= < your Notion API token >  
# The id of the page where you want to dump the summary.
NOTION_ROOT_PAGE_ID= < the ID of the page where you want to store the summaries >

# (Optional) Please follow https://developer.twitter.com/en/portal.
TWITTER_BEARER_TOKEN= < your Twitter bearer token >  

# (Optional) The list of authors whose papers you care about.
ARXIV_AUTHORS=Yann LeCun,Kaiming He,Ross Girshick,Piotr Dollár,Alec Radford,Ilya Sutskever,Dario Amodei,Geoffrey E. Hinton

2. Construa e execute o exemplo:

Na raiz do repositório, execute o seguinte comando:

 # Build the docker image via docker-compose
docker-compose -f examples/summarize_to_notion/docker-compose.yml up

Quando o programa for executado, ele assinará as fontes do Twitter, Github e HTTP, resumirá as informações usando um agente LLM e armazena os resumos em noção. Ele também configurará um servidor HTTP ouvindo na porta 6543 para receber solicitações de resumo ad-hoc. Por exemplo, você pode usar o seguinte comando curl para resumir uma postagem no blog:

curl -X POST -H " Content-Type: application/json " -d ' {"url": "https://www.harmdevries.com/post/model-size-vs-compute-overhead"} ' http://localhost:6543/api/v1/url

Uma ferramenta mais amigável ainda não está disponível. Mas você pode usar o Postman para enviar a solicitação.

Nota: Lembre -se de parar o contêiner depois de um tempo. Caso contrário, sua conta do Openai crescerá continuamente.

Saída

Saída do exemplo do Info Summarizer

Na sua noção, você pode ver o conteúdo adicionado.

Livro ad-hoc

Página da web resumida (postagem média)

Assinou o GitHub Trending

Clique na entrada pode mostrar os detalhes, incluindo o gráfico de conhecimento resumido para esta informação.

Github-Repo resumido (tendências do GitHub) O sinalizador-Data-fontes permite especificar as fontes de dados a serem usadas. Ele aceita uma lista de fontes de dados separada por vírgula. Os valores possíveis são "http_service", "github", "arxiv" e "twitter".

Ferramentas

Ferramentas

1. Ferramentas para gerar o relatório com base nos dados coletados no banco de dados de noção.

python taotie/tools.py report --date-lookback 2 --type-filter arxiv,blog

python taotie/tools.py report --date-lookback 2 --type-filter github-repo

Relatório de exemplo

Limpe as imagens do Docker não usadas

 docker rm $(docker ps -a -q) ; docker images | grep '<none>' | awk '{print $3}' | xargs docker rmi