taotie

Tao Tie (饕餮)

Laissez Taotie être votre aide pour extraire des connaissances utiles sur des informations bruyantes massives. Il se compose de trois composantes principales:

• Sources : Ce sont les sources d'information auxquelles Taotie peut souscrire. Actuellement, Taotie prend en charge les sources Twitter, GitHub, Arxiv et HTTP.
• Consommateurs : Ce sont les agents que Taotie utilise pour résumer les informations. Taotie peut être intégré à n'importe quel agent de modèle de langue (LLM), et seul un emballage mince est nécessaire pour intégrer l'agent à Taotie.
• Stockage : C'est là que Taotie stocke les informations résumées. Actuellement, Taotie prend en charge la notion, mais elle peut également être configurée pour utiliser d'autres solutions de stockage.

Architecture

Voici un aperçu de l'architecture de Taotie:

L'architecture de Taotie

Exemple

Voici un exemple d'utilisation de Taotie pour s'abonner aux sources Twitter, GitHub et HTTP, résumer les informations à l'aide d'un agent LLM et stocker les résumés en notion.

L'exemple de code peut être trouvé dans des exemples / résumer_to_notion / example.py.

Un site Web soutenu par Taotie peut être vu à partir de https://techtao.super.site/.

Le site Web du blog soutenu par Taotie

1. Configurez votre environnement

Créez un fichier .env et ajoutez les jetons API nécessaires:

OPENAI_API_KEY= < your OpenAI API key >
# Please follow https://developers.notion.com/docs/create-a-notion-integration.
NOTION_TOKEN= < your Notion API token >  
# The id of the page where you want to dump the summary.
NOTION_ROOT_PAGE_ID= < the ID of the page where you want to store the summaries >

# (Optional) Please follow https://developer.twitter.com/en/portal.
TWITTER_BEARER_TOKEN= < your Twitter bearer token >  

# (Optional) The list of authors whose papers you care about.
ARXIV_AUTHORS=Yann LeCun,Kaiming He,Ross Girshick,Piotr Dollár,Alec Radford,Ilya Sutskever,Dario Amodei,Geoffrey E. Hinton

2. Construisez et exécutez l'exemple:

À la racine du référentiel, exécutez la commande suivante:

 # Build the docker image via docker-compose
docker-compose -f examples/summarize_to_notion/docker-compose.yml up

Lorsque le programme s'exécute, il souscrira à Twitter, GitHub et HTTP, résumera les informations à l'aide d'un agent LLM et stockent les résumés en notion. Il mettra également en place un serveur HTTP écoutant sur le port 6543 pour recevoir des demandes de résumé ad hoc. Par exemple, vous pouvez utiliser la commande Curl suivante pour résumer un article de blog:

curl -X POST -H " Content-Type: application/json " -d ' {"url": "https://www.harmdevries.com/post/model-size-vs-compute-overhead"} ' http://localhost:6543/api/v1/url

Un outil plus convivial n'est pas encore disponible. Mais vous pouvez utiliser le facteur pour envoyer la demande.

Remarque: N'oubliez pas d'arrêter le conteneur après un certain temps. Sinon, votre facture Openai se développera continuellement.

Sortir

Sortie de l'exemple de résumé d'informations

Dans votre notion, vous pouvez voir le contenu ajouté.

Bookmarking ad hoc

Page Web résumée (poteau moyen)

Tendance github abonnée

Cliquez sur l'entrée peut afficher les détails, y compris le graphique de connaissances résumé pour cette information.

Résumé GitHub-Repo (Tendances GitHub) L'indicateur --Data-source vous permet de spécifier les sources de données à utiliser. Il accepte une liste de sources de données séparées par des virgules. Les valeurs possibles sont "http_service", "github", "arxiv" et "twitter".

Outils

Outils

1. Outils pour générer le rapport en fonction des données recueillies dans la base de données de notion.

python taotie/tools.py report --date-lookback 2 --type-filter arxiv,blog

python taotie/tools.py report --date-lookback 2 --type-filter github-repo

Exemple de rapport

Nettoyer les images Docker non utilisées

 docker rm $(docker ps -a -q) ; docker images | grep '<none>' | awk '{print $3}' | xargs docker rmi