taotie

Tao Tie (饕餮)

Deje que Taotie sea su ayudante para extraer conocimiento útil de la información masiva ruidosa. Consiste en tres componentes principales:

• Fuentes : Estas son las fuentes de información a las que Taotie puede suscribirse. Actualmente, Taotie admite fuentes Twitter, Github, ARXIV y HTTP.
• Consumidores : estos son los agentes que Taotie usa para resumir la información. Taotie se puede integrar con cualquier agente de modelo de idioma (LLM), y solo se necesita un envoltorio delgado para integrar el agente con Taotie.
• Almacenamiento : Aquí es donde Taotie almacena la información resumida. Actualmente, Taotie admite la noción, pero también se puede configurar para usar otras soluciones de almacenamiento.

Arquitectura

Aquí hay una descripción general de la arquitectura de Taotie:

La arquitectura de Taotie

Ejemplo

Aquí hay un ejemplo de cómo usar Taotie para suscribirse a las fuentes de Twitter, GitHub y HTTP, resumir la información utilizando un agente LLM y almacenar los resúmenes en la noción.

El código de ejemplo se puede encontrar en ejemplos/resumarize_to_notion/ejemplo.py.

Se puede ver un sitio web respaldado por Taotie en https://techtao.super.site/.

El sitio web del blog respaldado por Taotie

1. Configure su entorno

Cree un archivo .env y agregue los tokens API necesarios:

OPENAI_API_KEY= < your OpenAI API key >
# Please follow https://developers.notion.com/docs/create-a-notion-integration.
NOTION_TOKEN= < your Notion API token >  
# The id of the page where you want to dump the summary.
NOTION_ROOT_PAGE_ID= < the ID of the page where you want to store the summaries >

# (Optional) Please follow https://developer.twitter.com/en/portal.
TWITTER_BEARER_TOKEN= < your Twitter bearer token >  

# (Optional) The list of authors whose papers you care about.
ARXIV_AUTHORS=Yann LeCun,Kaiming He,Ross Girshick,Piotr Dollár,Alec Radford,Ilya Sutskever,Dario Amodei,Geoffrey E. Hinton

2. Construya y ejecute el ejemplo:

En la raíz del repositorio, ejecute el siguiente comando:

 # Build the docker image via docker-compose
docker-compose -f examples/summarize_to_notion/docker-compose.yml up

Cuando el programa se ejecute, se suscribirá a las fuentes de Twitter, GitHub y HTTP, resumirá la información utilizando un agente LLM y almacenará los resúmenes en la noción. También configurará un servidor HTTP que escucha en el puerto 6543 para recibir solicitudes de resumen ad-hoc. Por ejemplo, puede usar el siguiente comando CURL para resumir una publicación de blog:

curl -X POST -H " Content-Type: application/json " -d ' {"url": "https://www.harmdevries.com/post/model-size-vs-compute-overhead"} ' http://localhost:6543/api/v1/url

Una herramienta más fácil de usar aún no está disponible. Pero puede usar el cartero para enviar la solicitud.

Nota: Recuerde detener el contenedor después de un tiempo. De lo contrario, su factura de OpenAI crecerá continuamente.

Producción

Salida del ejemplo de resumen de información

En su noción, puede ver el contenido agregado.

Marcadores ad-hoc

Página web resumida (publicación media)

Tendencias de GitHub suscritas

Haga clic en la entrada puede mostrar los detalles, incluido el gráfico de conocimiento resumido para esta información.

GitHub-Repo resumido (tendencias de GitHub) El indicador --data-fuente le permite especificar las fuentes de datos que se utilizarán. Acepta una lista separada por comas de fuentes de datos. Los valores posibles son "http_service", "github", "arxiv" y "twitter".

Herramientas

Herramientas

1. Herramientas para generar el informe basado en los datos recopilados en la base de datos de nociones.

python taotie/tools.py report --date-lookback 2 --type-filter arxiv,blog

python taotie/tools.py report --date-lookback 2 --type-filter github-repo

Informe de ejemplo

Limpiar imágenes de Docker no utilizadas

 docker rm $(docker ps -a -q) ; docker images | grep '<none>' | awk '{print $3}' | xargs docker rmi