taotie

타오 넥타이 (()

Taotie를 여러분의 도우미가되자 거대한 시끄러운 정보에서 유용한 지식을 추출하십시오. 세 가지 주요 구성 요소로 구성됩니다.

• 출처 : Taotie가 구독 할 수있는 정보 소스입니다. 현재 Taotie는 Twitter, Github, Arxiv 및 HTTP 소스를 지원합니다.
• 소비자 : 이들은 Taotie가 정보를 요약하기 위해 사용하는 에이전트입니다. Taotie는 모든 언어 모델 (LLM) 에이전트와 통합 될 수 있으며 에이전트를 Taotie와 통합하려면 얇은 래퍼 만 필요합니다.
• 스토리지 : Taotie가 요약 된 정보를 저장하는 곳입니다. 현재 Taotie는 개념을 지원하지만 다른 스토리지 솔루션도 사용하도록 구성 할 수 있습니다.

건축학

다음은 Taotie의 건축에 ​​대한 개요입니다.

Taotie의 건축

예

다음은 Taotie를 사용하여 Twitter, Github 및 HTTP 소스를 구독하고 LLM 에이전트를 사용하여 정보를 요약하고 요약을 개념에 저장하는 방법의 예입니다.

예제 코드는 예제/summarize_to_notion/example.py에서 찾을 수 있습니다.

Taotie가 지원하는 웹 사이트는 https://techtao.super.site/에서 볼 수 있습니다.

블로그 웹 사이트는 Taotie가 지원합니다

1. 환경을 설정하십시오

.env 파일을 만들고 필요한 API 토큰을 추가하십시오.

OPENAI_API_KEY= < your OpenAI API key >
# Please follow https://developers.notion.com/docs/create-a-notion-integration.
NOTION_TOKEN= < your Notion API token >  
# The id of the page where you want to dump the summary.
NOTION_ROOT_PAGE_ID= < the ID of the page where you want to store the summaries >

# (Optional) Please follow https://developer.twitter.com/en/portal.
TWITTER_BEARER_TOKEN= < your Twitter bearer token >  

# (Optional) The list of authors whose papers you care about.
ARXIV_AUTHORS=Yann LeCun,Kaiming He,Ross Girshick,Piotr Dollár,Alec Radford,Ilya Sutskever,Dario Amodei,Geoffrey E. Hinton

2. 예제를 빌드하고 실행하십시오.

저장소의 루트에서 다음 명령을 실행하십시오.

 # Build the docker image via docker-compose
docker-compose -f examples/summarize_to_notion/docker-compose.yml up

프로그램이 실행되면 Twitter, Github 및 HTTP 소스를 구독하고 LLM 에이전트를 사용하여 정보를 요약하고 요약을 개념에 저장합니다. 또한 임시 요약 요청을 받기 위해 포트 6543에서 HTTP 서버를 듣고 있습니다. 예를 들어 다음 컬 명령을 사용하여 블로그 게시물을 요약 할 수 있습니다.

curl -X POST -H " Content-Type: application/json " -d ' {"url": "https://www.harmdevries.com/post/model-size-vs-compute-overhead"} ' http://localhost:6543/api/v1/url

보다 사용자 친화적 인 도구는 아직 사용할 수 없습니다. 그러나 우체부를 사용하여 요청을 보낼 수 있습니다.

참고 : 잠시 후에 컨테이너를 멈추십시오. 그렇지 않으면, 당신의 OpenAi 청구서는 지속적으로 성장할 것입니다.

산출

정보 요약기 예제의 출력

당신의 개념에서, 당신은 추가 된 내용을 볼 수 있습니다.

애드에서 북마크

요약 된 웹 페이지 (중간 게시물)

구독 Github 트렌드

항목을 클릭하면이 정보에 대해 요약 된 지식 그래프를 포함하여 세부 사항을 표시 할 수 있습니다.

요약 된 GitHub-Repo (GitHub Trends)-데이터 소스 플래그를 사용하면 사용할 데이터 소스를 지정할 수 있습니다. 쉼표로 구분 된 데이터 소스 목록을 허용합니다. 가능한 값은 "http_service", "github", "arxiv"및 "twitter"입니다.

도구

도구

1. 개념 데이터베이스에서 수집 된 데이터를 기반으로 보고서를 생성하는 도구.

python taotie/tools.py report --date-lookback 2 --type-filter arxiv,blog

python taotie/tools.py report --date-lookback 2 --type-filter github-repo

예제 보고서

Docker 이미지를 정리하지 않아도됩니다

 docker rm $(docker ps -a -q) ; docker images | grep '<none>' | awk '{print $3}' | xargs docker rmi