reddit gpt summarizer
1.0.0
openai 호환 커넥터용 LiteLLM으로 업데이트되어 다양한 모델에 대한 지원을 더 쉽게 추가할 수 있습니다. 이제 구성에 단일 모델 json 파일을 사용하고 있습니다. Google Gemini AI Studio를 사용하려면 적절한 API 키가 있는지 확인하세요. GPT 4o, Sonnet 3.5 지원.
새로운 Claude 모델을 지원하며 전체적으로 약간의 조정이 이루어졌습니다.
파이썬이 3.11로 업데이트되었습니다. 또한 GPT-4 128k 및 Claude 2.1 + Claude Instant v1.2에 대한 지원도 추가했습니다. 이에 따라 종속성을 업데이트하십시오.
참조: 인류학/ 클로드 2
또한 일부 종속성(Anthropic, OpenAI, PRAW, Streamlit)을 업데이트했습니다.
@YouTube 업데이트 동영상 개요
새 기사 @ 더 나은 프로그래밍/매체: Claude 100k 및 GPT 16k를 사용하여 Reddit 요약 변환
인류 모델을 사용하려면 설정을 확장하세요. 또한 이전 OpenAI 지시 모델에 대한 지원이 추가되었습니다. 대부분은 가비지 출력을 생성하지만 테스트하는 데 유용합니다. 즉, Text Davinci 003은 주관적으로 최고 품질의 출력을 생성합니다. 새로운 100k 모델은 재귀 없이 전체 Reddit 스레드를 소비할 수 있는 경우가 많습니다.
.env 파일에 Anthropic API 키를 추가하는 것을 잊지 마세요. (ANTHROPIC_API_KEY)
https://www.anthropic.com/index/100k-context-windows
API에 액세스할 수 있다면 지금부터 더 긴 컨텍스트 기간을 사용할 수 있습니다. 문서를 참조하세요. https://platform.openai.com/docs/models/gpt-4 여기에서 대기자 명단에 등록하세요: https://openai.com/waitlist/gpt-4
기사 @ ChatGPT API를 사용하여 더 나은 프로그래밍/Medium 구축 Reddit 스레드 요약기
이것은 GPT-3을 사용하여 스레드 댓글 요약을 생성하는 Python 기반 Reddit 스레드 요약기입니다.
이 스크립트는 OpenAI API를 사용하여 재귀 요약이 포함된 프롬프트를 기반으로 텍스트 덩어리를 완성함으로써 Reddit 스레드 요약을 생성하는 데 사용됩니다. 지정된 Reddit 스레드에 요청하고 제목과 자체 텍스트를 추출한 다음 스레드에서 모든 댓글을 찾는 것으로 시작됩니다.
그런 다음 이러한 댓글은 지정된 수의 토큰 그룹으로 연결되고 그룹의 텍스트와 Reddit 스레드의 제목 및 자체 텍스트로 OpenAI API를 요청하여 각 그룹에 대한 요약이 생성됩니다. 그런 다음 요약은 현재 작업 디렉터리의 outputs 폴더에 있는 파일에 저장됩니다.
종속성을 설치하려면 poetry 사용할 수 있습니다.
poetry install OpenAI/Reddit/Anthropic API 자격 증명도 제공해야 합니다. .env 파일을 만들고 다음을 추가합니다.
OPENAI_ORG_ID = YOUR_ORG_ID
OPENAI_API_KEY = YOUR_API_KEY
REDDIT_CLIENT_ID = YOUR_CLIENT_ID
REDDIT_CLIENT_SECRET = YOUR_CLIENT_SECRET
REDDIT_USERNAME = YOUR_USERNAME
REDDIT_PASSWORD = YOUR_PASSWORD
REDDIT_USER_AGENT = linux:com.youragent.reddit-gpt-summarizer:v1.0.0 (by /u/yourusername)
ANTHROPIC_API_KEY = YOUR_ANTHROPIC_KEY 개발 종속성을 설치하려면 다음을 실행하세요.
poetry install --extras dev
이 프로젝트에서는 테스트를 위해 pytest를 사용하고 유형 확인을 위해 mypy를 사용합니다.
테스트 및 유형 검사를 실행하려면 다음 명령을 사용하십시오.
poetry run pytest
poetry run mypy .
이 프로젝트에서는 코드 서식 지정에 검정색을 사용하고 린팅에 pylint를 사용합니다.
코드 형식을 지정하고 Linting 오류를 확인하려면 다음 명령을 사용하십시오.
poetry run black .
poetry run pylint .
앱을 실행하려면 다음 명령을 사용하십시오.
streamlit run app/main.py그러면 Reddit 스레드 URL을 입력하고 요약을 생성할 수 있는 웹 앱이 시작됩니다. 앱은 스레드 내용을 기반으로 GPT-3에 대한 프롬프트를 자동으로 생성하고 해당 프롬프트를 기반으로 요약을 생성합니다.
config.py 파일을 사용하여 앱의 동작을 맞춤설정할 수 있습니다. 다음 구성 옵션을 사용할 수 있습니다.
ATTACH_DEBUGGER : 앱에 디버거를 연결할지 여부입니다.WAIT_FOR_CLIENT : 앱을 시작하기 전에 클라이언트가 연결될 때까지 기다릴지 여부입니다.DEFAULT_DEBUG_PORT : 디버거에 사용할 기본 포트입니다.DEBUGPY_HOST : 디버거에 사용할 호스트입니다.DEFAULT_CHUNK_TOKEN_LENGTH : 주석 덩어리의 기본 길이입니다.DEFAULT_NUMBER_OF_SUMMARIES : 생성할 기본 요약 수입니다.DEFAULT_MAX_TOKEN_LENGTH : 요약의 기본 최대 길이입니다.LOG_FILE_PATH : 로그 파일의 경로입니다.LOG_COLORS : 로그의 색상 사전입니다.REDDIT_URL : 요약할 Reddit 스레드의 URL입니다.TODAYS_DATE : 오늘 날짜입니다.LOG_NAME : 로그 파일의 이름입니다.APP_TITLE : 앱의 제목입니다.MAX_BODY_TOKEN_SIZE : 댓글 본문의 최대 토큰 수입니다.DEFAULT_QUERY_TEXT : GPT-3 프롬프트에 사용할 기본 텍스트입니다.HELP_TEXT : 사용자가 도움말 아이콘 위로 마우스를 가져갈 때 표시되는 텍스트입니다. 이 프로젝트에 기여하고 싶다면 풀 리퀘스트를 작성해주세요.
이 프로젝트는 MIT 라이선스에 따라 라이선스가 부여됩니다.
