Report.ai
1.0.0
목차
개요
특징
저장소 구조
모듈
시작하기
설치
Report.ai 실행
빠른 시작
로드맵
기여
특허
감사의 말
Report.ai의 임무는 분명합니다. 강력한 AI 기반 보고 경험을 제공하는 것입니다. 우리는 전통적인 텍스트 길이 기반 분할의 한계를 뛰어넘어 더 스마트한 접근 방식인 의미론적 분할을 선택했습니다. 이 혁신적인 방법은 콘텐츠 내에서 중요한 주제와 미묘한 세부 정보를 모두 식별하는 데 있어 비교할 수 없는 정확성을 보장합니다. 또한 각 세그먼트 내에서 대본과 오디오를 제공하여 콘텐츠를 포괄적으로 이해할 수 있는 신뢰할 수 있는 참조 지점을 제공합니다.
Report.ai는 텍스트 길이에 의존하는 대신 의미에 따라 보고서를 분류합니다. 이를 통해 콘텐츠를 보다 정확하게 분류하여 자료에 대한 이해를 높일 수 있습니다.
우리의 보고서는 단순한 텍스트 표현 그 이상입니다. 각 의미 체계 청크는 대화형 기록과 함께 표시되므로 원본 오디오 세그먼트를 원활하게 탐색하고 참조할 수 있습니다.
우리는 귀하의 손에 맞춤화의 힘을 부여합니다. 사용자 정의 가능한 템플릿을 사용하여 쉽게 분석을 맞춤화하여 중요한 통찰력을 추출할 수 있습니다.
YouTube 링크, WAV 형식의 오디오 파일, TXT 형식의 텍스트 대본 등 어떤 작업을 하든 저희가 도와드리겠습니다. Report.ai는 다양한 멀티미디어 입력을 원활하게 처리하여 귀하의 경험을 포괄적이고 편리하게 만듭니다.
전문적인 데이터베이스를 구축하려는 사람들을 위해 우리 저장소는 Pinecone 및 Chroma와의 원활한 통합을 제공합니다. 이러한 고급 도구는 뛰어난 데이터 관리 및 검색 기능을 제공하여 보고 노력의 가치를 향상시킵니다.
└── 읽어보기/
├── .env
├── VAD.py
├── 나누기.py
├── 예시/
│ ├── WATCH_LIVE_Nvidia_Q2_Earnings_Call_NVDA
│ └── 배치.txt
├── main.py
├── 요구사항.txt
├── s2t_whisper.py
├── 스토리지_벡터.py
├── 요약.py
├── 템플릿/
│ ├── 일반.txt
│ └── individuel.txt
└── utils.py| 파일 | 요약 |
|---|---|
| 요구사항.txt | 코드의 올바른 기능에 중요한 필수 종속성 목록을 제공합니다. |
| .env | .env 파일은 OpenAI, Azure OpenAI 및 Pinecone의 API를 포함하여 다양한 API와 관련된 구성 설정에 대한 리포지토리 역할을 합니다. 이 파일 내에서 API 키, 모델 이름, 스토리지 구성과 같은 필수 정보를 찾을 수 있습니다. |
| utils.py | utils.py 파일 내에서 포괄적인 유틸리티 기능 배열을 찾을 수 있습니다. 이러한 기능은 다목적이며 다음을 포함한 다양한 필수 작업에 걸쳐 있습니다. fuzzy_match: 퍼지 문자열 일치를 수행합니다. verify_filetype: 파일 형식 유효성 검사를 보장합니다. 감지_언어: 텍스트 파일의 언어를 감지합니다. get_items: 템플릿 파일에서 항목을 추출합니다. add_hyperlink: Word 문서 내에 하이퍼링크를 추가합니다. Divide_audio: 오디오 파일을 세그먼트로 분할합니다. get_file_list: 파일 경로 목록을 검색합니다. |
| 요약.py | summarize.py 스크립트는 template/general.txt 및 template/individual.txt에 있는 템플릿을 기반으로 요약을 생성하는 데 사용됩니다. 필요한 경우 이러한 요약을 번역한 다음 Microsoft Word 문서 형식(.docx)으로 변환할 수 있습니다. 이 프로세스 전반에 걸쳐 문서는 하이퍼링크와 추가 상황별 세부정보로 강화됩니다. |
| s2t_whisper.py | s2t_whisper.py YouTube 비디오 다운로드, 오디오 추출, 묵음 제거, 음성을 타임스탬프가 있는 텍스트로 변환, 중국어 콘텐츠에 구두점 추가 등의 기능을 제공합니다. 결과 기록은 JSON 및 TXT 형식으로 저장됩니다. |
| VAD.py | VAD.py 는 오디오 파일에서 사람의 음성을 추출하는 데 사용됩니다. 오디오를 10분 단위로 분할하고 각 청크를 별도의 파일로 내보낸 다음 Sleeter 라이브러리를 사용하여 사람의 목소리를 추출합니다. 추출된 보컬은 단일 오디오 파일로 결합됩니다. |
| Divide.py | divide.py 는 기사의 내용을 기반으로 기사를 하위 주제로 나누는 것입니다. 클래스에는 여러 가지 비공개 메서드가 있습니다. _string_cleaner 입력 문자열을 정리하고, _get_timestamp_list JSON 파일에서 타임스탬프를 추출하고, _add_timestamp 하위 주제에 타임스탬프를 추가하고, _add_transcript 스크립트를 하위 주제에 추가하고, _divide_by_subtopics 언어 모델을 사용하여 기사를 청크로 나눕니다. |
| main.py | main.py 는 파일 분석 및 요약 생성을 위해 설계된 다목적 스크립트입니다. 다음을 포함한 다양한 명령줄 인수를 허용하여 광범위한 유연성을 제공합니다. File Path : 분석할 파일을 지정합니다. Chunk Size : 텍스트 세그먼트의 크기를 정의할 수 있습니다. Temperature of Language Model : 언어 모델의 동작을 미세 조정합니다. Batch Mode : 스크립트가 배치 모드에서 실행되어야 하는지 여부를 나타낼 수 있습니다. Report Generation : 보고서를 생성할 수 있는 옵션을 제공합니다. Vector Database Selection : Pinecone과 Chroma 벡터 데이터베이스 중에서 선택할 수 있습니다. ASR (Automatic Speech Recognition) Model : 사용할 적절한 ASR 모델을 선택합니다. |
| 스토리지_벡터.py | storage_vector.py 스크립트는 두 가지 필수 기능인 Pinecone_storage와chroma_storage를 제공합니다. 둘 다 벡터 데이터베이스에 결과를 쉽게 저장할 수 있도록 설계되었습니다. |
| 파일 | 요약 |
|---|---|
| 개인.txt | individuel.txt 의 내용은 각 하위 주제 내에서 분석되는 항목을 제공합니다. |
| 일반.txt | general.txt 의 내용은 전체 성적 내에서 분석되는 항목을 제공합니다. |
| 파일 | 요약 |
|---|---|
| 배치.txt | batch.txt 파일은 여러 파일을 쉽게 처리하는 데 사용됩니다. 이는 순차적으로 처리할 여러 파일을 나타내기 위해 쉼표로 구분된 파일 경로를 나열함으로써 이를 달성합니다. |
| WATCH_LIVE_Nvidia_Q2_Earnings_Call_NVDA.txt | WATCH_LIVE_Nvidia_Q2_Earnings_Call_NVDA.txt 에는 NVIDIA의 2023년 2분기 재무 결과 및 Q&A 웹캐스트에 대한 기록이 포함되어 있습니다. |
| 짧은 플래그 | 긴 깃발 | 설명 | 유형 | 상태 |
|---|---|---|---|---|
| - 오 | --output_dir | 보고서의 출력 디렉터리를 설정합니다. 기본값은 ./docx입니다. | 끈 | 옵션 |
| -c | --큰 덩어리 | 분석을 위한 청크 크기 설정. 추천(GPT-3.5: en의 10000, zh의 2000, GPT-4: en의 18000, zh의 3600), 기본값은 2000입니다. | 끈 | 옵션 |
| - t | --온도 | LLM의 온도를 0~2 범위 내로 조정합니다. 온도가 높을수록 창의성이 높아집니다. 기본값은 0.1입니다. | 뜨다 | 옵션 |
| - 전자 | --발췌 | 오디오에서 사람의 목소리를 추출할지 여부(Apple Silicon이 탑재된 Mac은 지원되지 않음), 기본값은 False입니다. | 부울 | 옵션 |
| -b | --일괄 | 입력 텍스트 파일에 여러 파일 경로가 포함된 경우 'True'를 사용하고 기본값은 False입니다. | 부울 | 옵션 |
| - v | --벡터DB | 벡터 데이터베이스(pinecoene 또는chroma)를 선택하세요. 기본값은 없음입니다. | 끈 | 옵션 |
| - 중 | --모델 | 속삭임 모델('작은', '기본', '소형', '중간', '대형-v2')을 선택하세요. 기본값은 중간입니다. | 끈 | 옵션 |
종속성
시스템에 다음 종속성이 설치되어 있는지 확인하십시오.
- Aanaconda or Miniconda
- python >=3.7, <=3.9 (Apple silicon python >= 3.8, <=3.9)
- pytorch
Report.ai 저장소를 복제합니다.
자식 클론 https://github.com/Shou-Hsu/Report.ai.git
프로젝트 디렉터리로 변경합니다.
CD보고서.ai
콘다를 설치합니다:
https://docs.conda.io/projects/miniconda/en/latest/miniconda-install.html을 통해 미니코드를 설치하세요.
가상 환경 만들기:
conda create -n Report.ai python=3.9
가상 환경 활성화:
Conda는 Report.ai를 활성화합니다.
파이토치를 설치합니다:
https://pytorch.org/get-started/locally/를 통해 pytorch를 설치하세요.
ffmpeg 및 libsndfile을 설치하십시오.
conda install -c conda-forge ffmpeg libsndfile
종속성을 설치합니다.
pip 설치 -r 요구사항.txt
(Mac만 해당) 종속성을 업데이트합니다.
pip 설치 -U numba
python main.py <파일_경로> -c 10000
.env 파일 내에서 Openai 또는 Azure openai 자격 증명을 설정합니다. 또한 VectorDB에 데이터를 저장하려는 경우 Pinecone 또는 Chroma의 자격 증명을 설정합니다.
# gpt 모델 공급자 Azure 또는 OpenAI 중 하나 선택# Azure openAI credentialAZURE_OPENAI_API_KEY= AZURE_OPENAI_API_BASE= AZURE_OPENAI_API_VERSION= AZURE_OPENAI_API_TYPE= AZURE_DEPLOYMENT_NAME= EMBEDDING_DEPLOYMENT_NAME= #Azure OpenAI를 사용하는 경우에만# # OpenAI 자격 증명OPENAI_API_KEY= MODEL_NAME=# # 솔방울 자격 증명(옵션)PINECONE_API_KEY= PINECONE_ENV=# ChromaDB (옵션)PERSIST_DIR= COLLCTION_NAME=
tempelete/general.txt 및 tempelete/individuel.txt 수정(","로 구분된 분석 항목)
#예를 들어, "수익 콜"을 분석하려는 경우 tempelete/ 일반.txt
동시에 tempelete/individuel.txt에서 "요약, 투자 통찰력, 키워드"를 설정합니다#"일상 회의"에 대한 간략한 요약을 작성하려는 경우: tempelete/에서 "주제, 요약, 특집 작업"을 설정할 수 있습니다. 일반.txt
동시에 tempelete/individuel.txt에 "Abstract, action item,Keywords"를 설정합니다.명령줄에서 Report.ai 실행
python main.py 예제/WATCH_LIVE_Nvidia_Q2_Earnings_Call_NVDA.txt -c 10000
Publish project as a Python library via PyPI for easy installation.
Make project available as a Docker image on Docker Hub.
토론
여기에서 토론에 참여하세요.
새로운 이슈
여기에서 버그를 신고하거나 기능을 요청하세요.
기여 지침
MIT.
랭체인, OpenAI, 솔방울, 크로마, 스플리터
반품
