AI 요약

AI 요약

AI 요약 도구를 선보이는 Repo.

요약

이 저장소는 문서 요약을 위한 간단하면서도 효과적인 도구를 보여줍니다. 기본 LLM(기본적으로 Mistral)에서 지원하는 모든 언어로 된 일반 텍스트 및 PDF 문서로 작업할 수 있습니다.

설정

종속성 설치

다음 종속성을 설치합니다(macOS의 경우).

• Python 3 설치(예: Miniconda 또는 Homebrew 패키지)
• Python 패키지: pip3 install -r requirements.txt 실행
• Hugging Face TheBloke/Mistral-7B-OpenOrca-GGUF 저장소에서 mistral-7b-openorca.Q5_K_M.gguf 모델을 로컬 models 디렉터리에 다운로드합니다.

대안 모델을 실험해 볼 수 있습니다. web-ui.py 및/또는 Notebook.ipynb 에서 MODEL_FILE 및 MODEL_CONTEXT_WINDOW 변수를 업데이트하기만 하면 됩니다.

달리기

웹 UI

웹 UI를 실행하려면 repo 폴더에서 python3 ./web-ui.py 실행하면 됩니다. 그러면 브라우저에서 웹 UI 인터페이스가 열립니다.

주피터 노트북

이 도구는 Jupyter Labs/Notebook으로도 사용할 수 있으며 Jupyter Labs에서 Notebook.ipynb 엽니다.

세부

작업 흐름

문서 크기에 따라 이 도구는 다음 모드로 작동합니다.

1. 간단한 경우 전체 문서가 모델의 컨텍스트 창에 들어갈 수 있으면 관련 요약 프롬프트를 추가하여 요약이 이루어집니다.
2. 대용량 문서의 경우 "map-reduce" 패턴을 사용하여 처리된 문서:
3. 문서는 먼저 단락과 문장 경계를 존중하는 'RecursiveCharacterTextSplitter'를 사용하여 더 작은 덩어리로 분할됩니다.
4. 각 청크는 별도로 요약됩니다(맵 단계).
5. 청크 요약을 다시 요약하여 최종 요약을 제공합니다(단계 감소).

현지 처리

모든 처리는 사용자 컴퓨터에서 로컬로 수행됩니다.

• 정량화된 Mistral 모델( mistral-7b-openorca.Q5_K_M.gguf )의 크기는 약 5,1GB입니다.

성능

상대적으로 작거나 중간 규모의 문서(몇 페이지)는 단일 컨텍스트 창에 맞아야 하며 이로 인해 M1 칩이 있는 Apple MBP에서 처리 시간이 약 40초가 소요됩니다.

문제 해결

아무도 문제를 알지 못합니다.