ConversAI 다운로드 - ConversAI 소스 코드 다운로드

ConversAI

AI 소스 코드

1.0.0

다운로드

컨버스AI

ConversAI 는 다양한 문서 형식과 웹 콘텐츠 전반에 걸쳐 지능적인 상호 작용을 통해 사용자의 역량을 강화하도록 설계된 혁신적인 대화형 AI 프레임워크입니다. 고급 자연어 처리(NLP) 기술을 활용하는 ConversAI는 원활한 텍스트 추출 및 쿼리 기능을 지원하므로 연구원, 학생, 전문가 및 정기적으로 텍스트 기반 정보와 상호 작용하는 모든 사람에게 귀중한 도구입니다.

소개

정보 과잉 시대에는 효율적인 데이터 처리가 중요합니다. ConversAI는 최첨단 기술을 활용하여 구조화되지 않은 데이터를 실행 가능한 통찰력으로 변환함으로써 이러한 문제를 해결합니다. PDF에서 의미 있는 정보를 추출하거나, YouTube 비디오에서 스크립트를 가져오거나, 여러 웹 페이지에서 데이터를 수집하는 등 ConversAI는 이러한 복잡한 작업을 단순화하는 사용자 친화적인 인터페이스를 제공합니다.

사용된 주요 기술:

Gradio : 대화형 사용자 인터페이스를 구축하기 위한 것입니다.
Langchain : 다양한 데이터 검색 및 처리 작업을 연결합니다.
EasyOCR : 스캔 가능한 PDF의 광학 문자 인식용입니다.
Pymupdf : 검색 가능한 PDF 문서를 처리합니다.
BeautifulSoup : 웹 스크래핑 및 HTML 구문 분석용입니다.

모듈식 디자인을 갖춘 ConversAI는 단순한 도구가 아니라 다양한 사용자 요구 사항에 맞게 확장 및 사용자 정의할 수 있는 플랫폼입니다.

특징

텍스트 추출 : 검색 가능한 PDF와 스캔 가능한 PDF 모두에서 텍스트를 추출합니다.
웹 크롤러 : 웹사이트에서 텍스트를 효율적으로 수집하고 처리합니다.
YouTube 대본 검색 : 쉽게 쿼리할 수 있도록 비디오 대본을 가져오고 처리합니다.
대화형 인터페이스 : 원활한 사용자 상호작용을 위한 Interactive Gradio UI.
구성 가능 : 특정 사용 사례에 맞게 쉽게 사용자 정의할 수 있습니다.
고급 문서 검색 : 향상된 정확성과 관련성을 위해 정교한 알고리즘을 활용합니다.

이익

시간 절약 : 텍스트 추출을 자동화하여 사용자가 수동으로 데이터를 입력하는 대신 분석에 집중할 수 있습니다.
정확성 : 고정밀 텍스트 추출 기능으로 사용자는 신뢰할 수 있는 데이터를 받을 수 있습니다.
사용자 친화적 : 직관적인 인터페이스를 통해 다양한 기술적 능력을 갖춘 사용자가 접근할 수 있습니다.
확장성 : 모듈식 아키텍처를 통해 추가 기능을 쉽게 통합할 수 있습니다.

시작하기

전제조건

ConversAI를 실행하기 전에 다음 종속성이 설치되어 있는지 확인하세요.

apt-get update && apt-get upgrade -y
apt-get install poppler-utils -y

또한 GROQ API에 대한 환경 변수를 설정해야 합니다.

Groq에 가입하고 API 키를 받으세요.
환경 변수에 GROQ_API_KEY 를 설정하세요.

설치

저장소를 복제합니다.

git clone https://github.com/rauhanahmed/ConversAI.git
cd ConversAI

필수 패키지를 설치합니다:
```
pip install -r requirements.txt
```

애플리케이션 실행

애플리케이션을 시작하려면 다음 명령을 실행합니다.

python app.py

Gradio 인터페이스가 기본 웹 브라우저에서 열립니다.

중요한 구성 참고 사항

GPU를 사용할 수 없는 경우 config.ini 파일을 다음과 같이 수정하십시오.

[EMBEDDINGS] 섹션에서 다음을 변경합니다.
```
 device = cuda
```
에게:
```
 device = cpu
```
[EASYOCR] 섹션에서 다음을 변경합니다.
```
 gpu = true
```
에게:
```
 gpu = false
```

이러한 조정을 통해 애플리케이션이 CPU 리소스에서 원활하게 실행되도록 할 수 있습니다.

중요사항

인터페이스를 사용한 후 "지우기" 버튼을 클릭하여 필드를 재설정하십시오. 이 버전에서는 세션 관리가 구현되지 않았으며 입력을 지우지 않으면 후속 상호 작용 중에 의도하지 않은 데이터 지속성이 발생할 수 있으므로 이는 매우 중요합니다.

디렉토리 구조

다음은 프로젝트 디렉토리 트리의 포괄적인 보기입니다.

 ConversAI/
├── app.py                      # Main application file
├── config.ini                  # Configuration file
├── params.yaml                 # Prompts for the application
├── requirements.txt            # Required Python packages
├── src/                        # Source code directory
│   ├── components/             # Component modules
│   │   ├── loaders/            # Data loaders
│   │   │   ├── pdfLoader.py
│   │   │   ├── websiteCrawler.py
│   │   │   └── youtubeLoader.py
│   │   ├── rag/                # Retrieval-Augmented Generation components
│   │   │   └── RAG.py
│   │   └── vectors/            # Vector storage and processing
│   │       └── vectorstore.py
│   ├── utils/                  # Utility functions and classes
│   │   ├── exceptions.py
│   │   ├── functions.py              
│   │   ├── logging.py
│   ├── pipelines/              # Pipeline logic for data processing
│   │   └── completePipeline.py
└── README.md                   # Project documentation

데모

텍스트 입력 인터페이스

PDF 업로드 인터페이스

웹 크롤러 인터페이스

결론

ConversAI는 단순한 도구 그 이상입니다. 다양한 문서 형식과 웹 소스에서 통찰력을 관리하고 추출하기 위한 포괄적인 솔루션입니다. 강력한 기능과 사용자 친화적인 인터페이스를 갖춘 ConversAI는 정보 검색 및 처리를 이전보다 더 쉽고 효율적으로 만들 준비가 되어 있습니다.

확신하는! 귀하의 기여와 인정을 포함하도록 업데이트된 섹션은 다음과 같습니다.

저자 정보

이메일 : [email protected]
Github : RauhanAhmed
LinkedIn : 라우한 아흐메드
트위터 : @ahmed_rauh46040
포트폴리오 : rauhanahmed.org

감사의 말

이 프로젝트는 Tech Consulting Partners에서 AI 엔지니어로 근무하면서 개발되었습니다. 저는 처음부터 ConversAI를 구축하여 고급 문서 검색 방법, 순위 재지정 기술, 하이브리드 검색 방법론, LLM(대형 언어 모델)과의 다중 통합 및 기타 여러 복잡한 기능을 구현했습니다.

백엔드에는 사용자 관리 기능, 정교한 데이터 스토리지 솔루션(S3 스토리지 관리 포함), 데이터베이스 관리 및 벡터 데이터베이스가 포함됩니다. 배포 전략은 강력한 API, Docker 컨테이너, CI/CD 방식, 모델 모니터링 및 클라우드 플랫폼 배포를 활용합니다.

이 오픈 소스 프로토타입은 공공의 이익을 목표로 하는 보다 포괄적인 프로젝트를 향한 디딤돌 역할을 하며 일상 애플리케이션에서 고급 AI 기술의 엄청난 잠재력을 보여줍니다. 이 이니셔티브를 저에게 맡기고 개발 프로세스 전반에 걸쳐 귀중한 지원을 해주신 기술 컨설팅 파트너에게 진심으로 감사드립니다.