asktube

AskTube - RAG(Retrieval Augmented Generation)를 기반으로 하는 AI 기반 YouTube 비디오 요약기 및 QA 도우미?

Ollama 또는 Claude, OpenAI, Gemini, Mistral 등과 같은 클라우드 기반 모델을 사용하여 로컬 컴퓨터에서 완전히 실행하세요.

---

??‍➡️ 데모 및 스크린샷

YouTube에서 "AskTube 첫 번째 데모" 보기

데모.mp4

---

? 특징

• 자막 없는 영상으로도 작업 가능
• 영상 시간 제한 없음
• 여러 AI 공급업체 지원
• RAG 구현에 집중
• 로컬 컴퓨터에서 완전히 실행

?? 이 프로젝트가 존재하는 이유는 무엇입니까?

• YouTube 동영상에 대한 AI 기반 요약을 제공하는 여러 GitHub 저장소를 보았지만 Q&A 기능은 포함되어 있지 않습니다.
• 저는 보다 포괄적인 솔루션을 구현하는 동시에 AI에 대한 경험을 쌓아 나만의 RAG 애플리케이션을 구축하고 싶습니다.

---

? 기술

• 언어 : 파이썬, JS
• 서버 : [email protected], Bun@v1
• 프레임워크/라이브러리 : Sanic, Peewee, Pytubefix, Sentence Transformers, Sqlite, Chroma, NuxtJs/DaisyUI 등
• 임베딩 제공자(분석 제공자) :
  • 오픈AI
  • 쌍둥이자리
  • 항해AI
  • 미스트랄
  • 문장 변환기(로컬)
• AI 제공업체 :
  • 오픈AI
  • 클로드
  • 쌍둥이자리
  • 미스트랄
  • 올라마(로컬)
• 음성을 텍스트로 변환 :
  • 빠른 속삭임(로컬)
  • AssemblyAI
  • 오픈AI
  • 쌍둥이자리

---

?️ 다음 할 일 작업

• 클라우드 모델을 위한 Speech To Text 구현
  • AssemblyAI
  • 오픈AI
  • 쌍둥이자리
• 향상시키다
  • 짧은 동영상의 경우 RAG 사용 건너뛰기
  • 채팅 메시지, 상황별 채팅 메시지
  • RAG: 쿼리 번역 구현
    • 다중 쿼리
    • 퓨전
    • 분해
    • 뒤로 물러나세요
    • 하이드

---

어떻게 달리나요?

처음 실행하는 경우 로컬 모델을 설치해야 하기 때문에 프로그램이 약간 느릴 수 있습니다.

컴퓨터에서 실행

• 다음을 설치했는지 확인하세요.

  • 파이썬 3.10

    • Windows 사용자는 여기에서 다운로드하세요.
    • Linux, MacOS 사용자는 homebrew 또는 설치 패키지 명령 (apt, dnf, etc) 을 사용하십시오.
    • 아니면 conda 사용하세요

  • 시

    • Windows 사용자는 Powershell 열고 다음을 실행합니다.

    (Invoke-WebRequest -Uri https://install.python-poetry.org -UseBasicParsing).Content | py -

    • Linux, MacOS 사용자는 Terminal 열고 다음을 실행합니다.

    curl -sSL https://install.python-poetry.org | python3 -

  • 혈액 요소 질소

  • ffmpeg

    • MacOS 사용자

    brew install ffmpeg

    • 리눅스 사용자

     # Ubuntu
    sudo apt install ffmpeg
    # Fedora
    sudo dnf install -y ffmpeg

    • Windows 의 경우 이 튜토리얼을 따르십시오. Windows용 ffmpeg 설치

• 클론 저장소

  git clone https://github.com/jonaskahn/asktube.git

• asktube/engine 디렉터리에 .env 파일을 만듭니다.

  • 장소 상에서
  • 일부 제한이 있지만 무료

• 프로그램 실행

  • 먼저 실행해야 할 수도 있습니다.

  poetry env use python

  • asktube/engine 디렉터리에서 terminal/cmd/powershell 열고 다음을 실행합니다.

  poetry install && poetry run python engine/server.py

  • asktube/web 디렉터리에서 terminal/cmd/powershell 열고 다음을 실행합니다.

  bun install && bun run dev

• 웹 열기: http://localhost:3000

도커 사용(진행 중)

시작하기 전에

1. 이러한 서비스를 도커 이미지로 구축했는데 로컬 이미지를 구축하려면 Windows 의 경우 build.local.bat 실행하거나 MacOS , Linux 의 경우 build.local.amd64.sh 또는 build.local.aarch64.sh 실행하세요.
2. GPU(cuda 또는 rocm)가 있는 경우 위의 ENV 설정을 참조하고 위와 같이 매개변수를 변경하세요.

장소 상에서

• local.yaml 작성 파일을 사용하여 시작
• asktube 디렉토리에서 terminal/cmd/powershell 엽니다.

docker compose -f compose/local.yaml pull && docker compose -f compose/local.yaml up -d

• 실행 후 QA를 위해 Ollama 모델 qwen2 및 llama3.1 설치해야 합니다.

docker run ollama ollama run qwen2
docker run ollama ollama run llama3.1

무료 (비율 제한 있음)

• 계정을 등록하고 자신만의 API 키를 생성하려면 Google Gemini 및 VoyageAI로 이동해야 합니다.
  • Gemini는 Google 계정이 있으면 무료입니다.
  • VoyageAI(Claude 추천)는 5천만 개의 무료 토큰(엄청난 금액)을 제공하지만 먼저 신용 카드를 추가해야 합니다.
• docker 파일의 ENV 설정을 무료로 바꾸고 docker를 시작하세요.
• asktube 디렉토리에서 terminal/cmd/powershell 엽니다.

docker compose -f compose/free.yaml pull && docker compose -f compose/free.yaml up -d

이상적인

• 텍스트 삽입을 위해 VoyageAI 사용
• QA를 위해 OpenAI 와 Claude 사용하여 계정을 등록하고 나만의 API 키를 생성하세요.
• docker file Ideal에서 ENV 설정을 바꾸고 docker를 시작하세요.
• asktube 디렉토리에서 terminal/cmd/powershell 엽니다.

docker compose -f compose/ideal.yaml pull && docker compose -f compose/ideal.yaml up -d

결과

• 웹 열기: http://localhost:8080

---

건축학

실제 구현은 복잡성으로 인해 이 기술과 다를 수 있습니다.

1️⃣ 주어진 URL에서 데이터 추출

2️⃣ 임베딩 챕터 자막 저장

3️⃣ 질문하기 (풍부한 질문 포함)

---

? 알아채다

1. 프로덕션에는 사용하지 마세요. 이는 로컬 컴퓨터의 최종 사용자를 대상으로 합니다.
2. 관리를 위한 고급 기능을 요청하지 마세요.

✍? 개발을 위해

• 백엔드
• 프런트엔드

---

⁉️ FAQ 및 문제 해결

• FQA

---