embedditor

임베디터

Embedditor는 벡터 검색을 최대한 활용하는 데 도움이 되는 삽입용 오픈 소스 MS Word와 동등한 버전입니다.

웹사이트 • Discord • Twitter • 문서 • IngestAI에서 데모 사용해 보기

벡터 검색을 최대한 활용하세요

Embedditor는 오픈 소스 임베딩 사전 재처리 편집기로, 마치 Microsoft Word 문서인 것처럼 GPT/LLM 임베딩을 편집하는 데 도움이 되므로 임베딩 및 벡터 저장 비용을 크게 줄이는 동시에 벡터 검색을 최대한 활용할 수 있습니다.

우리 커뮤니티에 가입하세요

특징

리치 에디터 인터페이스

• ⚡ 몇 번의 클릭만으로 하나 또는 여러 개의 청크를 결합하고 분할할 수 있습니다.
• ⚡ 임베딩 메타데이터 및 토큰 편집
• ⚡ 임베딩에서 단어, 문장 또는 덩어리의 일부를 제외합니다.
• ⚡ 삽입하려는 청크 부분을 선택하세요
• ⚡ URL 링크나 이미지 등 메베딩에 추가 정보를 추가하세요.
• ⚡ AI 검색 결과에 대한 멋진 HTML 마크업을 얻으세요
• ⚡ 사전 처리된 임베딩 파일을 .veml 또는 .jason 형식으로 저장하세요.

전처리 자동화

• ⚡ 구두점이나 불용어와 같은 '노이즈' 대부분을 벡터화에서 필터링합니다.
• ⚡ TF-IDF 알고리즘을 사용하여 중요하지 않고 자주 사용되는 단어를 삽입에서 제거
• ⚡ 벡터화 전에 임베딩 토큰을 정규화하세요

이익

풍부한 스프레드시트 인터페이스

• ⚡ 벡터 데이터베이스에서 검색된 콘텐츠의 관련성을 최적화했습니다.
• ⚡ AI/LLM 관련 애플리케이션의 효율성과 정확성이 향상되었습니다.
• ⚡ 이미지, URL 링크 등을 통해 시각적으로 더 나은 검색 결과 제공
• ⚡ 임베딩 및 벡터 저장 비용을 최대 30% 절감하여 비용 효율성 향상
• ⚡ 데이터를 완벽하게 제어하여 PC 또는 전용 환경에 Embedditor를 로컬로 쉽게 배포할 수 있습니다.
• ⚡ 사전 처리되었거나 준비된 임베딩을 .json 또는 .veml 형식으로 저장하여 LangChain, Chromat 또는 기타 벡터 DB에서 사용

빠른 시도

무료로 가입하고 IngestAI에서 사용해 보세요.

GUI

http://localhost:8080/을 사용하여 대시보드에 액세스합니다.

스크린샷

설치

1. .env.example을 .env로 복사

2. .env에서 다음 설정을 지정합니다.

   OPENAI_API_KEY=

3. 프로젝트 설정

• php artisan migrate
• php artisan db:seed
• php artisan storage:link