bens bites ai search

Ben's Bites 링크 검색

AI 기반 의미론적 검색을 사용하여 Ben's Bites 뉴스레터의 모든 AI 관련 링크를 검색하세요.

• 소개
• 작동 원리
  • 의미 검색
• TODO
• 특허

소개

이 앱의 목표는 최신 AI 리소스 및 뉴스를 최신 상태로 유지할 수 있도록 고도로 선별된 검색을 제공하는 것입니다.

모든 검색 결과는 고도로 선별된 데이터 소스로 사용되는 Ben's Bites AI 뉴스레터에서 추출됩니다.

작동 원리

크론 작업은 24시간마다 실행되어 데이터베이스를 업데이트합니다.

관련된 단계는 다음과 같습니다.

1. Beehiiv 뉴스레터 원본 크롤링
2. 각 게시물을 마크다운으로 변환
3. 고유한 링크 추출 및 해결
4. 각 링크에 대한 오픈그래프 메타데이터 가져오기
5. 일부 링크에 대한 공급자별 메타데이터 가져오기(예: 트윗 텍스트)
6. OpenAI를 사용하여 각 링크에 대한 벡터 임베딩 생성
7. 모든 링크를 Pinecone 벡터 데이터베이스에 추가

우리는 각 링크에 대한 오픈그래프 메타데이터를 추출하기 위해 IFramely를 사용하고 있으며, 트윗 텍스트를 추출하기 위해 특별한 경우의 트윗 링크도 사용하고 있습니다.

로컬에 모든 링크가 있으면 의미 체계 검색을 위해 이를 Pinecone 벡터 데이터베이스에 삽입합니다.

의미 검색

의미 체계 검색은 OpenAI의 'text-embedding-ada-002' 임베딩 모델과 Pinecone의 호스팅 벡터 데이터베이스를 기반으로 합니다.

TODO

• 더 나은 검색 UX로 뒤로 버튼이 작동합니다.
• 홈페이지에 게시물/링크 수를 표시하여 마지막 업데이트 시기를 명확하게 알 수 있습니다.
• 가짜로 만드는 대신 최신순으로 정렬하세요.
• 매일 DB를 업데이트하도록 cron을 설정하세요.
• 사파리/파이어폭스에서 테스트
• 게시물이 처음 표시된 뉴스레터 표시
• 하이브리드 검색 살펴보기
• 무한 스크롤로 결과를 계속 스크롤할 수 있습니다.

특허

MIT © 트래비스 피셔

모든 링크 데이터는 Ben's Bites AI 뉴스레터에서 추출되었으며 CC BY-NC-ND 4.0에 따라 라이센스가 부여됩니다.

이 프로젝트가 흥미로웠다면 저를 후원하거나 트위터에서 저를 팔로우해 주세요.