bens bites ai search

Поиск по ссылкам Ben's Bites

Выполняйте поиск по всем ссылкам, связанным с искусственным интеллектом, в информационном бюллетене Ben's Bites, используя семантический поиск на основе искусственного интеллекта.

• Введение
• Как это работает
  • Семантический поиск
• TODO
• Лицензия

Введение

Цель этого приложения — предоставить тщательно продуманный поиск, позволяющий оставаться в курсе последних ресурсов и новостей в области ИИ.

Все результаты поиска извлекаются из информационного бюллетеня Ben's Bites AI, который используется в качестве тщательно контролируемого источника данных.

Как это работает

Задание cron запускается каждые 24 часа для обновления базы данных.

Необходимые шаги включают в себя:

1. Сканирование источника информационного бюллетеня Beehiiv
2. Преобразование каждого поста в уценку
3. Извлечение и разрешение уникальных ссылок
4. Получение метаданных opengraph для каждой ссылки
5. Получение метаданных конкретного поставщика для некоторых ссылок (например, текста твита)
6. Генерация векторных вложений для каждой ссылки с использованием OpenAI
7. Добавление всех ссылок в базу данных векторов сосновых шишек.

Мы используем IFramely для извлечения метаданных opengraph для каждой ссылки, а также выделяем ссылки на твиты в особых случаях для извлечения текста твита.

Как только у нас есть все ссылки локально, мы добавляем их в базу данных векторов шишек для семантического поиска.

Семантический поиск

Семантический поиск основан на модели встраивания Text-embedding-ada-002 от OpenAI и размещенной векторной базе данных Pinecone.

TODO

• лучший UX поиска, чтобы кнопка «Назад» работала
• показывать количество сообщений/ссылок на главной странице, чтобы было понятно, когда она обновлялась в последний раз
• действительно сортировать по давности, а не притворяться
• настроить cron для ежедневного обновления БД
• протестируйте сафари/фаерфокс
• отобразить, в каком информационном бюллетене впервые появилось сообщение
• изучить гибридный поиск
• бесконечная прокрутка, чтобы вы могли продолжать прокручивать результаты

Лицензия

Массачусетский технологический институт © Трэвис Фишер

Все данные ссылок взяты из информационного бюллетеня Ben's Bites AI и лицензируются CC BY-NC-ND 4.0.

Если этот проект показался вам интересным, пожалуйста, рассмотрите возможность спонсировать меня или подписаться на меня в Твиттере.