searchzin

Поискзин

Простая реализация поисковой системы.

Мотивация

В учебных целях, в основном для понимания деталей реализации того, как создаются поисковые системы, компромиссов в производительности и структуры.

Описание

Идея состоит в том, чтобы сделать изоморфное приложение от пользовательского интерфейса к системе базы данных.

Использование

Приложение можно развернуть с помощью Docker или двоичного файла, выпущенного на GitHub.

 ./searchzin -c <path-to-config>.yml

После этого вы можете заглянуть в http://localhost:8080 чтобы увидеть страницу поиска.

Конфигурация

Конфигурацию можно выполнить либо с помощью файла конфигурации, расположенного по умолчанию в /etc/searchzin/config.yml , либо с помощью ключей конфигурации в форме -C key=value , вторая форма переопределяет первую.

Конфигурация по умолчанию:

 port : 8080 # Service port
path :
  log : /var/log/searchzin # Log directory
  data : /var/lib/searchzin # Data directory 

Разработка

Вся структура проекта выполнена на голанге с использованием фреймворка gin .

Зависимости управляются с помощью dep .

Большая часть инструментальной цепочки проекта управляется Makefile , важными целями являются:

• install : установите необходимые зависимости и git-хуки.
• readme : выполняет включение файлов README.md
• lint : выполняет линтинг и форматирование кода.
• test : Итак, скомпилируйте и запустите модульные тесты.
• build : Создает распространяемую папку linux в dist
• run : запускает код с помощью go run
• run-dev : создает и запускает Docker-контейнер.
• release : создает образ Docker выпуска.
• publish : публикует образ Docker на DockerHub, используя содержимое файла VERSION в качестве версии.
• publish-latest : публикует образ Docker на DockerHub с latest тегом.
• ( TODO ) watch : выполняет lint и test модификации файла.
• ( TODO ) func-test : выполняет функциональные тесты внутри папки features .

Архитектура

Эта поисковая система состоит из 6 основных компонентов:

• База данных документов
• Индексная база данных
• Служба индексирования
• Исполнитель запросов
• Планировщик запросов
• Парсер запросов

Каждый компонент имеет четкую ответственность в системе, и все они работают вместе, отвечая на запросы и запросы на индексирование документов.

База данных документов

Он отвечает за хранение и присвоение идентификаторов вновь созданным документам. Ограничения:

• Хранит документы и их id
• Включает генерацию id без конфликтов для сохранения
• Эффективный алгоритм хранения документов, оптимизированный для быстрого чтения и достаточно быстрой записи.
• Знать о базовом устройстве хранения данных, будь то ssd или hdd
• Знание основного размера страницы Linux и стратегии кэширования файлов.

Индексная база данных

Хранит обратный индекс «терминов» и документов.

• Сохраняет terms для документирования отношений набора
• Включите стратегии манипулирования key для запросов с приближением ключевых слов.
• Оптимизирован для ключей низкой плотности с большим количеством документов.
• Учитывая размер базовой страницы Linux, ее можно легко разместить и загрузить в память.

Служба индексирования

Учитывая новый документ, он понимает его и сохраняет как в индексной базе данных, так и в базе данных документов.

• Знает, какие поля индексируются и как
• Знает структуру документа и может связать ее с индексами.

Парсер запросов

Анализирует вводимые пользователем данные и преобразует их в план запроса, используя древовидную структуру данных.

• Анализирует строку, заданную пользователем, и превращает ее в график
• DSL будет похож на lucene .
• Поддержка запросов ANSI SQL.
• Поддержка поиска ключей документов

Планировщик запросов

Учитывая дерево запросов, оптимизирует его, учитывая ограничения и среду, в которой он будет выполняться.

• Удалите избыточные результаты, сделав их доступными для всех необходимых шагов.
• Знание размера индекса для сортировки того, какие эффективные извлечения будут выполняться в первую очередь
• Возвращает упорядоченный список узлов запроса, которые необходимо выполнить.

Исполнитель запросов

После наличия структурированного плана запрос извлекает эффективные данные из базы данных index , этот шаг выполняется исполнителем.

• Знает, как запрашивать индексную базу данных
• Объединяет полученные им результаты в упорядоченном виде
• Получает документы
• Сохраняет результаты запроса в файле для последующего запроса с использованием «холодного» хранилища.

Язык запросов

Этот язык запросов в значительной степени основан на Lucene, чтобы упростить проектирование и понять, какие компромиссы были приняты.

Тестовый сценарий

Текущий тестовый сценарий, который будет использоваться, будет индексировать подкасты по имени, содержанию и тегам.

Базовое использование можно найти в searchzin-example .

Лицензия

searchzin доступен по лицензии MIT.