kumo search
1.0.0
Приложение - Установка - Разработка - Документация - Глубокое обучение - Часто задаваемые вопросы - СОВЕТЫ - Полчаса EA - Технические темы |
kumo search — это комплексная поисковая система, которая поддерживает полнотекстовый поиск, инвертированный индекс, прямой индекс, сортировку, кэширование, многоуровневое индексирование, систему вмешательства, сбор функций, автономные вычисления, систему хранения и другие функции. kumo search работает на платформе EA (архитектура эластичной автоматической инфраструктуры) и поддерживает такие функции, как工程自动化,服务治理,实时数据,服务降级与容灾в нескольких компьютерных залах и нескольких кластерах.
С развитием Интернета поиск по всему Интернету уже не является единственным способом получения информации. Многие вертикальные информационные сервисы, такие как электронная коммерция, социальные сети, новости и т. д., имеют собственные поисковые системы. Характеристики этих поисковых систем: средний объем данных, сложный бизнес и высокие требования к пользовательскому опыту. Разработка этих поисковых систем требует большой инженерной и алгоритмической поддержки. Цель kumo search — предоставить готовую структуру поисковой системы, которая поможет пользователям быстро создавать свои собственные поисковые системы. В этой среде пользователи могут писать бизнес-логику на python через компилятор AOT в проекте. Платформа автоматически генерирует код c++ и двоичную динамическую библиотеку, которая будет динамически обновляться в поисковой системе. Это обеспечивает быструю итерацию поисковых систем.
| серийный номер | Название проекта | иллюстрировать | иллюстрировать |
|---|---|---|---|
| 1 | колли | Ссылайтесь на внешние библиотеки только заголовков, такие как jason, toml и т. д., для унифицированного управления. | |
| 2 | турбо | хеш, журнал, класс контейнера, операции, связанные со строками | |
| 3 | дыня | RPC-связь | |
| 4 | алкаид | Инкапсуляция файловой системы, локальные файлы, hdfs, s3 и т. д. | Унифицированный API файловой системы, zlib, lz4, zst унифицированный API |
| 5 | мицар | На основе rockdb и ядра хранилища toplingdb. | Функция Wisekey еще не разработана. На данный момент будет использоваться официальная версия RocksDB. |
| 6 | Алиот Юхэн | память таблицы | В разработке |
| 7 | Мегрезтианцюань | Чтение и запись набора данных | Завершена сборка hdf5 cvs, и требуется инкапсуляция расширенного C++api |
| 8 | фекда | Унифицированный векторный движок обращается к API UnifiedIndex для упрощения интерфейса. | Поддержка моментальных снимков, плагин фильтра |
| 9 | Мерактиансюань | Комплексное ядро поисковой системы | Будет разработан |
| 10 | Дубхэ Тяньшу | ядро nlp | Будет разработан |
| 11 | вспышка | Вычисление многомерных тензоров на графическом процессоре, процессоре и т. д. | |
| 12 | Тейя | Судя по графике OpenGL и отображению изображений, сервер недоступен (нет устройства отображения). | |
| 13 | карлик | Ядро C++ протокола Jupyter | |
| 14 | исход | Геркулес и другие приложения Юпитера | Заканчивать |
| 15 | Геркулес | компилятор aot python | |
| 16 | карабин | менеджер пакетов C++, генератор cmake | Заканчивать |
| 17 | Карбин-шаблон | библиотека шаблонов cmake | Заканчивать |
| 18 | карбин-рецепты | рецепты карбинов зависят от пользовательской конфигурации библиотеки | Заканчивать |
| 18 | хадар | предложить ядро службы подсказок поиска | Почти завершено, исходный код не открыт для коммерческого использования. |
| 19 | Нептун | интерфейсный сервис EA | В разработке |
| серийный номер | Название проекта | иллюстрировать | расписание |
|---|---|---|---|
| 1 | Сириус | Служба обнаружения сервера метаданных EA, служба глобальных часов, служба глобальной конфигурации, служба глобального идентификатора | Заканчивать |
| 2 | Полярная звезда | Автономный сервис Vector Engine | Заканчивать |
| 3 | Эльнат | Комплексный автономный сервис поиска и цитирования | В разработке |
| 4 | вега | Кластерная версия базы данных Vector Engine | Полное коммерческое использование, но не с открытым исходным кодом. |
| 5 | Арктурус | Комплексная версия кластера поисковых систем | В разработке, не с открытым исходным кодом для коммерческого использования. |
| 6 | поллюкс | Интегрированная бизнес-консоль двигателя | В разработке, не с открытым исходным кодом для коммерческого использования. |
| 7 | капелла | служба сортировки литров | В разработке, не с открытым исходным кодом для коммерческого использования. |
| 8 | Альдебаран | предложить кластер службы подсказок поиска | В разработке, не с открытым исходным кодом для коммерческого использования. |
| 9 | нунки | НЛП-сервис | В разработке, не с открытым исходным кодом для коммерческого использования. |
Получасовая серия посвящена быстрому созданию сервисов приложений корпоративного уровня на основе инфраструктуры EA , уделяя особое внимание практическим операциям, быстрому запуску, быстрой разработке, быстрому развертыванию и быстрой итерации.
**В этой теме в основном представлены базовые знания о поисковых системах, а также эволюция, обновление и проектирование поисковой архитектуры с развитием поисковых технологий и поискового бизнеса, а также технические принципы и реализация, лежащие в ее основе. **
EA — это инфраструктура серверных приложений. EA в настоящее время поддерживает операционные системы centos и ubuntu . Система mac в настоящее время находится в стадии разработки, и мы сделаем все возможное, чтобы поддерживать систему mac . Однако мы еще не пробовали это сделать, чтобы облегчить компиляцию и разработку IDE, некоторые последующие функции можно попробовать на предмет совместимости. Информацию о развертывании базовой среды см. в разделе Установка и использование.
cicd системы EA управляется с помощью инструмента carbin. carbin — менеджер пакетов c++ , генератор cmake и инструмент cicd . carbin может загружать сторонние зависимые библиотеки, создавать систему сборки cmake , а также компилировать и развертывать проекты. Информацию об использовании carbin в документации по карбину.
| карабин | Конда | cmake | цена за тысячу показов | Конан | базель | |
|---|---|---|---|---|---|---|
| Сложность использования | легкий | середина | жесткий | середина | жесткий | жесткий |
| Сложность установки | проще простого | двоичный простой | NA легко | cmake | проще простого | двоичный жесткий диск |
| шаблон зависимости | исходный/двоичный файл | двоичный | источник | источник | исходный/двоичный файл | источник |
| дерево зависимостей | поддерживать | поддерживать | поддерживать | поддерживать | поддерживать | поддерживать |
| локальный исходный код | поддерживать | NA | поддерживать | поддерживать | NA | поддерживать |
| совместимость | хороший | середина | хороший | хороший | хороший | бедный |
| скорость | хороший | середина | бедный | бедный | хороший | бедный |
conda — хороший инструмент управления. Я не выбрал conda, потому что его зависимости при компиляции относительно сложны, а параметры компиляции часто вызывают проблемы, что делает его непригодным для компиляции проектов C++. Инструмент управления, поставляемый с cmake, не подходит для управления большими проектами. Каждый раз, когда вы перекомпилируете проект, это может привести к повторной загрузке зависимых библиотек, и время компиляции будет слишком большим. CPM — это менеджер пакетов C++. Аналогично, в домашней сетевой среде загрузка зависимых библиотек происходит медленно и не подходит для управления большими проектами. Conan — это менеджер пакетов C++, но скорость загрузки зависимых библиотек Conan низкая и не подходит для управления большими проектами.
В то же время carbin также очень подходит для управления проектами C++. Carbin может быстро создать систему cmake для управления проектами C++, унифицирующую процесс компиляции проекта, настройку параметров и переменные правила для установки и экспорта после компиляции системных проектов EA . может находить проекты и пакеты с помощью фиксированного правила find_package Он также подходит для использования в любом проекте на основе cmake .
Если вы разрабатываете на основе докера, EA предоставляет базовую разработку контейнера ea inf:
centos7-openssl11-python-310-gcc-9.3:
lijippy/ea_inf:c7_base_v1
