algolia webcrawler

Алголия Веб-краулер

Простой рабочий узел, который сканирует карты сайта, чтобы поддерживать индекс Algolia в актуальном состоянии.

Он использует простые селекторы CSS, чтобы найти фактическое текстовое содержимое для индексации.

Это приложение использует библиотеку Algolia.

ТЛ;ДР

1. Использование
2. Предварительные требования
3. Установка
4. Бег
5. Конфигурационный файл
6. Варианты конфигурации
7. Сохраненный объект
8. Индексирование
9. Лицензия

Использование

Этот скрипт следует запускать через crontab, чтобы регулярно сканировать весь веб-сайт.

Предварительные требования

1. Наличие хотя бы одного действующего URL-адреса файла sitemap.xml, содержащего все URL-адреса, которые вы хотите проиндексировать.
2. Карта сайта должна содержать как минимум узел <loc> , т. е. urlset/url/loc .
3. Пустой индекс Алголии.
4. Учетные данные Algolia, которые могут создавать объекты и устанавливать параметры индекса, т. е. поиск, addObject, настройки, обзор, deleteObject, editSettings, deleteIndex.

Установка

1. Получить последнюю версию
   • npm npm i algolia-webcrawler -g
   • мерзавец
     • ssh+git: git clone [email protected]:DeuxHuitHuit/algolia-webcrawler.git
     • https: git clone https://github.com/DeuxHuitHuit/algolia-webcrawler.git
   • https скачать последнюю версию tarball
2. создать файл config.json

Бег

НПМ

 algolia-webcrawler --config config.json

другой

перейдите в корень проекта и запустите node app .

Конфигурационный файл

Конфигурация выполняется через файл config.json.

Вы можете выбрать файл config.json, хранящийся в другом месте, используя флаг --config.

node app --config my-config.json

Варианты конфигурации

Как минимум, вы можете отредактировать config.json, чтобы установить значения для следующих параметров: «app», «cred», «indexname» и хотя бы один объект «sitemap». Если у вас есть несколько файлов Sitemap, перечислите их все: вложенные файлы Sitemap не будут сканироваться.

Большинство опций являются обязательными. Никаких значений по умолчанию не предусмотрено, если не указано иное.

приложение: строка

Название вашего приложения.

кредит: Объект

Объект учетных данных Algolia. См. «cred.appid» и «cred.apikey».

cred.appid: Строка

Ваш идентификатор приложения Algolia.

cred.apikey: Строка

Ваш сгенерированный ключ API Algolia.

задержкаБетвинрекуестс: целое число

Простая задержка между каждым запросом на сайт в миллисекундах.

старые записи: целое число

Максимальное количество миллисекунд, в течение которых запись может существовать без обновления. После каждого запуска приложение будет искать старые записи и удалять их. Если вы не хотите удалять старые записи, установите это значение на 0.

oldentriesfilters: Строка

Строка фильтра, которая будет применяться при удалении старых записей. Полезно, если вы хотите сохранить старые записи, которые не будут обновляться. Будут удалены только старые записи, соответствующие фильтру.

максрекордсизе: целое число

Максимальный размер записи в байтах, отправляемой в Algolia. Значение по умолчанию — 10 000, но может варьироваться в зависимости от разных планов.

АтрибутыToPop: Массив

Если запись слишком велика (в зависимости от maxRecordSize), сканер удалит значения из текстового ключа. Используйте этот атрибут, чтобы указать, какие ключи следует удалять, если запись слишком велика.

индекс: Объект

Объект, содержащий различные значения, связанные с вашим индексом.

index.name: Строка

Ваше индексное имя.

index.settings: Объект

Объект, который будет действовать как аргумент метода Algolia Index#setSetting .

Пожалуйста, прочитайте документацию Algolia по этому вопросу. Можно использовать любой допустимый атрибут, задокументированный для этого метода.

index.settings.attributesToIndex: Массив

Массив строк, определяющий, какие атрибуты являются индексируемыми, что означает, что по ним будет выполняться полнотекстовый поиск. Полный список возможных атрибутов см. в разделе «Сохраненный объект».

index.settings.attributesForFaceting: Массив

Массив строк, определяющий, какие атрибуты можно фильтровать. Это означает, что вы можете использовать их для исключения некоторых записей из возврата. Полный список возможных атрибутов см. в разделе «Сохраненный объект».

карты сайта: массив

Этот массив должен содержать список объектов карты сайта.

Карта сайта — это действительно простой объект с двумя строковыми свойствами: url и lang. Свойство 'url' представляет собой точный URL-адрес этой карты сайта. Свойство lang должно указывать основной язык, используемый URL-адресом, указанным в карте сайта.

HTTP: Объект

Объект, содержащий различные параметры http.

http.auth: строка

Строка аутентификации в форме username:password узла. Если вам не нужна аутентификация, вам все равно нужно указать пустую строку.

селекторы: Объект

Объект, содержащий селекторы CSS для поиска содержимого на страницах html.

selectors.title: Строка|Селектор

CSS-селектор для заголовка страницы.

selectors.description: Строка|Селектор

CSS-селектор для описания страницы.

selectors.image: Строка|Селектор

CSS-селектор для изображения страницы.

selectors.text: Строка|Селектор

CSS-селектор для заголовка страницы.

селекторы[ключ]: Строка|Селектор

CSS-селектор для свойства «ключ». Вы можете добавлять собственные ключи по своему желанию.

Объект выбора

Селекторы также могут быть определены с использованием длинной формы (т.е. как объекта), что позволяет указывать для них пользовательские свойства.

селекторы[ключ].атрибуты: Строка|Массив

Имя атрибутов для поиска значений. По умолчанию — ['содержание', 'значение'].

селекторы[ключ].селектор: строка

Фактический селектор CSS, который нужно использовать.

селекторы[ключ].предел: Число

Максимальное количество узлов для проверки.

исключения: Объект

Объект, содержащий селекторы CSS для поиска элементов, которые не подлежат индексации. Эти селекторы CSS сопоставляются для каждого узла и проверяются по всем его родительским узлам, чтобы убедиться, что ни один из его родительских узлов не исключен.

exclusions.text: Строка

CSS-селектор исключенных элементов для текста страницы.

исключения [ключ]: строка

CSS-селектор исключенных элементов для свойства «ключ». Ключ должен совпадать с тем, который используется в селекторах[key].

форматтеры: Объект

Объект, содержащий строку форматирования. Их значения удаляются из исходного результата, полученного с помощью соответствующего селектора CSS.

formatters.title: Строка, Массив

Строка, которую нужно удалить из заголовка страницы. Также может быть массивом строк.

форматтеры [ключ]: строка, массив

Строка, которую нужно удалить из указанного ключа. Также может быть массивом строк.

типы [ключ]: строка

Функция анализа, используемая для форматирования значения. Поддерживаемые типы: «integer», «float», «boolean» и «json».

по умолчанию [ключ]: строка

Значение по умолчанию, вставленное для указанного ключа. Будет установлен, если значение ложно.

плагины: Массив

Список файлов JavaScript для загрузки пользовательского кода перед сохранением записи. Единственное требование — реализовать следующий интерфейс, где record — это объект, который нужно сохранить, а данные — это HTML-код.

 module . exports = ( record , data ) => {
	record . value_from_plugin = 'Yay!' ;
} ; 

черный список: Массив

Все URL проверяются по всем элементам в черном списке. Если полный URL-адрес или его компонент пути находится в черном списке, он не будет проиндексирован.

Сохраненный объект

Сохраненный объект на сервере Algolia выглядит следующим образом.

 {
	date : new Date ( ) ,
	url : 'http://...' ,
	objectID : shasum . digest ( 'base64' ) ,
	lang : sitemap . lang ,
	http : { } ,
	title : '' ,
	description : '' ,
	image : '' ,
	text : [ '...' ]
}

Следует отметить, что текст представляет собой массив, поскольку мы пытались сохранить связь исходного текстового узла -> фактического значения. Алголия прекрасно с этим справится.

pingbackUrl

Можно настроить один URL-адрес для отправки пинг-запроса на веб-сервер после каждого сохраненного URL-адреса в Algolia. Веб-сервер получит сообщение со следующей информацией:

	result=[success|error]
	action=[update|delete]
	url=the url inserted
	last-modified=[the http header value]
	source=algolia-crawler

Индексирование

Индексация выполняется автоматически при каждом запуске. Чтобы настроить работу индексирования, см. параметр конфигурации index.settings.

ЛИЦЕНЗИЯ

Массачусетский технологический институт
Сделано с любовью в Монреале компанией Deux Huit Huit.
Авторские права (с) 2014-2019