Скачать npm search - npm search Скачать исходный код

npm search

Другой исходный код

v1.8.1

Скачать

npm-поиск

НПМ ↔️ Инструмент репликации Algolia. Поддерживается Algolia и jsDelivr.

&

Это отказоустойчивый реестр npm для процесса репликации индекса Algolia. Он будет реплицировать все пакеты npm в индекс Algolia и поддерживать его в актуальном состоянии. Состояние репликации сохраняется в настройках индекса Algolia.

Репликация должна быть всегда запущена. Одновременно должен работать только один экземпляр каждого индекса Algolia . В случае сбоя процесса перезапустите его, и процесс репликации продолжится с последней точки, которую он запомнил.

? npm-поиск ⛷ ?
- Индекс Алголии
  - Использование общедоступного индекса
  - Схема
  - Рейтинг
    - Текстовая релевантность
      - Атрибуты с возможностью поиска
      - Префиксный поиск
      - допуск к опечаткам
      - Точное повышение
    - Пользовательская/Деловая актуальность
      - Количество загрузок
      - Популярные пакеты
- Использование
  - Производство
  - Перезапуск
- Как это работает?
- Содействие

Индекс Алголии

Использование общедоступного индекса

Индекс Algolia в настоящее время бесплатно используется несколькими избранными проектами (например, Yarnpkg.com, codeandbox.io, jsdelivr.com и т. д.).

Если вы хотите включить этот индекс в свой проект, создайте запрос на поддержку здесь: Поддержка Algolia.

Этот продукт является продуктом с открытым исходным кодом для сообщества и не поддерживается Algolia.

Чтобы иметь право на участие, ваш проект должен соответствовать следующим требованиям:

Публично доступен: проект должен быть доступен для публичного использования и, если применимо, включать документацию или инструкции о том, как сообщество может его использовать.
Некоммерческий: проект не может быть использован для продвижения продукта или услуги; он должен бесплатно предоставить обществу что-то ценное. Заявки на некоммерческие проекты, поддерживаемые коммерческими организациями, будут рассматриваться в индивидуальном порядке.

Вы также можете использовать код или общедоступный образ Docker для запуска своего собственного (по состоянию на сентябрь 2021 года будет создано около 3 миллионов записей x4).

Схема

Для каждого отдельного пакета NPM мы создаем запись в индексе Algolia. Полученные записи имеют следующую схему:

 {
  name : 'babel-core' ,
  downloadsLast30Days : 10978749 ,
  downloadsRatio : 0.08310651682685861 ,
  humanDownloadsLast30Days : '11m' ,
  jsDelivrHits : 11684192 ,
  popular : true ,
  version : '6.26.0' ,
  versions : {
    // [...]
    '7.0.0-beta.3' : '2017-10-15T13:12:35.166Z' ,
  } ,
  tags : {
    latest : '6.26.0' ,
    old : '5.8.38' ,
    next : '7.0.0-beta.3' ,
  } ,
  description : 'Babel compiler core.' ,
  dependencies : {
    'babel-code-frame' : '^6.26.0' ,
    // [...]
  } ,
  devDependencies : {
    'babel-helper-fixtures' : '^6.26.0' ,
    // [...]
  } ,
  repository : {
    url : 'https://github.com/babel/babel/tree/master/packages/babel-core' ,
    host : 'github.com' ,
    user : 'babel' ,
    project : 'babel' ,
    path : '/tree/master/packages/babel-core' ,
    branch : 'master' ,
  } ,
  readme : '# babel-corenn> Babel compiler core.nnn [... truncated at 200kb]' ,
  owner : {
    // either GitHub owner or npm owner
    name : 'babel' ,
    avatar : 'https://github.com/babel.png' ,
    link : 'https://github.com/babel' ,
  } ,
  deprecated : 'Deprecated' , // This field will be removed, please use `isDeprecated` instead
  isDeprecated : true ,
  deprecatedReason : 'Deprecated' ,
  isSecurityHeld : false , // See https://github.com/npm/security-holder
  badPackage : false ,
  homepage : 'https://babeljs.io/' ,
  license : 'MIT' ,
  keywords : [
    '6to5' ,
    'babel' ,
    'classes' ,
    'const' ,
    'es6' ,
    'harmony' ,
    'let' ,
    'modules' ,
    'transpile' ,
    'transpiler' ,
    'var' ,
    'babel-core' ,
    'compiler' ,
  ] ,
  created : 1424009748555 ,
  modified : 1508833762239 ,
  lastPublisher : {
    name : 'hzoo' ,
    email : '[email protected]' ,
    avatar : 'https://gravatar.com/avatar/851fb4fa7ca479bce1ae0cdf80d6e042' ,
    link : 'https://www.npmjs.com/~hzoo' ,
  } ,
  owners : [
    {
      email : '[email protected]' ,
      name : 'thejameskyle' ,
      avatar : 'https://gravatar.com/avatar/8a00efb48d632ae449794c094f7d5c38' ,
      link : 'https://www.npmjs.com/~thejameskyle' ,
    } ,
    // [...]
  ] ,
  lastCrawl : '2017-10-24T08:29:24.672Z' ,
  dependents : 3321 ,
  types : {
    ts : 'definitely-typed' , // definitely-typed | included | false
    definitelyTyped : '@types/babel__core' ,
  } ,
  moduleTypes : [ 'unknown' ] , // esm | cjs | none | unknown
  styleTypes : [ 'none' ] , // file extensions like css, less, scss or none if no style files present
  humanDependents : '3.3k' ,
  changelogFilename : null , // if babel-core had a changelog, it would be the raw GitHub url here
  objectID : 'babel-core' ,
  // the following fields are considered internal and may change at any time
  _downloadsMagnitude : 8 ,
  _jsDelivrPopularity : 5 ,
  _popularName : 'babel-core' ,
  _searchInternal : {
    alternativeNames : [
      // alternative versions of this name, to show up on confused searches
    ] ,
  } ,
}

Рейтинг

Если вы хотите узнать больше о том, как работает алгоритм ранжирования Algolia, вы можете прочитать эту публикацию в блоге.

Текстовая релевантность

Атрибуты с возможностью поиска

Мы ограничиваем поиск использованием только подмножества атрибутов:

_popularName
name
description
keywords
owner.name
owners.name

Префиксный поиск

Algolia предоставляет возможности поиска по префиксу по умолчанию (сопоставление слов только с началом). Это отключено для атрибутов owner.name и owners.name .

допуск к опечаткам

Algolia обеспечивает устойчивость к опечаткам по умолчанию.

Точное повышение

Используя optionalFacetFilters функцию FacetFilters в Algolia, мы повышаем точные совпадения имени пакета, чтобы всегда быть на вершине результатов.

Пользовательская/Деловая актуальность

Количество загрузок

Для каждого пакета мы используем количество загрузок за последние 30 дней в качестве настройки customRanking Algolia. Это будет использоваться для сортировки результатов, имеющих одинаковую текстовую релевантность друг относительно друга.

Например, найдите babel , у которого совпадают как babel-core , так и babel-messages . С точки зрения текстовой релевантности эти два пакета абсолютно одинаковы. В таком случае Algolia будет полагаться на настройку customRanking и, следовательно, сначала поместит пакет с наибольшим количеством загрузок за последние 30 дней.

Использование

Производство

yarn
apiKey=... yarn start

Перезапуск

Чтобы перезапустить с определенной точки (или с начала):

seq=0 apiKey=... yarn start

Это полезно, если вы хотите полностью повторно синхронизировать реестр npm, потому что:

вы изменили способ форматирования пакетов
вы добавили больше метаданных (например, звездочек GitHub)
вы в неуверенности и просто хотите все начать заново

seq представляет собой последовательность изменений на жаргоне CouchDB.

Как это работает?

Наша цель в этом проекте:

иметь возможность быстро выполнить полную перестройку
быть устойчивым к неудачам
очистить данные пакета

Когда процесс начинается с seq=0 :

сохранить текущую последовательность реестра npm в состоянии (настройки Algolia)
загрузите исходное содержимое индекса, используя /_all_docs
реплицировать изменения реестра с момента текущей последовательности
постоянно следите за изменениями реестра и копируйте их

Репликация и просмотр разделены, потому что:

В репликации мы хотим быстро реплицировать пакет документов.
В часах мы хотим, чтобы новые изменения происходили как можно быстрее, одно за другим. Если бы часы запрашивали пакеты по 100 штук, новые пакеты добавлялись бы в индекс слишком поздно.