npm
Este é um registro npm resistente a falhas para o processo de replicação do índice Algolia. Ele replicará todos os pacotes npm para um índice Algolia e o manterá atualizado. O estado da replicação é salvo nas configurações do índice Algolia.
A replicação deve estar sempre em execução. Apenas uma instância por índice Algolia deve ser executada ao mesmo tempo . Se o processo falhar, reinicie-o e o processo de replicação continuará no último ponto lembrado.
O índice Algolia é atualmente utilizado, gratuitamente, por alguns projetos selecionados (ex.: yarnpkg.com, codeandbox.io, jsdelivr.com, etc...).
Se você deseja incluir este índice em seu projeto, crie uma solicitação de suporte aqui: Algolia Support.
Este produto é um produto de código aberto para a comunidade e não é suportado pela Algolia.
Para ser elegível, seu projeto deve atender a estes requisitos:
Você também pode usar o código ou a imagem pública do docker para executar o seu próprio (a partir de setembro de 2021, ele criará aproximadamente 3 milhões de registros x4).
Para cada pacote NPM, criamos um registro no índice Algolia. Os registros resultantes possuem o seguinte esquema:
{
name : 'babel-core' ,
downloadsLast30Days : 10978749 ,
downloadsRatio : 0.08310651682685861 ,
humanDownloadsLast30Days : '11m' ,
jsDelivrHits : 11684192 ,
popular : true ,
version : '6.26.0' ,
versions : {
// [...]
'7.0.0-beta.3' : '2017-10-15T13:12:35.166Z' ,
} ,
tags : {
latest : '6.26.0' ,
old : '5.8.38' ,
next : '7.0.0-beta.3' ,
} ,
description : 'Babel compiler core.' ,
dependencies : {
'babel-code-frame' : '^6.26.0' ,
// [...]
} ,
devDependencies : {
'babel-helper-fixtures' : '^6.26.0' ,
// [...]
} ,
repository : {
url : 'https://github.com/babel/babel/tree/master/packages/babel-core' ,
host : 'github.com' ,
user : 'babel' ,
project : 'babel' ,
path : '/tree/master/packages/babel-core' ,
branch : 'master' ,
} ,
readme : '# babel-corenn> Babel compiler core.nnn [... truncated at 200kb]' ,
owner : {
// either GitHub owner or npm owner
name : 'babel' ,
avatar : 'https://github.com/babel.png' ,
link : 'https://github.com/babel' ,
} ,
deprecated : 'Deprecated' , // This field will be removed, please use `isDeprecated` instead
isDeprecated : true ,
deprecatedReason : 'Deprecated' ,
isSecurityHeld : false , // See https://github.com/npm/security-holder
badPackage : false ,
homepage : 'https://babeljs.io/' ,
license : 'MIT' ,
keywords : [
'6to5' ,
'babel' ,
'classes' ,
'const' ,
'es6' ,
'harmony' ,
'let' ,
'modules' ,
'transpile' ,
'transpiler' ,
'var' ,
'babel-core' ,
'compiler' ,
] ,
created : 1424009748555 ,
modified : 1508833762239 ,
lastPublisher : {
name : 'hzoo' ,
email : '[email protected]' ,
avatar : 'https://gravatar.com/avatar/851fb4fa7ca479bce1ae0cdf80d6e042' ,
link : 'https://www.npmjs.com/~hzoo' ,
} ,
owners : [
{
email : '[email protected]' ,
name : 'thejameskyle' ,
avatar : 'https://gravatar.com/avatar/8a00efb48d632ae449794c094f7d5c38' ,
link : 'https://www.npmjs.com/~thejameskyle' ,
} ,
// [...]
] ,
lastCrawl : '2017-10-24T08:29:24.672Z' ,
dependents : 3321 ,
types : {
ts : 'definitely-typed' , // definitely-typed | included | false
definitelyTyped : '@types/babel__core' ,
} ,
moduleTypes : [ 'unknown' ] , // esm | cjs | none | unknown
styleTypes : [ 'none' ] , // file extensions like css, less, scss or none if no style files present
humanDependents : '3.3k' ,
changelogFilename : null , // if babel-core had a changelog, it would be the raw GitHub url here
objectID : 'babel-core' ,
// the following fields are considered internal and may change at any time
_downloadsMagnitude : 8 ,
_jsDelivrPopularity : 5 ,
_popularName : 'babel-core' ,
_searchInternal : {
alternativeNames : [
// alternative versions of this name, to show up on confused searches
] ,
} ,
}
Se você quiser saber mais sobre como funciona o algoritmo de classificação da Algolia, leia esta postagem do blog.
Estamos restringindo a pesquisa para usar apenas um subconjunto de atributos:
_popularName
name
description
keywords
owner.name
owners.name
Algolia fornece recursos de pesquisa de prefixo padrão (correspondendo palavras apenas com o início). Isso está desativado para os atributos owner.name
e owners.name
.
Algolia fornece tolerância de digitação padrão.
Usando o recurso optionalFacetFilters
do Algolia, estamos aumentando as correspondências exatas no nome de um pacote para estar sempre por dentro dos resultados.
Para cada pacote, usamos o número de downloads nos últimos 30 dias como configuração customRanking
da Algolia. Isso será usado para classificar os resultados com a mesma relevância textual entre si.
Por exemplo, pesquise babel
com correspondência babel-core
e babel-messages
. Do ponto de vista da relevância textual, esses dois pacotes correspondem exatamente da mesma maneira. Nesse caso, Algolia contará com a configuração customRanking
e, portanto, colocará primeiro o pacote com o maior número de downloads nos últimos 30 dias.
Alguns pacotes serão considerados populares se tiverem sido baixados “mais” do que outros. Atualmente consideramos um pacote popular se:
0.005%
do número total de downloads npm, Este sinalizador popular
também é usado para impulsionar alguns registros em relação aos não populares.
yarn
apiKey=... yarn start
Para reiniciar a partir de um ponto específico (ou desde o início):
seq=0 apiKey=... yarn start
Isso é útil quando você deseja ressincronizar completamente o registro npm porque:
seq
representa uma sequência de mudança na linguagem do CouchDB.
Nosso objetivo com este projeto é:
Quando o processo começa com seq=0
:
Replicar e observar estão separados porque:
Veja CONTRIBUTING.md