findmytube

Requisitos do projeto

• NodeJS >= 14.13.1
• Python 3.X
• Docker e Docker-compose
• Fio
• PM2

Depois de instalar os requisitos: ./dev/setup.sh

Diariamente

./dev/startup.sh

Para iniciar tudo no modo dev:

• ElasticSearch
• Redis
• Kibana
• essencial
• www
• API
• produtor
• video-trabalhador
• trabalhador de canal
• produtor de canal cron

Na primeira vez que você executar ./dev/startup.sh , o produtor propagará canais em ./packages/producer/src/producer.ts para preencher o banco de dados

Por padrão, no modo dev video-worker é iniciado com Pm2 com 3 instâncias. Evita spam de logs de desenvolvimento com todos os outros serviços.

Para fazer com que os logs video-worker executem pm2 monit , você poderá inspecionar cada instância.

Como funciona?

Cada serviço pode ser encontrado em ./packages .
Cada um tem uma função específica.

ElasticSearch, Kibana, Redis e Redis Commander são executados com docker-compose , consulte ./docker/dev.yaml

Produtor

O produtor enviará novo canal para scrap para o Channel Redis Queue .

lerna run --scope @findmytube/producer dev --stream

trabalhador de canal

O trabalhador do canal pegará o canal do Channel Redis Queue e, em seguida, buscará o vídeo do canal para enviá-lo para o Video Redus Queue .

lerna run --scope @findmytube/channel-worker dev --stream

video-trabalhador

O Video Worker pegará o vídeo do Video Redis Queue , descartará cada transcrição de cada vídeo e os salvará no ElasticSearch.

lerna run --scope @findmytube/video-worker dev --stream

Substitua dev por start para ter uma instância de video-worker e obter os logs diretamente do seu terminal sem Pm2

produtor de canal cron

É um cronjob (para produção) forçar outros serviços a descartar novos vídeos de cada canal já salvo.

lerna run --scope @findmytube/cron-channel-producer dev --stream