paasta

PaaSTA - Créer, déployer, connecter et surveiller des services

PaaSTA est un système distribué hautement disponible pour créer, déployer et exécuter des services à l'aide de conteneurs et de Kubernetes.

PaaSTA gère des services de production chez Yelp depuis 2016. Il a été initialement conçu pour fonctionner sur Apache Mesos, mais a ensuite été mis à jour pour utiliser Kubernetes. Au fil du temps, les fonctionnalités fournies par PaaSTA ont augmenté, mais la conception principale reste la même.

PaaSTA vise à prendre une description déclarative des services que les équipes doivent exécuter, puis à garantir que ces services sont déployés en toute sécurité, efficacement et d'une manière facile à maintenir pour les équipes. Plutôt que de gérer les fichiers Kubernetes YAML, PaaSTA fournit un schéma simplifié pour décrire votre service et en plus de configurer Kubernetes, il peut également configurer d'autres outils d'infrastructure pour assurer la surveillance, la journalisation, la gestion des coûts, etc.

Vous voulez en savoir plus sur les opinions qui font la particularité de PaaSTA ? Consultez les principes PaaSTA.

Composants

Remarque : PaaSTA est une plateforme avisée qui utilise quelques outils sans opinion. Il nécessite la mise en place d’une quantité non négligeable d’infrastructures avant de fonctionner complètement :

• Docker pour la livraison et le confinement du code
• Kubernetes pour l'exécution et la planification de code (exécute les conteneurs Docker)
• Tron pour exécuter les choses avec une minuterie (lots nocturnes)
• SmartStack et Envoy pour l'enregistrement et la découverte des services
• Sensu pour la surveillance/alerte
• Jenkins (en option) pour un déploiement continu
• Prometheus et HPA pour les services d'autoscaling

L’un des avantages d’avoir un PaaS composé de composants comme ceux-ci est que vous pouvez les réutiliser à d’autres fins. Par exemple, chez Yelp Sensu n'est pas uniquement destiné à PaaSTA, il peut être utilisé pour surveiller toutes sortes de choses. Nous utilisons également Kubernetes pour exécuter d'autres charges de travail plus complexes comme Jolt et Cassandra. Notre maillage de services, qui est une version fortement personnalisée de SmartStack et Envoy, permet à de nombreux systèmes de Yelp de communiquer avec les services PaaSTA et entre eux.

D'un autre côté, nécessiter beaucoup de composants signifie beaucoup d'infrastructure à configurer avant que PaaSTA puisse fonctionner efficacement ! En réalité, exécuter PaaSTA en dehors de Yelp ne serait pas judicieux, car en plus des intégrations mentionnées ci-dessus, nous avons également des opinions bien arrêtées encodées dans d'autres outils que vous auriez besoin de reproduire. Néanmoins, nous codons PaaSTA ouvertement parce que nous pensons qu'il est utile de partager notre approche et espérons que le code pourra au moins aider d'autres à comprendre ou à résoudre des problèmes similaires.

Intégrations et fonctionnalités

En plus des intégrations directes ci-dessus, PaaSTA s'appuie également sur d'autres composants pour fournir aux utilisateurs de PaaSTA d'autres fonctionnalités et pour gérer la capacité de calcul de Yelp.

• Nous utilisons Karpenter pour mettre à l'échelle automatiquement les pools d'instances EC2 afin d'exécuter PaaSTA. Auparavant, nous utilisions notre propre autoscaler Clusterman
• Nous préparons des AMI à l'aide de Packer
• Nous collectons les journaux des services et les envoyons via Monk à Kafka
• Nous utilisons StatefulSets pour exécuter quelques services PaaSTA avec état
• Nous ajustons automatiquement les ressources nécessaires à chaque service en surveillant l'utilisation (similaire au VPA)

Objectifs de conception

• Contrôle déclaratif plutôt qu’impératif
• Tolérance aux pannes
• Isolement des services
• Utilisation efficace des ressources
• Aucun point de défaillance unique
• Interface agréable

Commencer

Consultez la documentation de démarrage pour savoir comment déployer PaaSTA. Cette référence est destinée à aider à comprendre le fonctionnement de PaaSTA mais nous ne vous conseillons pas d'utiliser PaaSTA en production.

Débogage de PaaSTA (dans VS Code)

Pour déboguer PaaSTA dans VS Code, veuillez vous référer à la page wiki interne de PaaSTA "Débogage de PaaSTA (dans VS Code)".

Documentation

Lisez la documentation sur Lire la documentation.

Documentation/Liens internes à Yelp

• HPA
• Déploiement des services

Vidéos / discussions sur PaaSTA

• EvanKrall prend la parole au QCon NYC 2015 (octobre 2015)
• EvanKrall, solarkennedy et jnb font une visite des coulisses de PaaSTA sur Yelp (octobre 2015)
• Rob-Johnson parle de PaaSTA à MesosCon 2015 (novembre 2015)
• solarkennedy présente à Box pour donner une théorie des PaaSes (janvier 2016)
• nhandler parle à OSCON de l'exécution d'applications sur Yelp (diapositives/vidéo) (mai 2016)

Licence

PaaSTA est sous licence Apache, version 2.0 : http://www.apache.org/licenses/LICENSE-2.0

Contribuer

Tout le monde est encouragé à contribuer à PaaSTA en bifurquant le référentiel Github et en faisant une pull request ou en ouvrant un ticket.