magen in

Service d'ingestion Magen

Magen Ingestion Service est un microservice chargé d'ingérer des données numériques dans le système. Il expose l'API REST pour la gestion des actifs numériques. Par actifs, nous entendons toutes les ressources sensibles qui pourraient être cryptées ou enveloppées afin d'en restreindre l'accès.

Version actuelle : 1.3a16

Cloner Git

Tous les services Magen dépendent d'un sous-module d'opérations git magen_helper . Lors du clonage de ce référentiel, assurez-vous de fournir l'indicateur --recursive ou, après le clonage, exécutez une commande pour mettre à jour le sous-module git magen-helpers :

 git submodule update --init --recursive

Pour ce service, des commandes make sont disponibles. Makefile est situé sous ingestion/

Créer une cible par défaut : make default . Voici la liste des cibles disponibles pour l'ingestion

 default :
	@echo ' Makefile for Magen Ingestion Service '
	@echo
	@echo ' Usage: '
	@echo '	make clean    		:Remove packages from system and pyc files '
	@echo '	make test     		:Run the test suite '
	@echo '	make package  		:Create Python wheel package '
	@echo '	make install  		:Install Python wheel package '
	@echo '	make all      		:clean->package->install '
	@echo '	make list     		:List of All Magen Dependencies '
	@echo '	make build_docker 	:Pull Base Docker Image and Current Image '
	@echo '	make run_docker   	:Build and Run required Docker containers with mounted source '
	@echo '	make runpkg_docker	:Build and Run required Docker containers with created wheel '
	@echo '	make test_docker  	:Build, Start and Run tests inside main Docker container interactively '
	@echo '	make stop_docker  	:Stop and Remove All running Docker containers '
	@echo '	make clean_docker 	:Remove Docker unused images '
	@echo '	make rm_docker    	:Remove All Docker images if no containers running '
	@echo '	make doc		:Generate Sphinx API docs '
	@echo
	@echo

Exigences : MacOS X

0. python3 -V : Python 3.6.3 (>= 3.6.3 )
1. pip3 -V : pip 9.0.1
2. make -v : GNU Make 3.81
3. docker -v : Docker version 17.03.0-ce , build 60ccb22
4. docker-compose -v : docker-compose version 1.11.2 , build dfed245
5. Assurez-vous que vous disposez des droits corrects pour cloner l'organisation github Cisco-Magen

Exigences : AWS EC2 Ubuntu

0. python3 -V : Python 3.6.3
1. pip3 -V : pip 9.0.1
2. make -v : GNU Make 4.1
3. docker -v : Docker version 17.03.0-ce , build 60ccb22
4. docker-compose -v : docker-compose version 1.11.2 , build dfed245
5. Assurez-vous que l'utilisateur AWS et le root disposent des droits corrects sur l'organisation github Cisco-Magen

Cibles

1. make all -> Installer les dépendances Magen-Core , nettoyer, empaqueter et installer le package d'ingestion
2. make test -> exécuter des tests d'ingestion

Adoptez cette infrastructure

1. récupérez helper_scripts dans le dépôt
2. suivez la structure dans docker_ingestion pour créer les fichiers docker-compose.yml et Dockerfile
3. utiliser Makefile comme exemple pour créer l'automatisation de la création

Configuration de la documentation Sphinx

Il existe une documentation API Sphinx configurée pour le service. Pour compiler des documents, exécutez :

make html dans le répertoire docs

ou exécutez :

make doc dans le répertoire ingestion