GitHubSentinel Téléchargement - GitHubSentinel Source Téléchargement du code

GitHubSentinel

Autre code source

v0.8.2

Télécharger

Github Sentinel

Anglais |

Table des matières

Github Sentinel
Fonctions principales
Capture d'écran de produit
Commencer rapidement
- 1. Dépendances d'installation
- 2. Configurer l'application
- 3. Comment courir
  - A. Exécutez en tant qu'outil de ligne de commande
  - B. Exécutez en tant que service d'arrière-plan
  - C. Exécuter en tant que serveur Gradio
Installation et version de service d'Olllama
Tests unitaires
- Script de test et de validation unitaire validate_tests.sh
  - utiliser
  - Fonction
Construire et vérifier avec Docker
- 1. Dockerfile
  - utiliser
  - Étapes clés
- 2. build_image.sh
  - utiliser
  - Fonction
contribuer
licence
connecter

GitHub Sentinel est AI Agent conçu pour la récupération intelligente des informations et l'extraction de contenu de grande valeur spécialement conçue pour l'ère des grands modèles (LLM). Il s'adresse aux utilisateurs qui ont besoin d'une fréquence élevée et de grandes quantités d'acquisition d'informations, en particulier des amateurs d'open source, des développeurs individuels et des investisseurs.

Fonctions principales

Gestion de l'abonnement : gérer facilement et suivre le référentiel GitHub que vous suivez.
Mise à jour de la récupération : récupérer automatiquement et résumer les dernières mises à jour des référentiels d'abonnement, y compris les enregistrements de soumission, les questions et les demandes de traction.
Système de notification : informer les abonnés des dernières progrès du projet en temps réel par les e-mails et autres moyens.
Génération de rapports : générer des rapports de progrès du projet détaillés en fonction des mises à jour récupérées, en prenant en charge plusieurs formats et modèles pour répondre à différents besoins.
Prise en charge multi-modes : combinant des modèles Openai et Olllama, des rapports de projet en langage naturel sont générés pour fournir des services d'information plus intelligents et plus précis.
Tâches de synchronisation : prend en charge l'exécution des tâches de synchronisation d'une manière démoniaque pour garantir les mises à jour et obtient des informations opportunes.
Interface graphique : Sur la base de Gradio, il réalise un mode de fonctionnement de l'interface graphique simple et facile à utiliser, abaissant le seuil d'utilisation.
Containerisation : Le projet prend en charge la construction de Docker et le déploiement conteneurisé, ce qui facilite le déploiement et le fonctionnement rapides dans différents environnements.
Intégration continue : les tests unitaires complets sont mis en œuvre pour faciliter la configuration supplémentaire des processus CI / CD au niveau de la production pour assurer la stabilité du projet et la livraison de haute qualité.

GitHub Sentinel aide non seulement les utilisateurs à suivre et à analyser automatiquement les dernières mises à jour des GitHub 开源项目, mais aussi à se développer rapidement à d'autres canaux d'information, tels que les sujets populaires des Hacker News , offrant des capacités d'exploration de informations et d'analyse plus complètes.

Capture d'écran de produit

Suivi et résumé du projet GitHub Project

gradio_v0.8_github

Hacker News Hot Tech Topic Mining gradio_v0.8_hn

Commencer rapidement

1. Dépendances d'installation

Tout d'abord, installez les dépendances requises:

pip install -r requirements.txt

2. Configurer l'application

Modifiez le fichier config.json pour définir votre jeton GitHub, les paramètres de messagerie (en prenant Tencent WeChat Mail Box à titre d'exemple), des fichiers d'abonnement, des paramètres de mise à jour, une configuration de service Big Model (prend en charge l'Openai GPT API et les progrès du projet privé d'Olllama), et récupérer automatiquement et générer des rapports (Github Project Progress, Hacker News Hot Tropics Hot-Edge Technology Trends):

{
    "github" : {
        "token" : " your_github_token " ,
        "subscriptions_file" : " subscriptions.json " ,
        "progress_frequency_days" : 1 ,
        "progress_execution_time" : " 08:00 "
    },
    "email" :  {
        "smtp_server" : " smtp.exmail.qq.com " ,
        "smtp_port" : 465 ,
        "from" : " [email protected] " ,
        "password" : " your_email_password " ,
        "to" : " [email protected] "
    },
    "llm" : {
        "model_type" : " ollama " ,
        "openai_model_name" : " gpt-4o-mini " ,
        "ollama_model_name" : " llama3 " ,
        "ollama_api_url" : " http://localhost:11434/api/chat "
    },
    "report_types" : [
        " github " ,
        " hacker_news_hours_topic " ,
        " hacker_news_daily_report "
    ],
    "slack" : {
        "webhook_url" : " your_slack_webhook_url "
    }
}

Pour des raisons de sécurité: les paramètres de jeton GitHub et de mot de passe e-mail prennent en charge la configuration de la configuration à l'aide des variables d'environnement pour éviter de configurer explicitement des informations importantes, comme indiqué ci-dessous:

 # Github
export GITHUB_TOKEN= " github_pat_xxx "
# Email
export EMAIL_PASSWORD= " password "

3. Comment courir

GitHub Sentinel prend en charge les trois façons de courir suivantes:

A. Exécutez en tant qu'outil de ligne de commande

Vous pouvez exécuter l'application de manière interactive à partir de la ligne de commande:

python src/command_tool.py

Dans ce mode, vous pouvez saisir manuellement les commandes pour gérer les abonnements, récupérer des mises à jour et générer des rapports.

B. Exécutez en tant que service d'arrière-plan

Pour exécuter l'application en tant que service d'arrière-plan (démon), il sera mis à jour automatiquement en fonction de la configuration pertinente.

Vous pouvez démarrer, interroger l'état, fermer et redémarrer directement à l'aide du script de gestion de démon daemon_control.sh:

Démarrer le service:
```
$ ./daemon_control.sh start
Starting DaemonProcess...
DaemonProcess started.
```
- Cela commencera [./src/daemon_process.py], générera régulièrement des rapports en fonction de la fréquence de mise à jour et des points temporels définis dans config.json et envoient des e-mails.
- Ce journal de service sera enregistré dans le fichier logs/DaemonProcess.log . Dans le même temps, les journaux cumulatifs historiques seront également annexés de manière synchrone dans logs/app.log .

État du service de requête:

$ ./daemon_control.sh status
DaemonProcess is running.

Fermez le service:

$ ./daemon_control.sh stop
Stopping DaemonProcess...
DaemonProcess stopped.

Redémarrez le service:

$ ./daemon_control.sh restart
Stopping DaemonProcess...
DaemonProcess stopped.
Starting DaemonProcess...
DaemonProcess started.

C. Exécuter en tant que serveur Gradio

Pour exécuter une application à l'aide de l'interface Gradio, permettez aux utilisateurs d'interagir avec l'outil via l'interface Web:

python src/gradio_server.py

Cela démarrera un serveur Web sur votre machine, vous permettant de gérer les abonnements et de générer des rapports via une interface conviviale.
Par défaut, le serveur Gradio sera accessible sur http://localhost:7860 , mais vous pouvez le partager publiquement si vous le souhaitez.

Installation et version de service d'Olllama

Olllama est un outil de gestion privé de gros modèles qui prend en charge le déploiement local et conteneurisé, l'interaction en ligne de commande et les appels API REST.

Pour des instructions détaillées sur la publication du service de déploiement d'installation d'Olllama et du service de maquette de privatisation, veuillez vous référer à la publication du déploiement et du service d'installation d'Olllama.

Installation officielle brève de l'ollama

Pour appeler le service de maquette privé à l'aide d'Olllama dans GitHub Sentinel, suivez ces étapes pour installer et configurer:

Installez Olllama : veuillez télécharger et installer le service Olllama selon la documentation officielle d'Olllama. Olllama prend en charge une variété de systèmes d'exploitation, notamment Linux, Windows et MacOS.
Démarrez le service Olllama : Une fois l'installation terminée, démarrez le service Olllama avec la commande suivante:
```
ollama serve
```
Par défaut, l'API OLLAMA fonctionnera sur http://localhost:11434 .

Configuration de l'utilisation d'Olllama dans GitHub Sentinel : Dans le fichier config.json , configurez les informations liées à l'API OLLAMA:

{
    "llm" : {
        "model_type" : " ollama " ,
        "ollama_model_name" : " llama3 " ,
        "ollama_api_url" : " http://localhost:11434/api/chat "
    }
}

Vérifiez la configuration : Démarrez GitHub Sentinel avec la commande suivante et générez un rapport pour vérifier que la configuration Olllama est correcte:
```
python src/command_tool.py
```
Si vous êtes configuré correctement, vous pourrez générer des rapports via le modèle Olllama.

Tests unitaires

Pour garantir la qualité et la fiabilité du code, GitHub Sentinel utilise le module unittest pour les tests unitaires. Pour des descriptions détaillées de unittest et de ses outils connexes tels que @patch et MagicMock , veuillez vous référer aux détails du test unitaire.

Script de test et de validation unitaire `validate_tests.sh`

utiliser

validate_tests.sh est un script shell qui exécute des tests unitaires et valide les résultats. Il est exécuté pendant le processus de création d'images Docker pour garantir l'exactitude et la stabilité du code.

Fonction

Le script exécute tous les tests unitaires et sortira les résultats test_results.txt .
Si le test échoue, le script sortira les résultats du test et provoque l'échec de la construction Docker.
Si tous les tests passent, le script continue de créer le processus.

Construire et vérifier avec Docker

Pour faciliter la construction et le déploiement de projets GitHub Sentinel dans une variété d'environnements, nous fournissons un support Docker. Cette prise en charge comprend les fichiers et fonctionnalités suivants:

1. `Dockerfile`

utiliser

Dockerfile est un fichier de configuration utilisé pour définir comment créer une image Docker. Il décrit les étapes pour construire l'image, y compris l'installation de dépendances, la copie des fichiers de projet, l'exécution de tests unitaires, etc.

Étapes clés

Utilisez python:3.10-slim comme image de base et définissez le répertoire de travail sur /app .
Copiez le fichier requirements.txt du projet et installez les dépendances Python.
Copiez tous les fichiers du projet dans le conteneur et donnez validate_tests.sh .
Exécutez le script validate_tests.sh pendant le processus de construction pour vous assurer que tous les tests unitaires passent. Si le test échoue, le processus de construction s'abortera.
Une fois la version réussie, src/main.py sera exécutée par défaut comme point d'entrée du conteneur.

2. `build_image.sh`

utiliser

build_image.sh est un script shell pour créer automatiquement des images Docker. Il prend le nom de la branche de la branche GIT actuelle et l'utilise comme étiquette pour l'image Docker, ce qui facilite la génération de différentes images Docker sur différentes branches.

Fonction

Obtient le nom actuel de la branche GIT et l'utilise comme étiquette pour l'image Docker.
Utilisez la commande docker build pour construire l'image Docker et utilisez le nom actuel de la branche GIT comme étiquette.

Exemple d'utilisation

chmod +x build_image.sh
./build_image.sh

build_docker_image

Grâce à ces scripts et fichiers de configuration, il est assuré que dans différentes branches de développement, les images Docker construites sont basées sur du code testé par unité, améliorant ainsi la qualité du code et la fiabilité du déploiement.

contribuer

La contribution est ce qui rend la communauté open source incroyable pour apprendre, inspirer et créer. Merci beaucoup pour toute contribution que vous avez apportée. Si vous avez des suggestions ou des demandes de fonctionnalités, veuillez démarrer un sujet pour discuter de ce que vous voulez changer.