Descarga GitHubSentinel - Descargar el código fuente GitHubSentinel

GitHubSentinel

Otro código fuente

v0.8.2

Descargar

Github Sentinel

Inglés |

Tabla de contenido

Github Sentinel
Funciones principales
Captura de pantalla del producto
Empezar rápidamente
- 1. Dependencias de instalación
- 2. Configure la aplicación
- 3. Cómo correr
  - A. Ejecutar como herramienta de línea de comando
  - B. Ejecutar como un servicio de fondo
  - C. Ejecutar como un servidor de Gradio
Instalación y lanzamiento del servicio de Ollama
Prueba unitaria
- Pruebas unitarias y script de validación validate_tests.sh
  - usar
  - Función
Construir y verificar con Docker
- 1. Dockerfile
  - usar
  - Pasos clave
- 2. build_image.sh
  - usar
  - Función
contribuir
licencia
conectar

GitHub Sentinel es AI Agent diseñado para recuperación de información inteligente y minería de contenido de alto valor diseñada especialmente para la era de los grandes modelos (LLM). Está dirigido a los usuarios que necesitan alta frecuencia y grandes cantidades de adquisición de información, especialmente entusiastas de código abierto, desarrolladores individuales e inversores.

Funciones principales

Gestión de suscripción : administre y rastree fácilmente el repositorio de GitHub que sigue.
Recuperación de actualización : recupere y resume automáticamente las últimas actualizaciones de repositorios de suscripción, incluidos registros de envío, preguntas y solicitudes de extracción.
Sistema de notificación : notifique a los suscriptores el último progreso del proyecto en tiempo real a través de correos electrónicos y otros medios.
Generación de informes : genere informes detallados de progreso del proyecto basados en las actualizaciones recuperadas, admitiendo múltiples formatos y plantillas para satisfacer diferentes necesidades.
Soporte de múltiples modelos : combinando modelos Operai y Ollama, se generan informes de proyectos de lenguaje natural para proporcionar servicios de información más inteligentes y precisos.
Tareas de tiempo : admite la ejecución de tareas de tiempo de manera demoníaca para garantizar actualizaciones y obtenidas de información oportuna.
Interfaz gráfica : según Gradio, se da cuenta de un modo de operación de GUI simple y fácil de usar, bajando el umbral para su uso.
Contenimiento : el proyecto admite la construcción de Docker y la implementación en contenedores, que facilita la implementación y operación rápida en diferentes entornos.
Integración continua : se implementan pruebas unitarias completas para facilitar una mayor configuración de los procesos de CI/CD de nivel de producción para garantizar la estabilidad del proyecto y la entrega de alta calidad.

GitHub Sentinel no solo ayuda a los usuarios automáticamente a rastrear y analizar automáticamente las últimas actualizaciones de GitHub 开源项目, sino que también se expanden rápidamente a otros canales de información, como los temas populares de Hacker News , proporcionando capacidades de análisis de información y minería de información más completa.

Captura de pantalla del producto

Rastreo y resumen del progreso del proyecto GitHub

gradio_v0.8_github

Hacker News Hot Tech Topic Mining gradio_v0.8_hn

Empezar rápidamente

1. Dependencias de instalación

Primero, instale las dependencias requeridas:

pip install -r requirements.txt

2. Configure la aplicación

Edit the config.json file to set your GitHub Token, Email settings (taking Tencent WeChat Mailbox as an example), subscription files, update settings, big model service configuration (supports OpenAI GPT API and Ollama's private big model service), and automatically retrieve and generate reports (GitHub project progress, Hacker News hot topics and cutting-edge technology trends):

{
    "github" : {
        "token" : " your_github_token " ,
        "subscriptions_file" : " subscriptions.json " ,
        "progress_frequency_days" : 1 ,
        "progress_execution_time" : " 08:00 "
    },
    "email" :  {
        "smtp_server" : " smtp.exmail.qq.com " ,
        "smtp_port" : 465 ,
        "from" : " [email protected] " ,
        "password" : " your_email_password " ,
        "to" : " [email protected] "
    },
    "llm" : {
        "model_type" : " ollama " ,
        "openai_model_name" : " gpt-4o-mini " ,
        "ollama_model_name" : " llama3 " ,
        "ollama_api_url" : " http://localhost:11434/api/chat "
    },
    "report_types" : [
        " github " ,
        " hacker_news_hours_topic " ,
        " hacker_news_daily_report "
    ],
    "slack" : {
        "webhook_url" : " your_slack_webhook_url "
    }
}

Por razones de seguridad: tanto la configuración de la configuración de la contraseña de correo electrónico y el token de correo electrónico utilizando variables de entorno para evitar configurar explícitamente información importante, como se muestra a continuación:

 # Github
export GITHUB_TOKEN= " github_pat_xxx "
# Email
export EMAIL_PASSWORD= " password "

3. Cómo correr

GitHub Sentinel admite las siguientes tres formas de ejecutar:

A. Ejecutar como herramienta de línea de comando

Puede ejecutar la aplicación interactivamente desde la línea de comando:

python src/command_tool.py

En este modo, puede ingresar comandos manualmente para administrar suscripciones, recuperar actualizaciones y generar informes.

B. Ejecutar como un servicio de fondo

Para ejecutar la aplicación como un servicio de fondo (demonio), se actualizará automáticamente en función de la configuración relevante.

Puede iniciar, consultar el estado, cerrar y reiniciar directamente utilizando el script de administración de demonios demoemon_control.sh:

Inicie el servicio:
```
$ ./daemon_control.sh start
Starting DaemonProcess...
DaemonProcess started.
```
- Esto comenzará [./src/daemon_process.py], generará informes regularmente de acuerdo con la frecuencia de actualización y los puntos de tiempo establecidos en config.json y envían correos electrónicos.
- Este registro de servicio se guardará en el archivo logs/DaemonProcess.log . Al mismo tiempo, los registros acumulativos históricos también se agregarán sincrónicamente al archivo de registro logs/app.log .

Estado del servicio de consulta:

$ ./daemon_control.sh status
DaemonProcess is running.

Cierre el servicio:

$ ./daemon_control.sh stop
Stopping DaemonProcess...
DaemonProcess stopped.

Reinicie el servicio:

$ ./daemon_control.sh restart
Stopping DaemonProcess...
DaemonProcess stopped.
Starting DaemonProcess...
DaemonProcess started.

C. Ejecutar como un servidor de Gradio

Para ejecutar una aplicación utilizando la interfaz Gradio, permita a los usuarios interactuar con la herramienta a través de la interfaz web:

python src/gradio_server.py

Esto iniciará un servidor web en su máquina, lo que le permitirá administrar suscripciones y generar informes a través de una interfaz fácil de usar.
Por defecto, se puede acceder al servidor Gradio en http://localhost:7860 , pero puede compartirlo públicamente si lo desea.

Instalación y lanzamiento del servicio de Ollama

Ollama es una herramienta privada de gestión de modelos de grandes modelos que admite la implementación local y en contenedores, la interacción de línea de comandos y las llamadas API REST.

Para obtener instrucciones detalladas sobre el lanzamiento del servicio de implementación de instalación y privatización de Ollama, consulte el lanzamiento de la implementación y el servicio de instalación de Ollama.

Instalación oficial breve de Ollama

Para llamar al servicio de maqueta privado con Ollama en GitHub Sentinel, siga estos pasos para instalar y configurar:

Instale Ollama : descargue e instale el servicio Ollama de acuerdo con la documentación oficial de Ollama. Ollama admite una variedad de sistemas operativos, incluidos Linux, Windows y MacOS.
Inicie el servicio Ollama : después de que se complete la instalación, inicie el servicio Ollama con el siguiente comando:
```
ollama serve
```
Por defecto, la API Ollama se ejecutará en http://localhost:11434 .

Configuración del uso de Ollama en GitHub Sentinel : en el archivo config.json , configure la información relacionada con la API de Ollama:

{
    "llm" : {
        "model_type" : " ollama " ,
        "ollama_model_name" : " llama3 " ,
        "ollama_api_url" : " http://localhost:11434/api/chat "
    }
}

Verifique la configuración : inicie GitHub Sentinel con el siguiente comando y genere un informe para verificar que la configuración de Ollama sea correcta:
```
python src/command_tool.py
```
Si está configurado correctamente, podrá generar informes a través del modelo Ollama.

Prueba unitaria

Para garantizar la calidad y confiabilidad del código, GitHub Sentinel utiliza el módulo unittest para las pruebas unitarias. Para obtener descripciones detalladas de unittest y sus herramientas relacionadas como @patch y MagicMock , consulte los detalles de la prueba unitaria.

Pruebas unitarias y script de validación `validate_tests.sh`

usar

validate_tests.sh es un script de shell que ejecuta pruebas unitarias y valida los resultados. Se ejecuta durante el proceso de construcción de imágenes de Docker para garantizar la corrección y estabilidad del código.

Función

El script ejecuta todas las pruebas unitarias y genera los resultados al archivo test_results.txt .
Si la prueba falla, el script genera los resultados de la prueba y hace que la compilación de Docker falle.
Si todas las pruebas pasan, el script continúa construyendo el proceso.

Construir y verificar con Docker

Para facilitar la construcción y el despliegue de proyectos Sentinel de GitHub en una variedad de entornos, brindamos soporte de Docker. Este soporte incluye los siguientes archivos y características:

1. `Dockerfile`

usar

Dockerfile es un archivo de configuración utilizado para definir cómo construir una imagen de Docker. Describe los pasos para construir la imagen, incluida la instalación de dependencias, copiar archivos del proyecto, ejecutar pruebas unitarias, etc.

Pasos clave

Use python:3.10-slim como imagen base y configure el directorio de trabajo en /app .
Copie el archivo requirements.txt del proyecto e instale las dependencias de Python.
Copie todos los archivos del proyecto al contenedor y proporcione validate_tests.sh .
Ejecute el script validate_tests.sh durante el proceso de compilación para garantizar que pasen todas las pruebas unitarias. Si la prueba falla, el proceso de compilación abortará.
Después de que la compilación sea exitosa, src/main.py se ejecutará de forma predeterminada como punto de entrada del contenedor.

2. `build_image.sh`

usar

build_image.sh es un script de shell para construir automáticamente imágenes de Docker. Toma el nombre de la rama de la rama Git actual y la usa como etiqueta para la imagen de Docker, lo que facilita la generación de diferentes imágenes de Docker en diferentes ramas.

Función

Obtiene el nombre actual de la rama Git y lo usa como etiqueta para la imagen Docker.
Use el comando docker build para construir la imagen Docker y use el nombre actual de la rama GIT como etiqueta.

Ejemplo de uso

chmod +x build_image.sh
./build_image.sh

build_docker_image

A través de estos scripts y archivos de configuración, se asegura que en diferentes ramas de desarrollo, las imágenes de Docker creadas se basan en un código probado por unidad, mejorando así la calidad del código y la confiabilidad de la implementación.

contribuir

La contribución es lo que hace que la comunidad de código abierto sea sorprendente de aprender, inspirar y crear. Muchas gracias por cualquier contribución que haya hecho. Si tiene alguna sugerencia o solicitud de funciones, inicie un tema para discutir lo que desea cambiar.