auctus

auctus

Este proyecto es un rastreador web y motor de búsqueda de conjuntos de datos, diseñado específicamente para tareas de aumento de datos en aprendizaje automático. Es capaz de encontrar conjuntos de datos en diferentes repositorios e indexarlos para su posterior recuperación.

La documentación está disponible aquí.

Se divide en varios componentes:

• Bibliotecas
  • Base de datos geoespacial datamart_geo . Contiene datos sobre áreas administrativas extraídas de Wikidata y OpenStreetMap. Vive en su propio repositorio y se utiliza aquí como submódulo.
  • Biblioteca de perfiles datamart_profiler . Esto puede ser instalado por los clientes y permitirá que la biblioteca del cliente genere perfiles de conjuntos de datos localmente en lugar de enviarlos al servidor. También lo utilizan los servicios apiserver y perfilador.
  • Biblioteca de materialización datamart_materialize . Esto se utiliza para materializar el conjunto de datos de las diversas fuentes que admite Auctus. Los clientes pueden instalarlo, lo que les permitirá materializar conjuntos de datos localmente en lugar de utilizar el servidor como proxy.
  • Biblioteca de aumento de datos datamart_augmentation . Esto realiza la unión o unión de dos conjuntos de datos y lo utiliza el servicio apiserver, pero posiblemente podría usarse de forma independiente.
  • Biblioteca del servidor central datamart_core . Contiene código común para servicios. Sólo se utiliza para los componentes del servidor. El código de bloqueo del sistema de archivos está separado como datamart_fslock por razones de rendimiento (debe importarse rápidamente).
• Servicios
  • Servicios de descubrimiento : aquellos que se encargan de descubrir conjuntos de datos. Cada complemento puede comunicarse con un repositorio específico. Los metadatos de materialización se registran para cada conjunto de datos, para permitir la recuperación futura de ese conjunto de datos.
  • Profiler : este servicio descarga un conjunto de datos descubierto y calcula metadatos adicionales que se pueden utilizar para la búsqueda (por ejemplo, dimensiones, tipos semánticos, distribuciones de valores). Utiliza las bibliotecas de creación de perfiles y materialización.
  • Servidor Lazo : este servicio se encarga de indexar atributos textuales y categóricos utilizando Lazo. El código para el servidor y el cliente está disponible aquí.
  • apiserver : este servicio responde a las solicitudes de los clientes para buscar conjuntos de datos en el índice (activando consultas bajo demanda por parte de los servicios de descubrimiento que lo admiten), cargar nuevos conjuntos de datos, crear perfiles de conjuntos de datos o realizar aumentos. Utiliza las bibliotecas de creación de perfiles y materialización. Implementa una API JSON utilizando el marco web Tornado.
  • Limpiador de caché : este servicio garantiza que la caché del conjunto de datos se mantenga por debajo de un límite de tamaño determinado eliminando los conjuntos de datos utilizados menos recientemente cuando se alcanza el tamaño configurado.
  • El coordinador : este servicio recopila algunas métricas y ofrece una interfaz de mantenimiento para el administrador del sistema.
  • La interfaz : esta es una aplicación React que implementa una interfaz web fácil de usar además de la API.

Elasticsearch se utiliza como índice de búsqueda y almacena un documento por conjunto de datos conocido.

Los servicios intercambian mensajes a través de RabbitMQ , lo que nos permite tener patrones de mensajería complejos con semántica de cola y reintento, y patrones complejos como las consultas bajo demanda.

Despliegue

El sistema se está ejecutando actualmente en https://auctus.vida-nyu.org/. Puede ver el estado del sistema en https://grafana.auctus.vida-nyu.org/.

Configuración de implementación/desarrollo local

Para implementar el sistema localmente usando Docker-Compose, siga estos pasos:

Configurar el entorno

Asegúrese de haber revisado el submódulo con git submodule init && git submodule update

Asegúrate de tener Git LFS instalado y configurado ( git lfs install )

Copie env.default a .env y actualice las variables allí. Es posible que desee actualizar la contraseña para una implementación de producción.

Asegúrese de que su nodo esté configurado para ejecutar Elasticsearch. Probablemente tendrás que aumentar el límite de mmap.

API_URL es la URL en la que los contenedores del apiserver serán visibles para los clientes. En una implementación de producción, probablemente se trate de una URL HTTPS pública. Puede ser la misma URL en la que se entregará el componente "coordinador" si se utiliza un proxy inverso (consulte nginx.conf).

Para ejecutar scripts localmente, puede cargar las variables de entorno en su shell ejecutando: . scripts/load_env.sh (esos son scripts de espacio de puntos... )

Preparar volúmenes de datos

Ejecute scripts/setup.sh para inicializar los volúmenes de datos. Esto establecerá los permisos correctos en los volumes/ subdirectorios.

Si alguna vez desea comenzar desde cero, puede eliminar volumes/ pero asegúrese de ejecutar scripts/setup.sh nuevamente después para establecer los permisos.

construir los contenedores

 $ docker-compose build --build-arg version=$(git describe) apiserver

Iniciar los contenedores base

 $ docker-compose up -d elasticsearch rabbitmq redis minio lazo

Estos tardarán unos segundos en ponerse en funcionamiento. Luego puedes iniciar los otros componentes:

 $ docker-compose up -d cache-cleaner coordinator profiler apiserver apilb frontend

Puede utilizar la opción --scale para iniciar más contenedores de perfilador o apiserver, por ejemplo:

 $ docker-compose up -d --scale profiler=4 --scale apiserver=8 cache-cleaner coordinator profiler apiserver apilb frontend

Puertos:

• La interfaz web está en http://localhost:8001
• La API en http://localhost:8002/api/v1 (detrás de HAProxy)
• Elasticsearch está en http://localhost:8020
• El servidor Lazo está en http://localhost:8030
• La interfaz de administración de RabbitMQ está en http://localhost:8010
• Las métricas de RabbitMQ están en http://localhost:8012
• La interfaz Minio está en http://localhost:8050 (si la usas)
• Las estadísticas de HAProxy están en http://localhost:8004
• Prometeo está en http://localhost:8040
• Grafana está en http://localhost:8041

Importar una instantánea de nuestro índice (opcional)

 $ scripts/docker_import_snapshot.sh

Esto descargará un volcado de Elasticsearch desde auctus.vida-nyu.org y lo importará a su contenedor local de Elasticsearch.

Iniciar complementos de descubrimiento (opcional)

 $ docker-compose up -d socrata zenodo

Iniciar panel de métricas (opcional)

 $ docker-compose up -d elasticsearch_exporter prometheus grafana

Prometheus está configurado para encontrar automáticamente los contenedores (ver prometheus.yml)

Se utiliza una imagen RabbitMQ personalizada, con complementos agregados (administración y prometheus).