auctus

아우투스

이 프로젝트는 특히 기계 학습의 데이터 증대 작업을 위한 데이터 세트용 웹 크롤러 및 검색 엔진입니다. 다양한 저장소에서 데이터 세트를 찾고 나중에 검색할 수 있도록 색인을 생성할 수 있습니다.

문서는 여기에서 볼 수 있습니다.

여러 구성 요소로 나뉩니다.

• 도서관
  • 지리공간 데이터베이스 datamart_geo . 여기에는 Wikidata 및 OpenStreetMap에서 추출한 행정 구역에 대한 데이터가 포함되어 있습니다. 자체 저장소에 있으며 여기서는 하위 모듈로 사용됩니다.
  • 프로파일링 라이브러리 datamart_profiler . 이는 클라이언트가 설치할 수 있으며 클라이언트 라이브러리가 데이터 세트를 서버로 보내는 대신 로컬로 프로파일링할 수 있게 해줍니다. apiserver 및 profiler 서비스에서도 사용됩니다.
  • 구체화 라이브러리 datamart_materialize . 이는 Auctus가 지원하는 다양한 소스의 데이터 세트를 구체화하는 데 사용됩니다. 클라이언트가 설치할 수 있으며, 이를 통해 서버를 프록시로 사용하는 대신 로컬로 데이터 세트를 구체화할 수 있습니다.
  • 데이터 증대 라이브러리 datamart_augmentation . 이는 두 데이터 세트의 조인 또는 결합을 수행하고 apiserver 서비스에서 사용되지만 독립 실행형으로 사용될 수도 있습니다.
  • 핵심 서버 라이브러리 datamart_core . 여기에는 서비스에 대한 공통 코드가 포함되어 있습니다. 서버 구성요소에만 사용됩니다. 파일 시스템 잠금 코드는 성능상의 이유로 datamart_fslock 으로 분리되어 있습니다(빠르게 가져와야 함).
• 서비스
  • 검색 서비스 : 데이터 세트 검색을 담당합니다. 각 플러그인은 특정 저장소와 통신할 수 있습니다. 나중에 해당 데이터 세트를 검색할 수 있도록 구체화 메타데이터가 각 데이터 세트에 대해 기록됩니다.
  • 프로파일러 : 이 서비스는 검색된 데이터세트를 다운로드하고 검색에 사용할 수 있는 추가 메타데이터(예: 차원, 의미 유형, 값 분포)를 계산합니다. 프로파일링 및 구체화 라이브러리를 사용합니다.
  • Lazo 서버 : 이 서비스는 Lazo를 사용하여 텍스트 및 범주형 속성을 색인화하는 역할을 담당합니다. 서버 및 클라이언트에 대한 코드는 여기에서 확인할 수 있습니다.
  • apiserver : 이 서비스는 클라이언트의 요청에 응답하여 인덱스의 데이터 세트를 검색하고(지원하는 검색 서비스에 의해 주문형 쿼리 트리거) 새 데이터 세트를 업로드하거나 데이터 세트를 프로파일링하거나 기능 보강을 수행합니다. 프로파일링 및 구체화 라이브러리를 사용합니다. Tornado 웹 프레임워크를 사용하여 JSON API를 구현합니다.
  • 캐시 클리너 : 이 서비스는 구성된 크기에 도달하면 가장 최근에 사용된 데이터세트를 제거하여 데이터세트 캐시가 지정된 크기 제한 미만으로 유지되도록 합니다.
  • 코디네이터 : 이 서비스는 일부 지표를 수집하고 시스템 관리자를 위한 유지 관리 인터페이스를 제공합니다.
  • 프론트엔드 : API 위에 사용자 친화적인 웹 인터페이스를 구현하는 React 앱입니다.

Elasticsearch는 검색 인덱스로 사용되며 알려진 데이터세트당 하나의 문서를 저장합니다.

서비스는 RabbitMQ 통해 메시지를 교환하므로 큐잉 및 재시도 의미론이 포함된 복잡한 메시징 패턴과 주문형 쿼리와 같은 복잡한 패턴을 가질 수 있습니다.

전개

이 시스템은 현재 https://auctus.vida-nyu.org/에서 실행되고 있습니다. https://grafana.auctus.vida-nyu.org/에서 시스템 상태를 확인할 수 있습니다.

로컬 배포/개발 설정

docker-compose를 사용하여 시스템을 로컬로 배포하려면 다음 단계를 따르세요.

환경 설정

git submodule init && git submodule update 사용하여 하위 모듈을 확인했는지 확인하세요.

Git LFS가 설치 및 구성되어 있는지 확인하세요( git lfs install ).

env.default를 .env에 복사하고 거기에서 변수를 업데이트합니다. 프로덕션 배포에 대한 비밀번호를 업데이트할 수 있습니다.

노드가 Elasticsearch를 실행하도록 설정되어 있는지 확인하세요. 아마도 mmap 제한을 높여야 할 것입니다.

API_URL 은 apiserver 컨테이너가 클라이언트에 표시되는 URL입니다. 프로덕션 배포에서는 아마도 공개 HTTPS URL일 것입니다. 역방향 프록시를 사용하는 경우 "코디네이터" 구성 요소가 제공되는 URL과 동일할 수 있습니다(nginx.conf 참조).

로컬에서 스크립트를 실행하려면 다음을 실행하여 환경 변수를 셸에 로드할 수 있습니다 . scripts/load_env.sh ( 도트 스페이스 스크립트입니다... )

데이터 볼륨 준비

scripts/setup.sh 실행하여 데이터 볼륨을 초기화합니다. 그러면 volumes/ 하위 디렉터리에 대한 올바른 권한이 설정됩니다.

처음부터 시작하고 싶다면 volumes/ 삭제할 수 있지만 나중에 scripts/setup.sh 다시 실행하여 권한을 설정해야 합니다.

컨테이너 빌드

 $ docker-compose build --build-arg version=$(git describe) apiserver

기본 컨테이너 시작

 $ docker-compose up -d elasticsearch rabbitmq redis minio lazo

시작하고 실행하는 데 몇 초 정도 걸립니다. 그런 다음 다른 구성요소를 시작할 수 있습니다.

 $ docker-compose up -d cache-cleaner coordinator profiler apiserver apilb frontend

--scale 옵션을 사용하여 더 많은 프로파일러 또는 apiserver 컨테이너를 시작할 수 있습니다. 예를 들면 다음과 같습니다.

 $ docker-compose up -d --scale profiler=4 --scale apiserver=8 cache-cleaner coordinator profiler apiserver apilb frontend

포트:

• 웹 인터페이스는 http://localhost:8001에 있습니다.
• http://localhost:8002/api/v1(HAProxy 뒤)의 API
• Elasticsearch는 http://localhost:8020에 있습니다.
• Lazo 서버는 http://localhost:8030에 있습니다.
• RabbitMQ 관리 인터페이스는 http://localhost:8010에 있습니다.
• RabbitMQ 측정항목은 http://localhost:8012에 있습니다.
• Minio 인터페이스는 http://localhost:8050에 있습니다(사용하는 경우).
• HAProxy 통계는 http://localhost:8004에 있습니다.
• 프로메테우스는 http://localhost:8040에 있습니다.
• Grafana는 http://localhost:8041에 있습니다.

인덱스 스냅샷 가져오기(선택 사항)

 $ scripts/docker_import_snapshot.sh

그러면 auctus.vida-nyu.org에서 Elasticsearch 덤프를 다운로드하여 로컬 Elasticsearch 컨테이너로 가져옵니다.

검색 플러그인 시작(선택 사항)

 $ docker-compose up -d socrata zenodo

측정항목 대시보드 시작(선택사항)

 $ docker-compose up -d elasticsearch_exporter prometheus grafana

Prometheus는 자동으로 컨테이너를 찾도록 구성되어 있습니다(prometheus.yml 참조).

플러그인(관리 및 프로메테우스)이 추가된 사용자 정의 RabbitMQ 이미지가 사용됩니다.