auctus

Agustus

Proyek ini adalah perayap web dan mesin pencari untuk kumpulan data, yang secara khusus dimaksudkan untuk tugas augmentasi data dalam pembelajaran mesin. Ia dapat menemukan kumpulan data di repositori berbeda dan mengindeksnya untuk diambil nanti.

Dokumentasi tersedia di sini

Ini dibagi menjadi beberapa komponen:

• Perpustakaan
  • Basis data geospasial datamart_geo . Ini berisi data tentang wilayah administratif yang diambil dari Wikidata dan OpenStreetMap. Ia tinggal di repositorinya sendiri dan digunakan di sini sebagai submodul.
  • Perpustakaan profil datamart_profiler . Ini dapat diinstal oleh klien, akan memungkinkan perpustakaan klien untuk membuat profil kumpulan data secara lokal alih-alih mengirimkannya ke server. Ini juga digunakan oleh layanan apiserver dan profiler.
  • Pustaka materialisasi datamart_materialize . Ini digunakan untuk mewujudkan kumpulan data dari berbagai sumber yang didukung Auctus. Ini dapat diinstal oleh klien, yang memungkinkan mereka mewujudkan kumpulan data secara lokal alih-alih menggunakan server sebagai proxy.
  • Pustaka augmentasi data datamart_augmentation . Ini melakukan penggabungan atau penggabungan dua kumpulan data dan digunakan oleh layanan apiserver, namun dapat digunakan secara mandiri.
  • Pustaka server inti datamart_core . Ini berisi kode umum untuk layanan. Hanya digunakan untuk komponen server. Kode penguncian sistem file terpisah sebagai datamart_fslock untuk alasan kinerja (harus diimpor dengan cepat).
• Layanan
  • Layanan penemuan : layanan ini bertanggung jawab untuk menemukan kumpulan data. Setiap plugin dapat berkomunikasi dengan repositori tertentu. Metadata materialisasi dicatat untuk setiap kumpulan data, untuk memungkinkan pengambilan kumpulan data tersebut di masa mendatang.
  • Profiler : layanan ini mengunduh kumpulan data yang ditemukan dan menghitung metadata tambahan yang dapat digunakan untuk pencarian (misalnya, dimensi, tipe semantik, distribusi nilai). Menggunakan perpustakaan profil dan materialisasi.
  • Server Lazo : layanan ini bertanggung jawab untuk mengindeks atribut tekstual dan kategorikal menggunakan Lazo. Kode untuk server dan klien tersedia di sini.
  • apiserver : layanan ini merespons permintaan dari klien untuk mencari kumpulan data dalam indeks (memicu kueri on-demand oleh layanan penemuan yang mendukungnya), mengunggah kumpulan data baru, membuat profil kumpulan data, atau melakukan augmentasi. Menggunakan perpustakaan profil dan materialisasi. Mengimplementasikan API JSON menggunakan kerangka web Tornado.
  • Pembersih cache : layanan ini memastikan cache kumpulan data tetap berada di bawah batas ukuran tertentu dengan menghapus kumpulan data yang paling jarang digunakan saat ukuran yang dikonfigurasi tercapai.
  • Koordinator : layanan ini mengumpulkan beberapa metrik dan menawarkan antarmuka pemeliharaan untuk administrator sistem.
  • Frontend : ini adalah aplikasi React yang mengimplementasikan antarmuka web yang ramah pengguna di atas API.

Elasticsearch digunakan sebagai indeks pencarian, menyimpan satu dokumen per kumpulan data yang diketahui.

Layanan bertukar pesan melalui RabbitMQ , memungkinkan kami memiliki pola pesan yang kompleks dengan semantik antrian dan percobaan ulang, serta pola kompleks seperti kueri sesuai permintaan.

Penyebaran

Sistem saat ini berjalan di https://auctus.vida-nyu.org/. Anda dapat melihat status sistem di https://grafana.auctus.vida-nyu.org/.

Penyiapan penerapan/pengembangan lokal

Untuk menerapkan sistem secara lokal menggunakan docker-compose, ikuti langkah berikut:

Siapkan lingkungan

Pastikan Anda telah memeriksa submodul dengan git submodule init && git submodule update

Pastikan Anda telah menginstal dan mengkonfigurasi Git LFS ( git lfs install )

Salin env.default ke .env dan perbarui variabel di sana. Anda mungkin ingin memperbarui kata sandi untuk penerapan produksi.

Pastikan node Anda sudah diatur untuk menjalankan Elasticsearch. Anda mungkin harus menaikkan batas mmap.

API_URL adalah URL tempat kontainer apiserver akan terlihat oleh klien. Dalam penerapan produksi, ini mungkin merupakan URL HTTPS yang dapat dilihat publik. Ini bisa berupa URL yang sama dengan tempat komponen "koordinator" akan disajikan jika menggunakan proxy terbalik (lihat nginx.conf).

Untuk menjalankan skrip secara lokal, Anda dapat memuat variabel lingkungan ke dalam shell Anda dengan menjalankan: . scripts/load_env.sh (itu skrip ruang titik... )

Siapkan volume data

Jalankan scripts/setup.sh untuk menginisialisasi volume data. Ini akan mengatur izin yang benar pada volumes/ subdirektori.

Jika Anda ingin memulai dari awal, Anda dapat menghapus volumes/ tetapi pastikan untuk menjalankan scripts/setup.sh lagi setelahnya untuk mengatur izin.

Bangun wadahnya

 $ docker-compose build --build-arg version=$(git describe) apiserver

Mulai wadah dasar

 $ docker-compose up -d elasticsearch rabbitmq redis minio lazo

Ini akan memakan waktu beberapa detik untuk aktif dan berjalan. Kemudian Anda dapat memulai komponen lainnya:

 $ docker-compose up -d cache-cleaner coordinator profiler apiserver apilb frontend

Anda dapat menggunakan opsi --scale untuk memulai lebih banyak container profiler atau apiserver, misalnya:

 $ docker-compose up -d --scale profiler=4 --scale apiserver=8 cache-cleaner coordinator profiler apiserver apilb frontend

Pelabuhan:

• Antarmuka web ada di http://localhost:8001
• API di http://localhost:8002/api/v1 (di belakang HAProxy)
• Elasticsearch ada di http://localhost:8020
• Server Lazo ada di http://localhost:8030
• Antarmuka manajemen RabbitMQ ada di http://localhost:8010
• Metrik RabbitMQ ada di http://localhost:8012
• Antarmuka Minio ada di http://localhost:8050 (jika Anda menggunakannya)
• Statistik HAProxy ada di http://localhost:8004
• Prometheus ada di http://localhost:8040
• Grafana ada di http://localhost:8041

Impor cuplikan indeks kami (opsional)

 $ scripts/docker_import_snapshot.sh

Ini akan mengunduh dump Elasticsearch dari auctus.vida-nyu.org dan mengimpornya ke kontainer Elasticsearch lokal Anda.

Mulai plugin penemuan (opsional)

 $ docker-compose up -d socrata zenodo

Mulai dasbor metrik (opsional)

 $ docker-compose up -d elasticsearch_exporter prometheus grafana

Prometheus dikonfigurasi untuk menemukan wadah secara otomatis (lihat prometheus.yml)

Gambar RabbitMQ khusus digunakan, dengan plugin tambahan (manajemen dan prometheus).