HyperTag

hipertag

HyperTag menawarkan sistem tag ekspresif dan mesin pencari semantik yang kuat untuk semua file Anda. Nyatakan pendapat Anda menggunakan tag. Temukan apa yang Anda cari menggunakan pencarian semantik untuk dokumen teks Anda (ya, bahkan PDF) dan gambar. Alih-alih memperkenalkan format file berpemilik seperti alat pengorganisasian file lain yang sudah ada, HyperTag hanya melapisi file yang sudah ada dengan lancar tanpa kerumitan apa pun.

Sasaran : Meminimalkan waktu antara pemikiran dan akses ke semua file yang relevan.

Daftar isi

• hipertag
  • Memasang
  • Komunikasi
  • Ringkasan
  • Fungsi CLI
    • Aplikasi Web (Eksperimental)
    • Impor direktori yang ada secara rekursif
    • Tambahkan file atau URL secara manual
    • Tag file/s (dengan nilai)
    • Hapus tanda pada file
    • Tandai sebuah tanda
    • Gabungkan tag
    • Kueri menggunakan Teori Himpunan
    • Indeks file gambar dan teks yang didukung
    • Pencarian semantik untuk file teks
    • Pencarian semantik untuk file gambar
    • Mulai Daemon HyperTag
    • Cetak semua tag file
    • Cetak semua metatag tag/s
    • Cetak semua tag
    • Cetak semua file
    • Visualisasikan Grafik HyperTag
    • Hasilkan HyperTagFS
    • Tambahkan direktori ke daftar impor otomatis
    • Tetapkan jalur direktori HyperTagFS
  • Arsitektur
  • Perkembangan
  • Inspirasi

Memasang

Tersedia di PyPI

$ pip install hypertag (hanya mendukung CPU & eksekusi yang dipercepat CUDA!)

Komunikasi

Hubungi saya melalui Twitter @SeanPedersen96

Ringkasan

HyperTag menawarkan CLI yang apik tetapi yang lebih penting ia menciptakan direktori bernama HyperTagFS yang merupakan representasi berbasis sistem file dari file dan tag Anda menggunakan tautan dan direktori simbolis.

HyperTag WebApp (Eksperimental) : Klien HTML+JS yang apik. Visualisasikan, susun, dan cari file pribadi Anda dalam hitungan detik yang didukung oleh mesin HyperTag.

Impor Direktori : Impor hierarki direktori yang ada menggunakan $ hypertag import path/to/directory . HyperTag mengubahnya secara otomatis menjadi hierarki tag menggunakan metatagging.

Pencarian Teks & Gambar Semantik (Eksperimental) : Cari gambar (jpg, png) dan konten dokumen teks (ya, bahkan PDF) dengan kueri teks sederhana. Pencarian teks didukung oleh perpustakaan Sentence Transformers yang mengagumkan. Pencarian teks ke gambar didukung oleh model CLIP OpenAI. Saat ini hanya pertanyaan bahasa Inggris yang didukung.

HyperTag Daemon (Eksperimental) : Memantau HyperTagFS dan direktori yang ditambahkan ke daftar impor otomatis untuk perubahan pengguna (lihat bagian "Memulai HyperTag Daemon" di bawah). Juga memunculkan DaemonService yang mempercepat pencarian semantik secara signifikan (peringatan: proses daemon memakan banyak RAM dengan penggunaan ~2GB).

Kueri Pencocokan Fuzzy : HyperTag menggunakan pencocokan fuzzy untuk meminimalkan gesekan jika terjadi kesalahan ketik.

Grup Jenis File : HyperTag secara otomatis membuat folder yang berisi file umum (misalnya Gambar: jpg, png, dll., Dokumen: txt, pdf, dll., Kode Sumber: py, js, dll.), yang dapat ditemukan di HyperTagFS .

Grafik HyperTag : Dapatkan ikhtisar Grafik HyperTag Anda dengan cepat! HyperTag memvisualisasikan grafik metatag pada setiap perubahan dan menyimpannya di HyperTagFS/hypertag-graph.pdf .

Fungsi CLI

Aplikasi Web (Eksperimental)

Memunculkan server HTTP untuk klien web HyperTag yang berjalan di localhost:23236

$ python3 -m hypertag.webapi

Impor direktori yang ada secara rekursif

Impor file dengan tag yang disimpulkan dari hierarki direktori yang ada.

$ hypertag import path/to/directory

Tambahkan file atau URL secara manual

$ hypertag add path/to/file https://github.com/SeanPedersen/HyperTag

Tag file/s (dengan nilai)

Beri tag pada file secara manual. Pintasan: $ hypertag t

$ hypertag tag humans/*.txt with human "Homo Sapiens"

Tambahkan nilai ke tag file:

$ hypertag tag sean.txt with name="Sean Pedersen"

Hapus tanda pada file

Hapus tag dari file secara manual.

$ hypertag untag humans/*.txt with human "Homo Sapiens"

Tandai sebuah tanda

Metatag tag/s untuk membuat hierarki tag. Pintasan: $ hypertag tt

$ hypertag metatag human with animal

Gabungkan tag

Gabungkan semua asosiasi (file & tag) dari tag A ke dalam tag B.

$ hypertag merge human into "Homo Sapiens"

Kueri menggunakan Teori Himpunan

Cetak nama file dari kumpulan hasil yang cocok dengan kueri. Kueri terdiri dari tag (dengan nilai) dan operan. Tag dicocokkan secara fuzzy untuk kenyamanan. Penyusunan saat ini tidak didukung, kueri dievaluasi dari kiri ke kanan.
Pintasan: $ hypertag q

Kueri dengan nilai menggunakan wildcard: $ hypertag query name="Sean*"
Jalur cetak: $ hypertag query human --path
Cetak tag fuzzy yang cocok: $ hypertag query man --verbose
Nonaktifkan pencocokan fuzzy: $ hypertag query human --fuzzy=0

Operan defaultnya adalah AND (persimpangan):
$ hypertag query human name="Sean*" setara dengan $ hypertag query human and name="Sean*"

ATAU (persatuan):
$ hypertag query human or "Homo Sapiens"

MINUS (perbedaan):
$ hypertag query human minus "Homo Sapiens"

Indeks file gambar dan teks yang didukung

Hanya file yang diindeks yang dapat dicari.

$ hypertag index

Untuk mengurai PDF yang tidak dapat diurai, instal tesseract: # pacman -S tesseract tesseract-data-eng

Indeks file gambar saja: $ hypertag index --image
Indeks hanya file teks: $ hypertag index --text

Pencarian semantik untuk file teks

Algoritme pencarian khusus yang menggabungkan semantik dengan pencarian pencocokan token. Cetak nama file teks yang diurutkan berdasarkan skor yang cocok. Performa mendapat manfaat besar dari menjalankan daemon HyperTag.
Pintasan: $ hypertag s

$ hypertag search "your important text query" --path --score --top_k=10

Pencarian semantik untuk file gambar

Cetak nama file gambar yang diurutkan berdasarkan skor yang cocok. Performa mendapat manfaat besar dari menjalankan daemon HyperTag.
Pintasan: $ hypertag si

Teks ke gambar: $ hypertag search_image "your image content description" --path --score --top_k=10

Gambar ke gambar: $ hypertag search_image "path/to/image.jpg" --path --score --top_k=10

Mulai Daemon HyperTag

Mulai proses daemon dengan tiga fungsi:

• Mengawasi direktori HyperTagFS untuk perubahan pengguna
  • File peta (symlink) dan penghapusan direktori ke dalam penghapusan tag / metatag
  • Pada pembuatan direktori: Menafsirkan nama sebagai kueri tag teori kumpulan dan secara otomatis mengisinya dengan hasil
  • Pada pembuatan direktori di Search Images atau Search Texts : Menafsirkan nama sebagai permintaan pencarian semantik (tambahkan top_k=42 untuk membatasi ukuran hasil) dan secara otomatis mengisinya dengan hasil
• Mengawasi direktori pada daftar impor otomatis untuk perubahan pengguna:
  • Perubahan file peta (memindahkan & mengganti nama) menjadi DB
  • Pada pembuatan file: Menambahkan file baru dengan tag yang disimpulkan dan mengindeksnya secara otomatis (jika format file didukung).
• Memunculkan DaemonService untuk memuat dan mengekspos model yang digunakan untuk pencarian semantik, sehingga mempercepatnya secara signifikan

$ hypertag daemon

Cetak semua tag file

$ hypertag tags filename1 filename2

Cetak semua metatag tag/s

$ hypertag metatags tag1 tag2

Cetak semua tag

$ hypertag show

Cetak semua file

Nama cetak: $ hypertag show files

Jalur cetak: $ hypertag show files --path

Visualisasikan Grafik HyperTag

Visualisasikan hierarki grafik metatag (disimpan di root HyperTagFS).

$ hypertag graph

Tentukan algoritma tata letak (default: fruchterman_reingold):

$ hypertag graph --layout=kamada_kawai

Hasilkan HyperTagFS

Hasilkan representasi berbasis sistem file dari file dan tag Anda menggunakan tautan simbolis dan direktori.

$ hypertag mount

Tambahkan direktori ke daftar impor otomatis

Direktori yang ditambahkan ke daftar impor otomatis akan dipantau oleh daemon untuk mengetahui adanya file baru atau perubahan.

$ hypertag add_auto_import_dir path/to/directory

Tetapkan jalur direktori HyperTagFS

Defaultnya adalah direktori home pengguna.

$ hypertag set_hypertagfs_dir path/to/directory

Arsitektur

• Python dan kekuatan komunitas sumber terbukanya yang dinamis, HyperTag
• Banyak proyek sumber terbuka mengagumkan lainnya yang memungkinkan HyperTag (terdaftar di pyproject.toml )
• SQLite3 berfungsi sebagai mesin penyimpanan data meta (terletak di ~/.config/hypertag/hypertag.db )
• URL yang ditambahkan disimpan di ~/.config/hypertag/web_pages untuk situs web, yang lain di ~/.config/hypertag/downloads
• Tautan simbolik digunakan untuk membuat struktur direktori HyperTagFS
• Pencarian Semantik: ditingkatkan menggunakan hnswlib
  • Pencarian teks ke teks didukung oleh DistilBERT
  • Pencarian teks ke gambar & gambar ke gambar didukung oleh model CLIP OpenAI

Perkembangan

• Temukan masalah yang diprioritaskan di sini: Daftar TODO
• Pilih sebuah masalah dan beri komentar bagaimana Anda berencana mengatasinya sebelum memulai, untuk memastikan tidak ada waktu pengembangan yang terbuang.
• Repo klon: $ git clone https://github.com/SeanPedersen/HyperTag.git
• $ cd HyperTag/
• Instal Puisi
• Instal dependensi: $ poetry install
• Aktifkan lingkungan virtual: $ poetry shell
• Jalankan semua tes: $ pytest -v
• Jalankan pemformat: $ black hypertag/
• Jalankan linter: $ flake8
• Jalankan pemeriksaan tipe: $ mypy hypertag --no-namespace-packages
• Jalankan pemeriksaan keamanan: $ bandit --exclude tests/ -r .
• Kodasi: Dasbor
• Jalankan HyperTag: $ python -m hypertag

Inspirasi

Apa gunanya keberadaan HyperTag?
HyperTag menawarkan banyak fitur unik seperti fungsi impor, pencarian semantik, grafik dan pencocokan fuzzy yang membuatnya sangat nyaman untuk digunakan. Meskipun basis kode HyperTag tetap relatif kecil di <2000 LOC dibandingkan dengan proyek serupa seperti TMSU (>10.000 LOC di Go) dan SuperTag (>25.000 LOC di Rust), sehingga mudah untuk diretas.

Alternatif Pencarian Semantik

• Semantra