clerk

# Staf

Kasus penggunaan

Anda memiliki sejumlah besar file yang tidak terorganisir dengan baik yang termasuk dalam sejumlah tag atau kategori dan Anda ingin mengotomatiskan proses pengaitan dengan tag tersebut sehingga dapat diatur dengan lebih baik.

Tentang

Petugas menggunakan LLM untuk secara ajaib memberikan konteks tentang file Anda!

Petugas bekerja pada direktori saat ini dan memerlukan konfigurasi YAML. Nama default untuk file ini adalah clerk.yml dan diharapkan ada di direktori kerja.

Contoh Konfigurasi:

 categories :
  genre:
     - autobiography
     - fantasy
     - historical fiction
     - non fiction
     - romance
     - science fiction

Bagaimana keajaiban LLM ditaburkan di atasnya?

Untuk setiap file yang berjalan secara rekursif dari direktori kerja saat ini, kami membuat prompt untuk LLM yang memintanya untuk mengatribusikan salah satu dari masing-masing nilai kategori ke file berdasarkan nama file dan beberapa konten file.

• LLM memiliki batasan ketat pada jumlah token; ini berdampak pada jumlah kategori dan jumlah konten file yang dapat dikirim sebagai bagian dari perintah.

Jumlah konten file yang dikirim sebagai bagian dari perintah dapat ditambah atau dikurangi. Jika Anda menguranginya, Anda akan memiliki lebih banyak ruang untuk nilai kategori di prompt. Jika Anda meningkatkannya, Anda mungkin memiliki akurasi lebih.

Keluaran

Saat ini petugas mengeluarkan baris JSON untuk setiap file dengan jalur ke file, dan kunci, nilai untuk setiap kategori, dan prediksi untuk nilai kategori dari LLM

 { "path": "/some/long/path/book1.pdf", "genre": "fiction" }
{ "path": "/some/long/path/book2_2022-01-03-harry-potter.pdf", "genre": "fiction" }

Jenis File yang Didukung Saat Ini

• Teks
• PDF

Penggunaan

Saat ini petugas hanya mendukung model OpenAI GPT-4; Anda harus dan ke model itu serta kunci API di variabel lingkungan OPENAI_API_KEY

 Usage: clerk [OPTIONS]

Options:
  -m, --max-read-length <MAX_READ_LENGTH>
          Maximum length of content to read from files for matching [default: 10000]
  -e, --exclude-file-type <EXCLUDE_FILE_TYPE>
          Excluded File Type [default: zip xlsx yml]
  -c, --config-file <CONFIG_FILE>
          Location of Configuration file that defines file categories [default: clerk.yml]
  -h, --help
          Print help
  -V, --version
          Print version