clerk

# Sachbearbeiter

Anwendungsfall

Sie haben eine große Menge schlecht organisierter Dateien, die in eine bestimmte Anzahl von Tags oder Kategorien fallen, und Sie möchten den Prozess der Verknüpfung mit diesen Tags automatisieren, damit sie besser organisiert werden können.

Um

Clerk verwendet LLMs, um auf magische Weise Kontext zu Ihren Dateien bereitzustellen!

Clerk arbeitet im aktuellen Verzeichnis und erfordert eine YAML-Konfiguration. Der Standardname für diese Datei lautet clerk.yml und wird im Arbeitsverzeichnis erwartet.

Beispielkonfiguration:

 categories :
  genre:
     - autobiography
     - fantasy
     - historical fiction
     - non fiction
     - romance
     - science fiction

Wie wird die LLM-Magie darüber gestreut?

Für jede Datei, die rekursiv vom aktuellen Arbeitsverzeichnis heruntergeht, erstellen wir eine Eingabeaufforderung für den LLM, in der er ihn auffordert, der Datei basierend auf dem Namen der Datei und einem Teil des Inhalts der Datei einen der einzelnen Kategoriewerte zuzuordnen.

• Das LLM hat eine feste Grenze für die Anzahl der Token; Dies wirkt sich darauf aus, wie viele Kategorien und wie viel Dateiinhalt als Teil der Eingabeaufforderung gesendet werden kann.

Die Menge des als Teil der Eingabeaufforderung gesendeten Dateiinhalts kann erhöht oder verringert werden. Wenn Sie den Wert verringern, steht in der Eingabeaufforderung mehr Platz für Kategoriewerte zur Verfügung. Wenn Sie ihn erhöhen, erreichen Sie möglicherweise eine höhere Genauigkeit.

Ausgabe

Derzeit gibt Clerk für jede Datei eine JSON-Zeile mit dem Pfad zur Datei sowie einen Schlüssel, einen Wert für jede Kategorie und die Vorhersage für den Kategoriewert aus dem LLM aus

 { "path": "/some/long/path/book1.pdf", "genre": "fiction" }
{ "path": "/some/long/path/book2_2022-01-03-harry-potter.pdf", "genre": "fiction" }

Derzeit unterstützte Dateitypen

• Text
• PDF

Verwendung

Derzeit unterstützt Clerk nur das OpenAI GPT-4-Modell; Sie müssen auf dieses Modell und einen API-Schlüssel in der Umgebungsvariablen OPENAI_API_KEY zugreifen

 Usage: clerk [OPTIONS]

Options:
  -m, --max-read-length <MAX_READ_LENGTH>
          Maximum length of content to read from files for matching [default: 10000]
  -e, --exclude-file-type <EXCLUDE_FILE_TYPE>
          Excluded File Type [default: zip xlsx yml]
  -c, --config-file <CONFIG_FILE>
          Location of Configuration file that defines file categories [default: clerk.yml]
  -h, --help
          Print help
  -V, --version
          Print version