clerk

# Greffier

Cas d'utilisation

Vous disposez d'une grande quantité de fichiers mal organisés qui appartiennent à un nombre défini de balises ou de catégories et vous souhaitez automatiser le processus d'association à ces balises afin qu'ils puissent être mieux organisés.

À propos

Clerk utilise les LLM pour fournir comme par magie un contexte sur vos fichiers !

Clerk travaille sur le répertoire actuel et nécessite une configuration YAML. Le nom par défaut de ce fichier est clerk.yml et il est attendu dans le répertoire de travail.

Exemple de configuration :

 categories :
  genre:
     - autobiography
     - fantasy
     - historical fiction
     - non fiction
     - romance
     - science fiction

Comment la magie du LLM est-elle saupoudrée ?

Pour chaque fichier descendant récursivement à partir du répertoire de travail actuel, nous construisons une invite pour le LLM lui demandant d'attribuer une de chacune des valeurs de catégorie au fichier en fonction du nom du fichier et d'une partie du contenu du fichier.

• Le LLM a une limite stricte sur le nombre de jetons ; cela a un impact sur le nombre de catégories et la quantité de contenu de fichier qui peuvent être envoyés dans le cadre de l'invite.

La quantité de contenu de fichier envoyé dans le cadre de l'invite peut être augmentée ou diminuée. Si vous le diminuez, vous aurez plus de place pour les valeurs de catégorie dans l'invite. Si vous l'augmentez, vous obtiendrez peut-être plus de précision.

Sortir

Actuellement, l'employé génère une ligne JSON pour chaque fichier avec le chemin d'accès au fichier, une clé, une valeur pour chaque catégorie et la prédiction de la valeur de la catégorie à partir du LLM.

 { "path": "/some/long/path/book1.pdf", "genre": "fiction" }
{ "path": "/some/long/path/book2_2022-01-03-harry-potter.pdf", "genre": "fiction" }

Types de fichiers actuellement pris en charge

• Texte
• PDF

Usage

Actuellement, Clerk ne prend en charge que le modèle OpenAI GPT-4 ; vous devrez et vers ce modèle et une clé API dans la variable d'environnement OPENAI_API_KEY

 Usage: clerk [OPTIONS]

Options:
  -m, --max-read-length <MAX_READ_LENGTH>
          Maximum length of content to read from files for matching [default: 10000]
  -e, --exclude-file-type <EXCLUDE_FILE_TYPE>
          Excluded File Type [default: zip xlsx yml]
  -c, --config-file <CONFIG_FILE>
          Location of Configuration file that defines file categories [default: clerk.yml]
  -h, --help
          Print help
  -V, --version
          Print version