hf for legal

HF for Legal: Ein Community-Paket für juristische Anwendungen?

Willkommen beim HF for Legal-Paket, einer Bibliothek, die sich der Aufschlüsselung der Undurchsichtigkeit von Sprachmodellen für Juristen widmet. Unsere Mission ist es, Rechtspraktikern, Wissenschaftlern und Forschern das Wissen und die Werkzeuge zur Verfügung zu stellen, die sie benötigen, um sich in der komplexen Welt der KI im Rechtsbereich zurechtzufinden. Bei HF for Legal haben wir folgende Ziele:

• Entmystifizieren Sie KI-Sprachmodelle für die Rechtsgemeinschaft
• Teilen Sie kuratierte Ressourcen, einschließlich spezieller Rechtsmodelle, Datensätze und Tools
• Fördern Sie die Zusammenarbeit bei Projekten, die die Rechtsforschung und -praxis durch KI verbessern
• Bieten Sie eine Plattform für die Diskussion ethischer Implikationen und Best Practices von KI im Recht
• Bieten Sie Tutorials und Workshops zum Einsatz von KI-Technologien in der juristischen Arbeit an

Indem wir Rechtsexperten, KI-Forscher und Technologiebegeisterte zusammenbringen, streben wir danach, ein offenes Ökosystem zu schaffen, in dem Rechtsexperten einfach auf auf ihre Bedürfnisse zugeschnittene KI-Modelle zugreifen, diese verstehen und nutzen können. Egal, ob Sie ein praktizierender Anwalt, ein Rechtswissenschaftler oder ein Technologe sind, der sich für juristische Anwendungen von KI interessiert, HF for Legal ist Ihr Zentrum für Erkundung, Lernen und Innovation in der sich entwickelnden Landschaft der KI-gestützten Rechtspraxis.

Installation

Um hf-for-legal verwenden zu können, müssen die folgenden Python-Pakete installiert sein:

• numpy
• datasets
• tqdm

Sie können diese Pakete über pip installieren:

pip install numpy datasets hf-for-legal tqdm

Verwendung

Initialisieren Sie zunächst die DatasetFormatter-Klasse mit Ihrem Datensatz:

 import datasets
from hf_for_legal import DatasetFormatter

# Load a sample dataset
dataset = datasets . Dataset . from_dict (
  {
    "document" : [
      "This is a test document." , 
      "Another test document."
    ]
  }
)

# Create an instance of DatasetFormatter
formatter = DatasetFormatter ( dataset )

# Apply the hash and UUID functions
formatted_dataset = formatter ()
print ( formatted_dataset )

Klasse: DatasetFormatter

Parameter:

• dataset ( datasets.Dataset ): Der zu formatierende Datensatz.

Attribute:

• Datensatz ( datasets.Dataset ): Der ursprüngliche Datensatz.

Methoden

hash(self, Column_name: str = "document", hash_column_name: str = "hash") -> datasets.Dataset

Fügen Sie dem Datensatz eine SHA-256-Hash-Spalte hinzu.

Parameter:

• Spaltenname ( str , optional): Der Name der Spalte, die den zu hashenden Text enthält. Der Standardwert ist „Dokument“.
• hash_column_name ( str , optional): Der Name der Spalte zum Speichern der Hashwerte. Der Standardwert ist „Hash“.

Rückgaben:

• datasets.Dataset : Der Datensatz mit der neuen Hash-Spalte.

Erhöht:

• ValueError : Wenn der angegebene Spaltenname nicht im Datensatz vorhanden ist.

uuid(self, uuid_column_name: str = "uuid") -> datasets.Dataset

Fügen Sie dem Datensatz eine UUID-Spalte hinzu.

Parameter:

• uuid_column_name ( str , optional): Der Name der Spalte zum Speichern der UUID-Werte. Der Standardwert ist „uuid“.

Rückgaben:

• datasets.Dataset : Der Datensatz mit der neuen UUID-Spalte.

normalize_text(self, columns_name: str, normalized_column_name: Optional[str] = None) -> datasets.Dataset

Normalisieren Sie Text in einer angegebenen Spalte, indem Sie ihn in Kleinbuchstaben konvertieren und Leerzeichen entfernen.

Parameter:

• Spaltenname ( str ): Der Name der Spalte, die den zu normalisierenden Text enthält.
• normalized_column_name ( str , optional): Der Name der neuen Spalte zum Speichern des normalisierten Texts. Wenn nicht angegeben, wird die ursprüngliche Spalte überschrieben.

Rückgaben:

• datasets.Dataset : Der Datensatz mit der normalisierten Textspalte.

Erhöht:

• ValueError : Wenn der angegebene Spaltenname nicht im Datensatz vorhanden ist.

filter_rows(self, Bedingung: Callable) -> datasets.Dataset

Filtern Sie Zeilen basierend auf einer bestimmten Bedingung.

Parameter:

• Bedingung ( Callable ): Eine Funktion, die eine Zeile (dict) entgegennimmt und „True“ zurückgibt, wenn die Zeile in den gefilterten Datensatz aufgenommen werden soll.

Rückgaben:

• datasets.Dataset : Der gefilterte Datensatz.

rename_column(self, old_column_name: str, new_column_name: str) -> datasets.Dataset

Benennen Sie eine Spalte im Datensatz um.

Parameter:

• old_column_name ( str ): Der aktuelle Name der Spalte, die umbenannt werden soll.
• new_column_name ( str ): Der neue Name für die Spalte.

Rückgaben:

• datasets.Dataset : Der Datensatz mit der umbenannten Spalte.

Erhöht:

• ValueError : Wenn der angegebene old_column_name nicht im Datensatz vorhanden ist.

drop_column(self, columns_name: str) -> datasets.Dataset

Löschen Sie eine bestimmte Spalte aus dem Datensatz.

Parameter:

• Spaltenname ( str ): Der Name der zu löschenden Spalte.

Rückgaben:

• datasets.Dataset : Der Datensatz mit der angegebenen Spalte wurde gelöscht.

Erhöht:

• ValueError : Wenn der angegebene Spaltenname nicht im Datensatz vorhanden ist.

add_constant_column(self, Column_name: str, Constant_value) -> datasets.Dataset

Fügen Sie eine neue Spalte mit einem konstanten Wert hinzu.

Parameter:

• Spaltenname ( str ): Der Name der neuen Spalte, die hinzugefügt werden soll.
• konstanter_Wert : Der konstante Wert, der jeder Zeile in der neuen Spalte zugewiesen werden soll.

Rückgaben:

• datasets.Dataset : Der Datensatz mit der neuen Konstantwertspalte.

Convert_column_type(self, Column_name: str, new_type: Union[type, str]) -> datasets.Dataset

Konvertieren Sie eine Spalte in einen angegebenen Datentyp.

Parameter:

• Spaltenname ( str ): Der Name der zu konvertierenden Spalte.
• new_type ( Union[type, str] ): Der neue Datentyp für die Spalte, z. B. int, float, str.

Rückgaben:

• datasets.Dataset : Der Datensatz mit der konvertierten Spalte.

Erhöht:

• ValueError : Wenn der angegebene Spaltenname nicht im Datensatz vorhanden ist.

fill_missing(self, columns_name: str, fill_value) -> datasets.Dataset

Füllen Sie fehlende Werte in einer Spalte mit einem angegebenen Wert.

Parameter:

• Spaltenname ( str ): Der Name der Spalte mit fehlenden Werten, die gefüllt werden sollen.
• fill_value : Der Wert, der für fehlende Werte eingefügt werden soll.

Rückgaben:

• datasets.Dataset : Der Datensatz mit fehlenden Werten gefüllt.

Erhöht:

• ValueError : Wenn der angegebene Spaltenname nicht im Datensatz vorhanden ist.

compute_summary(self, columns_name: str) -> Dict[str, float]

Berechnen Sie zusammenfassende Statistiken für eine numerische Spalte.

Parameter:

• Spaltenname ( str ): Der Name der numerischen Spalte, für die zusammenfassende Statistiken berechnet werden sollen.

Rückgaben:

• Dict[str, float] : Ein Wörterbuch, das zusammenfassende Statistiken (Mittelwert, Median, Standard) für die Spalte enthält.

Erhöht:

• ValueError : Wenn der angegebene Spaltenname nicht im Datensatz vorhanden ist.

call (self, hash_column_name: str = "hash", uuid_column_name: str = "uuid") -> datasets.Dataset

Wenden Sie sowohl die Hash- als auch die UUID-Funktion auf den Datensatz an.

Parameter:

• hash_column_name ( str , optional): Der Name der neuen Spalte zum Speichern der Hashwerte. Der Standardwert ist „Hash“.
• uuid_column_name ( str , optional): Der Name der neuen Spalte zum Speichern der UUID-Werte. Der Standardwert ist „uuid“.

Rückgaben:

• datasets.Dataset : Der Datensatz mit Hash- und UUID-Spalten.

Community Discord

Sie können jetzt dem HF for Legal-Community-Server auf Discord beitreten, kommunizieren und Inhalte teilen.

Link zum Server: https://discord.gg/adwsfUUhw8

Dieser Server soll die Kommunikation zwischen den Mitgliedern der Organisation vereinfachen und Synergien rund um die verschiedenen Projekte in den drei Bereichen interaktive Anwendungen, Datenbanken und Modelle generieren.

Ein Beispiel für ein Projekt, das bald veröffentlicht wird: eine Duplizierung der Laws-Datenbank, dieses Mal jedoch mit bereits berechneten Einbettungen für verschiedene Modelle, um eine vereinfachte Integration in Spaces (RAG-Chatbot?) zu ermöglichen und Bereitstellungskosten für Benutzer zu sparen, die diese Technologien nutzen möchten für ihre beruflichen und persönlichen Projekte.

Zitieren & Autoren

Wenn Sie diesen Code in Ihrer Recherche verwenden, verwenden Sie bitte den folgenden BibTeX-Eintrag.

 @misc { louisbrulenaudet2024 ,
  author =       { Louis Brulé Naudet } ,
  title =        { HF for Legal: A Community Package for Legal Applications } ,
  year =         { 2024 }
  howpublished = { url{https://github.com/louisbrulenaudet/hf-for-legal} } ,
}

Rückmeldung

Wenn Sie Feedback haben, wenden Sie sich bitte an [email protected].