hf for legal

HF untuk Hukum: Paket Komunitas untuk Penerapan Hukum?

Selamat datang di paket HF untuk Hukum, perpustakaan yang didedikasikan untuk memecahkan keburaman model bahasa bagi para profesional hukum. Misi kami adalah memberdayakan praktisi hukum, cendekiawan, dan peneliti dengan pengetahuan dan alat yang mereka perlukan untuk menavigasi dunia AI yang kompleks dalam domain hukum. Di HF for Legal, kami bertujuan untuk:

• Mengungkap model bahasa AI untuk komunitas hukum
• Bagikan sumber daya yang dikurasi, termasuk model, kumpulan data, dan alat hukum khusus
• Mendorong kolaborasi dalam proyek-proyek yang meningkatkan penelitian dan praktik hukum melalui AI
• Menyediakan platform untuk mendiskusikan implikasi etika dan praktik terbaik AI di bidang hukum
• Tawarkan tutorial dan lokakarya tentang pemanfaatan teknologi AI dalam pekerjaan hukum

Dengan mempertemukan para pakar hukum, peneliti AI, dan penggemar teknologi, kami berupaya menciptakan ekosistem terbuka di mana para profesional hukum dapat dengan mudah mengakses, memahami, dan memanfaatkan model AI yang disesuaikan dengan kebutuhan mereka. Baik Anda seorang pengacara, sarjana hukum, atau ahli teknologi yang tertarik dengan penerapan hukum AI, HF for Legal adalah pusat eksplorasi, pembelajaran, dan inovasi dalam lanskap praktik hukum yang dibantu AI yang terus berkembang.

Instalasi

Untuk menggunakan hf-for-legal, Anda perlu menginstal paket Python berikut:

• numpy
• datasets
• tqdm

Anda dapat menginstal paket-paket ini melalui pip:

pip install numpy datasets hf-for-legal tqdm

Penggunaan

Pertama, inisialisasi kelas DatasetFormatter dengan kumpulan data Anda:

 import datasets
from hf_for_legal import DatasetFormatter

# Load a sample dataset
dataset = datasets . Dataset . from_dict (
  {
    "document" : [
      "This is a test document." , 
      "Another test document."
    ]
  }
)

# Create an instance of DatasetFormatter
formatter = DatasetFormatter ( dataset )

# Apply the hash and UUID functions
formatted_dataset = formatter ()
print ( formatted_dataset )

Kelas: DatasetFormatter

Parameter:

• dataset ( datasets.Dataset ): Kumpulan data yang akan diformat.

Atribut:

• kumpulan data ( datasets.Dataset ): Kumpulan data asli.

Metode

hash(diri, nama_kolom: str = "dokumen", nama_kolom_hash: str = "hash") -> kumpulan data.Kumpulan data

Tambahkan kolom hash SHA-256 ke himpunan data.

Parameter:

• nama_kolom ( str , opsional): Nama kolom yang berisi teks yang akan di-hash. Standarnya adalah "dokumen".
• hash_column_name ( str , opsional): Nama kolom untuk menyimpan nilai hash. Standarnya adalah "hash".

Pengembalian:

• datasets.Dataset : Kumpulan data dengan kolom hash baru.

Menaikkan:

• ValueError : Jika nama_kolom yang ditentukan tidak ada dalam kumpulan data.

uuid(self, uuid_column_name: str = "uuid") -> kumpulan data.Dataset

Tambahkan kolom UUID ke kumpulan data.

Parameter:

• uuid_column_name ( str , opsional): Nama kolom untuk menyimpan nilai UUID. Standarnya adalah "uuid".

Pengembalian:

• datasets.Dataset : Dataset dengan kolom UUID baru.

normalisasi_teks(mandiri, nama_kolom: str, nama_kolom_normal: Opsional[str] = Tidak Ada) -> kumpulan data.Dataset

Normalisasikan teks dalam kolom tertentu dengan mengonversi ke huruf kecil dan menghapus spasi.

Parameter:

• nama_kolom ( str ): Nama kolom yang berisi teks yang akan dinormalisasi.
• normalized_column_name ( str , opsional): Nama kolom baru untuk menyimpan teks yang dinormalisasi. Jika tidak disediakan, kolom aslinya akan ditimpa.

Pengembalian:

• datasets.Dataset : Kumpulan data dengan kolom teks yang dinormalisasi.

Menaikkan:

• ValueError : Jika nama_kolom yang ditentukan tidak ada dalam kumpulan data.

filter_rows(self, condition: Callable) -> dataset.Dataset

Filter baris berdasarkan kondisi tertentu.

Parameter:

• kondisi ( Callable ): Fungsi yang mengambil baris (dict) dan mengembalikan True jika baris tersebut harus disertakan dalam kumpulan data yang difilter.

Pengembalian:

• datasets.Dataset : Kumpulan data yang difilter.

rename_column(self, old_column_name: str, new_column_name: str) -> kumpulan data.Dataset

Ganti nama kolom dalam kumpulan data.

Parameter:

• old_column_name ( str ): Nama kolom saat ini yang akan diganti namanya.
• new_column_name ( str ): Nama baru untuk kolom.

Pengembalian:

• datasets.Dataset : Himpunan data dengan kolom yang diganti namanya.

Menaikkan:

• ValueError : Jika nama_kolom_lama yang ditentukan tidak ada dalam kumpulan data.

drop_column(mandiri, nama_kolom: str) -> kumpulan data.Dataset

Hapus kolom tertentu dari kumpulan data.

Parameter:

• nama_kolom ( str ): Nama kolom yang akan dihapus.

Pengembalian:

• datasets.Dataset : Kumpulan data dengan kolom tertentu dihilangkan.

Menaikkan:

• ValueError : Jika nama_kolom yang ditentukan tidak ada dalam kumpulan data.

add_constant_column(diri, nama_kolom: str, nilai_konstan) -> kumpulan data.Dataset

Tambahkan kolom baru dengan nilai konstan.

Parameter:

• nama_kolom ( str ): Nama kolom baru yang akan ditambahkan.
• Constant_value : Nilai konstanta yang akan ditetapkan ke setiap baris di kolom baru.

Pengembalian:

• datasets.Dataset : Kumpulan data dengan kolom nilai konstanta baru.

convert_column_type(mandiri, nama_kolom: str, tipe_baru: Persatuan[tipe, str]) -> kumpulan data.Dataset

Ubah kolom menjadi tipe data tertentu.

Parameter:

• nama_kolom ( str ): Nama kolom yang akan dikonversi.
• new_type ( Union[type, str] ): Tipe data baru untuk kolom, misalnya int, float, str.

Pengembalian:

• datasets.Dataset : Himpunan data dengan kolom yang dikonversi.

Menaikkan:

• ValueError : Jika nama_kolom yang ditentukan tidak ada dalam kumpulan data.

fill_missing(mandiri, nama_kolom: str, fill_value) -> kumpulan data.Dataset

Isi nilai yang hilang di kolom dengan nilai yang ditentukan.

Parameter:

• nama_kolom ( str ): Nama kolom dengan nilai yang hilang untuk diisi.
• fill_value : Nilai yang harus diisi untuk nilai yang hilang.

Pengembalian:

• datasets.Dataset : Kumpulan data dengan nilai yang hilang terisi.

Menaikkan:

• ValueError : Jika nama_kolom yang ditentukan tidak ada dalam kumpulan data.

compute_summary(mandiri, nama_kolom: str) -> Dict[str, float]

Hitung statistik ringkasan untuk kolom numerik.

Parameter:

• nama_kolom ( str ): Nama kolom numerik untuk menghitung ringkasan statistik.

Pengembalian:

• Dict[str, float] : Kamus yang berisi ringkasan statistik (mean, median, std) untuk kolom.

Menaikkan:

• ValueError : Jika nama_kolom yang ditentukan tidak ada dalam kumpulan data.

panggilan (self, hash_column_name: str = "hash", uuid_column_name: str = "uuid") -> datasets.Dataset

Terapkan fungsi hash dan UUID ke kumpulan data.

Parameter:

• hash_column_name ( str , opsional): Nama kolom baru untuk menyimpan nilai hash. Standarnya adalah "hash".
• uuid_column_name ( str , opsional): Nama kolom baru untuk menyimpan nilai UUID. Standarnya adalah "uuid".

Pengembalian:

• datasets.Dataset : Himpunan data dengan kolom hash dan UUID.

Perselisihan Komunitas

Anda sekarang dapat bergabung, berkomunikasi, dan berbagi di server komunitas HF untuk Hukum di Discord.

Tautan ke server: https://discord.gg/adwsfUUhw8

Server ini akan menyederhanakan komunikasi antar anggota organisasi dan menghasilkan sinergi seputar berbagai proyek di tiga bidang aplikasi interaktif, database, dan model.

Contoh proyek yang akan segera diterbitkan: duplikasi database Laws, namun kali ini berisi penyematan yang sudah dihitung untuk model berbeda, untuk memungkinkan integrasi yang disederhanakan dalam Spaces (RAG chatbot?) dan menghemat biaya penerapan bagi pengguna yang ingin menggunakan teknologi ini untuk proyek profesional dan pribadi mereka.

Mengutip & Penulis

Jika Anda menggunakan kode ini dalam penelitian Anda, silakan gunakan entri BibTeX berikut.

 @misc { louisbrulenaudet2024 ,
  author =       { Louis Brulé Naudet } ,
  title =        { HF for Legal: A Community Package for Legal Applications } ,
  year =         { 2024 }
  howpublished = { url{https://github.com/louisbrulenaudet/hf-for-legal} } ,
}

Masukan

Jika Anda memiliki masukan, silakan hubungi [email protected].