hf for legal - hf for legal

hf for legal

โค้ดแหล่งที่มา AI

0.0.12

ดาวน์โหลด

HF สำหรับกฎหมาย: แพ็คเกจชุมชนสำหรับการสมัครทางกฎหมาย ?

ยินดีต้อนรับสู่แพ็คเกจ HF for Legal ไลบรารีที่ทุ่มเทให้กับการทำลายความทึบของโมเดลภาษาสำหรับผู้เชี่ยวชาญด้านกฎหมาย ภารกิจของเราคือการเสริมศักยภาพผู้ปฏิบัติงานด้านกฎหมาย นักวิชาการ และนักวิจัยด้วยความรู้และเครื่องมือที่จำเป็นในการนำทางโลกที่ซับซ้อนของ AI ในขอบเขตทางกฎหมาย ที่ HF for Legal เรามุ่งมั่นที่จะ:

ไขปริศนาโมเดลภาษา AI สำหรับชุมชนกฎหมาย
แบ่งปันทรัพยากรที่ได้รับการดูแลจัดการ รวมถึงแบบจำลองทางกฎหมาย ชุดข้อมูล และเครื่องมือเฉพาะทาง
ส่งเสริมความร่วมมือในโครงการที่ส่งเสริมการวิจัยและการปฏิบัติทางกฎหมายผ่าน AI
จัดให้มีเวทีสำหรับการหารือถึงผลกระทบทางจริยธรรมและแนวปฏิบัติที่ดีที่สุดของ AI ในกฎหมาย
เสนอบทแนะนำและเวิร์กช็อปเกี่ยวกับการใช้ประโยชน์จากเทคโนโลยี AI ในงานด้านกฎหมาย

ด้วยการนำผู้เชี่ยวชาญด้านกฎหมาย นักวิจัย AI และผู้ชื่นชอบเทคโนโลยีมารวมตัวกัน เรามุ่งมั่นที่จะสร้างระบบนิเวศแบบเปิดที่ผู้เชี่ยวชาญด้านกฎหมายสามารถเข้าถึง ทำความเข้าใจ และใช้แบบจำลอง AI ที่ปรับให้เหมาะกับความต้องการของพวกเขาได้อย่างง่ายดาย ไม่ว่าคุณจะเป็นทนายความฝึกหัด นักวิชาการด้านกฎหมาย หรือนักเทคโนโลยีที่สนใจการประยุกต์ใช้ทางกฎหมายของ AI HF for Legal คือศูนย์กลางในการสำรวจ การเรียนรู้ และนวัตกรรมในภูมิทัศน์ที่เปลี่ยนแปลงไปของการปฏิบัติตามกฎหมายที่ได้รับความช่วยเหลือจาก AI

การติดตั้ง

หากต้องการใช้ hf-for-legal คุณต้องติดตั้งแพ็คเกจ Python ต่อไปนี้:

numpy
datasets
tqdm

คุณสามารถติดตั้งแพ็คเกจเหล่านี้ผ่าน pip:

pip install numpy datasets hf-for-legal tqdm

การใช้งาน

ขั้นแรก เริ่มต้นคลาส DatasetFormatter ด้วยชุดข้อมูลของคุณ:

 import datasets
from hf_for_legal import DatasetFormatter

# Load a sample dataset
dataset = datasets . Dataset . from_dict (
  {
    "document" : [
      "This is a test document." , 
      "Another test document."
    ]
  }
)

# Create an instance of DatasetFormatter
formatter = DatasetFormatter ( dataset )

# Apply the hash and UUID functions
formatted_dataset = formatter ()
print ( formatted_dataset )

คลาส: DatasetFormatter

พารามิเตอร์:

ชุดข้อมูล ( datasets.Dataset ): ชุดข้อมูลที่จะจัดรูปแบบ

คุณสมบัติ:

ชุดข้อมูล ( datasets.Dataset ): ชุดข้อมูลดั้งเดิม

วิธีการ

แฮช (ตนเอง column_name: str = "เอกสาร", hash_column_name: str = "แฮช") -> ชุดข้อมูลชุดข้อมูล

เพิ่มคอลัมน์แฮช SHA-256 ลงในชุดข้อมูล

พารามิเตอร์:

column_name ( str , ตัวเลือก): ชื่อของคอลัมน์ที่มีข้อความที่จะแฮช ค่าเริ่มต้นคือ "เอกสาร"
hash_column_name ( str , ตัวเลือก): ชื่อของคอลัมน์ที่จะจัดเก็บค่าแฮช ค่าเริ่มต้นคือ "แฮช"

ผลตอบแทน:

datasets.Dataset : ชุดข้อมูลที่มีคอลัมน์แฮชใหม่

เพิ่ม:

ValueError : หากไม่มี column_name ที่ระบุอยู่ในชุดข้อมูล

uuid(self, uuid_column_name: str = "uuid") -> ชุดข้อมูล.ชุดข้อมูล

เพิ่มคอลัมน์ UUID ให้กับชุดข้อมูล

พารามิเตอร์:

uuid_column_name ( str เป็นทางเลือก): ชื่อของคอลัมน์ที่จะจัดเก็บค่า UUID ค่าเริ่มต้นคือ "uuid"

ผลตอบแทน:

datasets.Dataset : ชุดข้อมูลที่มีคอลัมน์ UUID ใหม่

Normalize_text (ตนเอง, column_name: str, Normalized_column_name: ตัวเลือก [str] = ไม่มี) -> ชุดข้อมูลชุดข้อมูล

ทำให้ข้อความในคอลัมน์ที่ระบุเป็นมาตรฐานโดยแปลงเป็นตัวพิมพ์เล็กและตัดช่องว่าง

พารามิเตอร์:

column_name ( str ): ชื่อของคอลัมน์ที่มีข้อความที่จะทำให้เป็นมาตรฐาน
Normalized_column_name ( str , ตัวเลือก): ชื่อของคอลัมน์ใหม่เพื่อจัดเก็บข้อความที่ทำให้เป็นมาตรฐาน หากไม่ได้ระบุไว้ ระบบจะเขียนทับคอลัมน์เดิม

ผลตอบแทน:

datasets.Dataset : ชุดข้อมูลที่มีคอลัมน์ข้อความมาตรฐาน

เพิ่ม:

ValueError : หากไม่มี column_name ที่ระบุอยู่ในชุดข้อมูล

filter_rows (ตนเอง เงื่อนไข: Callable) -> datasets.Dataset

กรองแถวตามเงื่อนไขที่กำหนด

พารามิเตอร์:

เงื่อนไข ( Callable ): ฟังก์ชันที่รับแถว (dict) และส่งคืนค่า True หากควรรวมแถวไว้ในชุดข้อมูลที่กรอง

ผลตอบแทน:

datasets.Dataset : ชุดข้อมูลที่กรอง

rename_column (ตัวเอง, old_column_name: str, new_column_name: str) -> ชุดข้อมูลชุดข้อมูล

เปลี่ยนชื่อคอลัมน์ในชุดข้อมูล

พารามิเตอร์:

old_column_name ( str ): ชื่อปัจจุบันของคอลัมน์ที่จะเปลี่ยนชื่อ
new_column_name ( str ): ชื่อใหม่สำหรับคอลัมน์

ผลตอบแทน:

datasets.Dataset : ชุดข้อมูลที่มีคอลัมน์ที่เปลี่ยนชื่อ

เพิ่ม:

ValueError : หากไม่มี old_column_name ที่ระบุอยู่ในชุดข้อมูล

drop_column (ตนเอง column_name: str) -> ชุดข้อมูลชุดข้อมูล

วางคอลัมน์ที่ระบุจากชุดข้อมูล

พารามิเตอร์:

column_name ( str ): ชื่อของคอลัมน์ที่จะทิ้ง

ผลตอบแทน:

datasets.Dataset : ชุดข้อมูลที่มีคอลัมน์ที่ระบุถูกทิ้ง

เพิ่ม:

ValueError : หากไม่มี column_name ที่ระบุอยู่ในชุดข้อมูล

add_constant_column (ตนเอง, column_name: str, ค่าคงที่) -> ชุดข้อมูลชุดข้อมูล

เพิ่มคอลัมน์ใหม่ที่มีค่าคงที่

พารามิเตอร์:

column_name ( str ): ชื่อของคอลัมน์ใหม่ที่จะเพิ่ม
Constant_value : ค่าคงที่ที่จะกำหนดให้กับแต่ละแถวในคอลัมน์ใหม่

ผลตอบแทน:

datasets.Dataset : ชุดข้อมูลที่มีคอลัมน์ค่าคงที่ใหม่

Convert_column_type (ตนเอง, column_name: str, new_type: Union [type, str]) -> ชุดข้อมูลชุดข้อมูล

แปลงคอลัมน์ให้เป็นชนิดข้อมูลที่ระบุ

พารามิเตอร์:

column_name ( str ): ชื่อของคอลัมน์ที่จะแปลง
new_type ( Union[type, str] ): ชนิดข้อมูลใหม่สำหรับคอลัมน์ เช่น int, float, str

ผลตอบแทน:

datasets.Dataset : ชุดข้อมูลที่มีคอลัมน์ที่แปลงแล้ว

เพิ่ม:

ValueError : หากไม่มี column_name ที่ระบุอยู่ในชุดข้อมูล

fill_missing(ตนเอง, column_name: str, fill_value) -> ชุดข้อมูล.ชุดข้อมูล

เติมค่าที่หายไปในคอลัมน์ด้วยค่าที่ระบุ

พารามิเตอร์:

column_name ( str ): ชื่อของคอลัมน์ที่มีค่าหายไปที่ต้องกรอก
fill_value : ค่าที่ต้องกรอกสำหรับค่าที่หายไป

ผลตอบแทน:

datasets.Dataset : ชุดข้อมูลที่เติมค่าที่หายไป

เพิ่ม:

ValueError : หากไม่มี column_name ที่ระบุอยู่ในชุดข้อมูล

compute_summary (ตัวเอง, column_name: str) -> Dict [str, float]

คำนวณสถิติสรุปสำหรับคอลัมน์ตัวเลข

พารามิเตอร์:

column_name ( str ): ชื่อของคอลัมน์ตัวเลขเพื่อคำนวณสถิติสรุป

ผลตอบแทน:

Dict[str, float] : พจนานุกรมที่มีสถิติสรุป (mean, median, std) สำหรับคอลัมน์

เพิ่ม:

ValueError : หากไม่มี column_name ที่ระบุอยู่ในชุดข้อมูล

โทร (ตัวเอง hash_column_name: str = "hash", uuid_column_name: str = "uuid") -> ชุดข้อมูล ชุดข้อมูล

ใช้ทั้งฟังก์ชันแฮชและ UUID กับชุดข้อมูล

พารามิเตอร์:

hash_column_name ( str , ตัวเลือก): ชื่อของคอลัมน์ใหม่ที่จะจัดเก็บค่าแฮช ค่าเริ่มต้นคือ "แฮช"
uuid_column_name ( str เป็นทางเลือก): ชื่อของคอลัมน์ใหม่ที่จะจัดเก็บค่า UUID ค่าเริ่มต้นคือ "uuid"

ผลตอบแทน:

datasets.Dataset : ชุดข้อมูลที่มีทั้งคอลัมน์แฮชและ UUID

ความไม่ลงรอยกันของชุมชน

ตอนนี้คุณสามารถเข้าร่วม สื่อสาร และแบ่งปันบนเซิร์ฟเวอร์ชุมชน HF สำหรับกฎหมายบน Discord ได้แล้ว

ลิงก์ไปยังเซิร์ฟเวอร์: https://discord.gg/adwsfUUhw8

เซิร์ฟเวอร์นี้จะทำให้การสื่อสารระหว่างสมาชิกขององค์กรง่ายขึ้น และสร้างการทำงานร่วมกันรอบโครงการต่างๆ ในสามด้านของแอปพลิเคชันแบบโต้ตอบ ฐานข้อมูล และแบบจำลอง

ตัวอย่างของโครงการที่จะเผยแพร่ในเร็วๆ นี้: การทำซ้ำฐานข้อมูล Laws แต่คราวนี้มีการฝังที่คำนวณไว้แล้วสำหรับรุ่นต่างๆ เพื่อเปิดใช้งานการผสานรวมที่ง่ายขึ้นภายใน Spaces (RAG chatbot ?) และประหยัดค่าใช้จ่ายในการปรับใช้สำหรับผู้ใช้ที่ต้องการใช้เทคโนโลยีเหล่านี้ สำหรับโครงการด้านอาชีพและส่วนตัว

การอ้างอิงและผู้แต่ง

หากคุณใช้รหัสนี้ในการวิจัยของคุณ โปรดใช้รายการ BibTeX ต่อไปนี้

 @misc { louisbrulenaudet2024 ,
  author =       { Louis Brulé Naudet } ,
  title =        { HF for Legal: A Community Package for Legal Applications } ,
  year =         { 2024 }
  howpublished = { url{https://github.com/louisbrulenaudet/hf-for-legal} } ,
}