nlp lang

nlp-lang

##มาเวน

 <dependencies>
    <dependency>
        <groupId>org.nlpcn</groupId>
        <artifactId>nlp-lang</artifactId>
        <version>1.7.6</version>
    </dependency>
</dependencies>

โปรเจ็กต์นี้เป็นแพ็คเกจพื้นฐาน โดยสรุปเครื่องมือทั่วไปส่วนใหญ่ไว้ในโปรเจ็กต์ nlp

เครื่องมือ

• √ การสร้างมาตรฐานคำ
• √ โครงสร้างต้นยาง
• √ ทรียางอาเรย์คู่
• √ การแบ่งส่วนข้อความ
• √ การทำความสะอาดแท็ก html
• √ เพิ่มอัลกอริทึม Viterbi แล้ว

ส่วนประกอบ

• √ แปลงอักษรจีนเป็นพินอิน
• √ การแปลงระหว่างภาษาจีนตัวย่อและตัวเต็ม
• √ บลูมฟิลเตอร์
• √ การขจัดข้อมูลซ้ำซ้อนของลายนิ้วมือ
• √ การคำนวณความคล้ายคลึงกันของบทความ SimHash
• √ สถิติการเกิดร่วมของ Word
• √ ข้อความค้นหาตามหน่วยความจำ
• √ สถิติความถี่คำ WordWeight, สถิติ idf คำ, สถิติความสัมพันธ์หมวดหมู่คำ