google books ngram frequency

รายการความถี่ n-gram ของ Google หนังสือ

พื้นที่เก็บข้อมูลนี้จัดเตรียมรายการคำศัพท์และ n-grams ที่พบบ่อยที่สุด (ลำดับของ n คำ) ที่สะอาดแล้ว รวมถึงคำแปลภาษาอังกฤษบางส่วนของ Google Books Ngram Corpus (v3/20200217 ทุกภาษา) พร้อมด้วยโค้ด Python ที่ปรับแต่งได้ซึ่งจะสร้างรายการเหล่านี้ขึ้นมาใหม่

รายการที่มี n-กรัม

รายการที่มี n-grams บ่อยที่สุดจะมีแยกตามภาษาและ n ภาษาที่ใช้ได้ ได้แก่ จีน (ตัวย่อ) อังกฤษ นวนิยายอังกฤษ ฝรั่งเศส เยอรมัน ฮิบรู อิตาลี รัสเซีย และสเปน n มีตั้งแต่ 1 ถึง 5 ในรายการที่ให้มา กลุ่มภาษาย่อยถูกจำกัดไว้เฉพาะหนังสือที่ตีพิมพ์ในปี 2010-2019 แต่ในโค้ด Python สามารถปรับเปลี่ยนทั้งสิ่งนี้และจำนวน n-gram ที่พบบ่อยที่สุดได้

รายการต่างๆ อยู่ในไดเร็กทอรี ngrams สำหรับทุกภาษายกเว้นรายการทำความสะอาดภาษาฮิบรูสำหรับ

• 10.000 1 กรัมที่พบบ่อยที่สุด
• 5.000 2 กรัมที่พบบ่อยที่สุด
• 3.000 3 กรัมที่พบบ่อยที่สุด
• 1.000 4 กรัมที่พบบ่อยที่สุด
• 5 กรัมที่พบบ่อยที่สุด 1,000

สำหรับภาษาฮีบรู เนื่องจากคลังข้อมูลมีขนาดเล็ก จึงมีเพียง 4 กรัมที่ใช้บ่อยที่สุด 200 รายการ และ 5 กรัมที่ใช้บ่อยที่สุด 80 รายการ

รายการที่ล้างทั้งหมดยังประกอบด้วยจำนวนครั้งที่แต่ละ n-gram เกิดขึ้นในคลังข้อมูล (ความถี่, คอลัมน์ freq ) สำหรับ 1 กรัม (คำ) มีสองคอลัมน์เพิ่มเติม:

1. cumshare ซึ่งสำหรับแต่ละคำจะมีส่วนแบ่งสะสมของคำทั้งหมดในคลังข้อมูลที่สร้างขึ้นโดยคำนั้นและคำที่ใช้บ่อยมากขึ้นทั้งหมด
2. en ซึ่งมีคำแปลภาษาอังกฤษของคำที่ได้รับโดยใช้ Google Cloud Translate API (สำหรับภาษาที่ไม่ใช่ภาษาอังกฤษเท่านั้น)

นี่คือ 10 แถวแรกของ 1grams_french.csv:

งแกรม	ความถี่	คัมแชร์	ห้องน้ำในตัว
เดอ	1380202965	0.048	ของ
ลา	823756863	0.077	ที่
et	651571349	0.100	และ
เลอ	614855518	0.121	ที่
อา	577644624	0.142	ที่
ฉัน	527188618	0.160	ที่
เล	503689143	0.178	พวกเขา
ห้องน้ำในตัว	390657918	0.191	ใน
รายละเอียด	384774428	0.205	ของ

รายการที่พบในไดเร็กทอรี ngrams โดยตรงได้รับการล้างข้อมูลแล้ว และมีวัตถุประสงค์เพื่อใช้ในการพัฒนาสื่อการเรียนรู้ภาษา ไดเร็กทอรีย่อย ngrams/more มีเวอร์ชันที่ไม่สะอาดและสะอาดน้อยกว่า ซึ่งอาจเป็นประโยชน์สำหรับนักภาษาศาสตร์:

• raw n-grams ที่พบบ่อยที่สุดเมื่อ Google จัดเก็บไว้ (ต่อท้าย 0_raw )
• เก็บเฉพาะรายการที่ไม่มีแท็กส่วนของคำพูด (POS) (ต่อท้าย 1a_no_pos )
• เก็บเฉพาะรายการที่มีแท็ก POS เท่านั้น (สำหรับ 1 กรัมเท่านั้น ต่อท้าย 1b_with_pos )
• รายการที่แยกออกจากรายการล้างสุดท้าย (ต่อท้าย 2_removed )

การเรียนรู้ภาษาด้วยสิ่งนี้

เพื่อเป็นแรงจูงใจว่าทำไมการใช้คำที่ใช้บ่อยที่สุดก่อนจึงเป็นความคิดที่ดีในการเรียนภาษา จึงได้จัดให้มีกราฟต่อไปนี้

สำหรับแต่ละภาษา ระบบจะพล็อตอันดับความถี่ของแต่ละ 1 กรัม (เช่น คำ) บนแกน x และ cumshare บนแกน y ตัวอย่างเช่น หลังจากเรียนรู้คำศัพท์ภาษาฝรั่งเศสที่พบบ่อยที่สุด 1,000 คำ เราก็สามารถเข้าใจคำศัพท์มากกว่า 70% ของคำทั้งหมดโดยนับเป็นคำซ้ำ ซึ่งเกิดขึ้นในหนังสือทั่วไปที่ตีพิมพ์ระหว่างปี 2010 ถึง 2019 ในเวอร์ชัน 20200217 ของ Google Books ภาษาฝรั่งเศส Ngram Corpus

สำหรับ n-grams ที่ไม่ใช่ 1-grams ผลตอบแทนจากการเรียนรู้คำที่ใช้บ่อยที่สุดนั้นไม่ได้สูงชันมากนัก เนื่องจากมีการผสมผสานคำที่เป็นไปได้มากมาย ถึงกระนั้น ผู้คนมักจะเรียนรู้ได้ดีขึ้นเมื่อเรียนรู้สิ่งต่าง ๆ ในบริบท ดังนั้นการใช้งานอย่างหนึ่งอาจเป็นการค้นหาวลีตัวอย่างทั่วไปสำหรับแต่ละ 1 กรัม อีกวิธีหนึ่งมีดังต่อไปนี้ สมมติว่าใครคนหนึ่งต้องการเรียนรู้คำศัพท์ที่ใช้บ่อยที่สุด 1,000 คำในบางภาษา ตัวอย่างเช่น เราสามารถสร้างรายการขั้นต่ำของคำศัพท์ 4 กรัมที่พบบ่อยที่สุดซึ่งรวมถึงคำศัพท์ 1,000 คำเหล่านี้และเรียนรู้มัน

แม้ว่ารายการ n-gram ได้รับการทำความสะอาดโดยคำนึงถึงการเรียนรู้ภาษาและมีการแปลเป็นภาษาอังกฤษบางส่วน แต่รายการเหล่านั้นไม่ได้มีวัตถุประสงค์เพื่อใช้ในการเรียนรู้โดยตรง แต่เป็นแหล่งข้อมูลระดับกลางสำหรับการพัฒนาสื่อการเรียนรู้ภาษา คำแปลที่ให้ไว้จะให้คำภาษาอังกฤษที่ใกล้เคียงกับความหมายทั่วไปของคำนั้นมากที่สุดเท่านั้น นอกจากนี้ ขึ้นอยู่กับเป้าหมายในการเรียนรู้ภาษา Google Books Ngram Corpus อาจไม่ใช่คลังข้อมูลที่ดีที่สุดในการเรียนรู้ภาษา - ดูหัวข้อถัดไป

คลังข้อมูลที่ซ่อนอยู่

พื้นที่เก็บข้อมูลนี้อิงตาม Google Books Ngram Corpus เวอร์ชัน 3 (พร้อมตัวระบุเวอร์ชัน 20200217) ซึ่ง Google ให้บริการเป็นรายการ n-gram ที่นี่ นี่เป็นข้อมูลที่รองรับ Google Books Ngram Viewer ด้วย คลังข้อมูลเป็นส่วนย่อยที่ Google เลือกโดยพิจารณาจากคุณภาพของการรู้จำอักขระแบบออพติคอลและข้อมูลเมตาของหนังสือที่แปลงเป็นดิจิทัลโดย Google และมีหนังสือประมาณ 6% ของหนังสือทั้งหมดที่เคยตีพิมพ์ (1, 2, 3)

เมื่อประเมินคุณภาพของคลังข้อมูล ทั้งขนาดและความเป็นตัวแทนของประเภทของวัสดุที่สนใจมีความสำคัญ

ขนาด

Google Books Ngram Corpus เวอร์ชัน 3 มีขนาดใหญ่มาก เนื่องจากตารางการนับจำนวนคำตามภาษาและคลังข้อมูลย่อยนี้แสดงให้เห็น:

ภาษา	#คำตลอดทั้งปี	# คำ 2553-2562
ชาวจีน	10,778,094,737	257,989,144
ภาษาอังกฤษ	1,997,515,570,677	283,795,232,871
ภาษาอังกฤษแบบอเมริกัน	1,167,153,993,435	103,514,367,264
ภาษาอังกฤษแบบอังกฤษ	336,950,312,247	45,271,592,771
นิยายภาษาอังกฤษ	158,981,617,587	73,746,188,539
ภาษาฝรั่งเศส	328,796,168,553	35,216,041,238
เยอรมัน	286,463,423,242	57,039,530,618
ภาษาฮีบรู	7,263,771,123	76,953,586
ภาษาอิตาลี	120,410,089,963	15,473,063,630
ภาษารัสเซีย	89,415,200,246	19,648,780,340
สเปน	158,874,356,254	17,573,531,785

โปรดทราบว่าตัวเลขเหล่านี้เป็นจำนวนคำทั้งหมด ไม่ใช่จำนวนคำที่ไม่ซ้ำ นอกจากนี้ยังรวมคำหลายคำที่ไม่ใช่คำที่ถูกต้อง แต่เนื่องจากขนาดของคลังข้อมูล ขั้นตอนการทำความสะอาดจึงดำเนินการกับคำที่พบบ่อยที่สุดเท่านั้น ดังนั้นจำนวนคำที่จะยังคงอยู่ในคลังข้อมูลทั้งหมดหลังจากทำความสะอาดจึงไม่สามารถใช้งานได้ นอกจากนี้ Google ยังอัปโหลดเฉพาะคำที่ปรากฏมากกว่า 40 ครั้ง ในขณะที่จำนวนเหล่านี้ยังรวมคำที่ปรากฏน้อยกว่านั้นด้วย

เราพบว่าแม้จะจำกัดกลุ่มภาษาไว้เฉพาะหนังสือที่ตีพิมพ์ในช่วง 10 ปีที่ผ่านมา แต่จำนวนคำยังคงมีมากกว่า 15 พันล้านคำสำหรับแต่ละกลุ่มย่อย ยกเว้นภาษาจีนและฮีบรู ซึ่งมีขนาดใหญ่กว่าคลังข้อมูลอื่นๆ ที่ใช้กันทั่วไปอย่างมาก ซึ่งดูเหมือนจะไม่มีคำศัพท์มากกว่าหนึ่งพันล้านคำ และมักจะมีขนาดเล็กกว่านั้นมาก (4)

ความเป็นตัวแทน

เมื่อพูดถึงความเป็นตัวแทนก็ขึ้นอยู่กับวัตถุประสงค์การใช้งาน Google Books Ngram Corpus มีเฉพาะหนังสือเท่านั้น (ไม่มีวารสาร ภาษาพูด เว็บไซต์ ฯลฯ) หนังสือแต่ละฉบับจะรวมไว้ไม่เกินหนึ่งครั้ง หนังสือเหล่านี้ส่วนใหญ่มาจากห้องสมุดมหาวิทยาลัยขนาดใหญ่จำนวนไม่มาก ซึ่งมี "มากกว่า 40" ในเวอร์ชัน 1 ของคลังข้อมูล ในขณะที่ส่วนแบ่งน้อยกว่าจะได้มาจากผู้จัดพิมพ์โดยตรง (1) ตัวอย่างเช่น หากใครตั้งใจจะใช้คลังข้อมูลนี้ในการเรียนรู้ภาษาที่คนส่วนใหญ่จะอ่านหนังสือประเภทที่ห้องสมุดมหาวิทยาลัยขนาดใหญ่สนใจ คำต่างๆ ในคลังข้อมูลนี้ก็น่าจะเป็นตัวแทนของจำนวนคำค่อนข้างมาก เราอาจจะต้องเผชิญหน้ากันในอนาคต

รหัสหลาม

โค้ดที่สร้างทุกอย่างอยู่ในไดเร็กทอรี python ไฟล์ .py แต่ละไฟล์เป็นสคริปต์ที่สามารถเรียกใช้จากบรรทัดคำสั่งโดยใช้ python python/filename โดยที่ไดเร็กทอรีการทำงานจะต้องเป็นไดเร็กทอรีที่มีไดเร็กทอรี python ไฟล์ .py ทุกไฟล์มีส่วนการตั้งค่าที่ด้านบน และสามารถระบุการตั้งค่าการทำความสะอาดเพิ่มเติมได้โดยใช้ไฟล์ใน python/extra_settings การตั้งค่าเริ่มต้นได้รับเลือกเพื่อให้โค้ดทำงานเร็วพอสมควร และรักษาขนาดพื้นที่เก็บข้อมูลผลลัพธ์ให้เล็กพอสมควร

สืบพันธุ์ทุกสิ่ง

อีกทางหนึ่ง เริ่มต้นด้วยการเรียกใช้ create_source_data_lists.py จากไดเรกทอรีรากของที่เก็บเพื่อสร้างโฟลเดอร์แหล่งข้อมูลขึ้นใหม่พร้อมรายการลิงก์ไปยังไฟล์ข้อมูลต้นฉบับของ Google

เรียกใช้ download_and_extract_most_freq.py จากไดเร็กทอรีรากของที่เก็บเพื่อดาวน์โหลดไฟล์แต่ละไฟล์ที่แสดงอยู่ในแหล่งข้อมูล (ไฟล์ ".gz") และแยก n-grams ที่พบบ่อยที่สุดในนั้นลงในรายการที่บันทึกไว้ใน ngrams/more/{lang}/most_freq_ngrams_per_gz_file . เพื่อประหยัดทรัพยากรคอมพิวเตอร์ แต่ละไฟล์ .gz จะถูกลบทันทีหลังจากนี้ เนื่องจากรายการ n-grams ที่พบบ่อยที่สุดต่อไฟล์ .gz-file ยังคงใช้พื้นที่ประมาณ 36GB ตามการตั้งค่าเริ่มต้น จึงมีเพียงรายการตัวอย่างเดียวเท่านั้นที่ถูกอัปโหลดไปยัง GitHub: ngrams_1-00006-of-00024.gz.csv ไม่มีการทำความสะอาดใดๆ ในขั้นตอนนี้ ดังนั้นข้อมูลดิบจึงมีลักษณะดังนี้

เรียกใช้ Gather_and_clean.py เพื่อรวบรวม n-grams ทั้งหมดลงในรายการของรายการที่พบบ่อยที่สุดโดยรวม และล้างรายการเหล่านี้ (ดูรายละเอียดในส่วนถัดไป)

เรียกใช้ google_cloud_translate.py เพื่อเพิ่มการแปลภาษาอังกฤษให้กับ 1 กรัมที่ไม่ใช่ภาษาอังกฤษทั้งหมดโดยใช้ Google Cloud Translate API (ต้องใช้คีย์ API ดูที่ส่วนหัวของไฟล์) ตามค่าเริ่มต้นจะมีการแปลเพียง 1 กรัมและเป็นภาษาอังกฤษเท่านั้น แต่เมื่อเปลี่ยนการตั้งค่า n-gram ใดๆ ก็สามารถแปลเป็นภาษาใดๆ ที่ Google สนับสนุนได้ Google สุ่มใช้อักษรตัวพิมพ์ใหญ่ในการแปล ดังนั้นจึงมีความพยายามที่จะแก้ไขให้ถูกต้อง นอกจากนี้ มีการใช้การแก้ไขด้วยตนเองในจำนวนจำกัดโดยใช้ manual_translations_1grams.csv

สุดท้ายนี้ graph_1grams_cumshare_rank.py จะสร้าง graph_1grams_cumshare_rank_light.svg และเวอร์ชันสีเข้ม

ทำตามขั้นตอนการทำความสะอาดแล้ว

ขั้นตอนการทำความสะอาดทั้งหมดดำเนินการใน Gather_and_clean.py ยกเว้นการทำความสะอาดการแปลของ Google

ขั้นตอนการทำความสะอาดต่อไปนี้ดำเนินการโดยทางโปรแกรม:

1. แท็กส่วนของคำพูด (POS) จะถูกลบออก
2. 1 กรัม ฝรั่งเศสและอิตาลี : การหดตัวจะแยกกัน
3. ส่วนท้าย "_" จะถูกลบออก
4. n-grams ที่เป็นตัวพิมพ์ใหญ่และ uncapitalized ถูกรวมเข้าด้วยกัน
5. ลบ n-gram ที่ประกอบด้วยเครื่องหมายวรรคตอนและ/หรือตัวเลขเท่านั้น
6. 1 กรัม, เยอรมัน : คำที่มีเฉพาะตัวพิมพ์ใหญ่จะถูกลบออก เว้นแต่จะอยู่ในรายการข้อยกเว้นที่สร้างขึ้นด้วยตนเอง upcases_to_keep.csv
7. 1 กรัม ยกเว้นภาษาเยอรมัน : คำที่ขึ้นต้นด้วยอักษรตัวพิมพ์ใหญ่จะถูกลบออก เว้นแต่ในรายการข้อยกเว้นที่สร้างขึ้นด้วยตนเอง upcases_to_keep.csv
8. 1 กรัม : คำที่มีอักขระหนึ่งตัวจะถูกลบออก เว้นแต่ในรายการข้อยกเว้นที่สร้างขึ้นด้วยตนเอง onechars_to_keep.csv
9. เยอรมันและรัสเซีย : การหดตัวจะถูกลบออก
10. นิยายภาษาอังกฤษ : ลบ n-gram หากขึ้นต้นด้วย "'"
11. n-grams ที่มีอักขระที่ไม่ใช่คำอื่นที่ไม่ใช่ "'" , " " และ "," จะถูกลบออก
    • นอกจากนี้ นอกเหนือจาก "-" สำหรับภาษารัสเซียและ """ สำหรับภาษาฮีบรู
12. n-กรัมที่มีตัวเลขจะถูกลบออก
13. n-grams ในตัวอักษรที่ไม่ถูกต้องจะถูกลบออก

นอกจากนี้ ขั้นตอนการทำความสะอาดต่อไปนี้ได้ดำเนินการด้วยตนเอง โดยใช้คำแปลภาษาอังกฤษเพื่อช่วยในการตัดสินใจ:

14. 1 กรัม ทุกภาษา : รายการคำที่ถูกลบได้รับการตรวจสอบแล้วว่ามีการลบคำผิดหรือไม่
15. 1 กรัม ยกเว้นภาษาฮิบรู : รายการทำความสะอาดได้รับการตรวจสอบอย่างเต็มที่เพื่อหาคำพิเศษที่จะยกเว้น
16. 1 กรัม ฮิบรู : รายการทำความสะอาดได้รับการตรวจสอบเพื่อหาคำพิเศษที่จะยกเว้นไม่เกินอันดับ 100
17. เมื่อพบ n-gram ที่รวมหรือแยกออกอย่างไม่ถูกต้องในระหว่างขั้นตอนการทำความสะอาดด้วยตนเองด้านบน สิ่งนี้ได้รับการแก้ไขโดยการปรับกฎทางโปรแกรมหรือโดยการเพิ่มพวกมันลงในรายการข้อยกเว้นรายการใดรายการหนึ่ง หรือโดยการเพิ่มลงในรายการพิเศษขั้นสุดท้าย n-กรัมที่จะยกเว้น
18. n-grams ในรายการ n-grams พิเศษที่สร้างขึ้นด้วยตนเองที่จะแยกออกได้ถูกลบออกแล้ว รายการเหล่านี้อยู่ใน python/extra_settings และชื่อ extra_{n}grams_to_exclude.csv

เมื่อตัดสินใจด้วยตนเองว่าจะรวมและไม่รวมคำใดจะใช้กฎต่อไปนี้ ไม่รวม : ชื่อบุคคล (ข้อยกเว้นบางประการ: พระเยซู พระเจ้า) ชื่อเมือง (ข้อยกเว้นบางประการ: หากแตกต่างจากภาษาอังกฤษมากและแพร่หลายมากพอ) ชื่อบริษัท ตัวย่อ (ข้อยกเว้นบางประการ เช่น ma, pa) ส่วนของคำ คำใน ภาษาที่ไม่ถูกต้อง (ยกเว้นในกรณีที่มีการใช้งานทั่วไป) ไม่รวม : ชื่อประเทศ ชื่อกลุ่มชาติพันธุ์/ชาติ ชื่อทางภูมิศาสตร์ (เช่น แม่น้ำ มหาสมุทร) ภาษาพูด คำอุทาน

งานที่เกี่ยวข้อง

หากต้องการดูรายการคำทั้งหมดที่สร้างขึ้นอย่างระมัดระวังในส่วนภาษาอังกฤษของ Google Books Ngram Corpus (เวอร์ชัน 20200217) จัดเรียงตามความถี่ โปรดดูที่พื้นที่เก็บข้อมูลของ hackerb9/gwordlist

รายการความถี่ที่หลากหลายในหลายภาษามีอยู่ในวิกิพจนานุกรม

ข้อจำกัดและปัญหาที่ทราบ

สิ่งที่ต้องทำต่อไปคือการทำความสะอาดด้วยตนเองครั้งสุดท้ายสำหรับภาษาฮิบรู และการทำความสะอาดรายการ n-กรัมสำหรับ n > 1 ปัญหาที่อาจได้รับการแก้ไขในอนาคตคือบางคำอย่างหลังมี "," เป็นคำ . อาจเป็นที่พึงปรารถนาที่จะรวมคำย่อที่ใช้บ่อยกว่านี้ด้วย ไม่มีรายการ n-gram แยกกันสำหรับกลุ่มภาษาอังกฤษแบบอเมริกันและภาษาอังกฤษแบบอังกฤษ แน่นอนว่ายังมีข้อผิดพลาดอยู่บ้าง

เนื้อหาของพื้นที่เก็บข้อมูลนี้ได้รับอนุญาตภายใต้ Creative Commons Attribution 3.0 Unported License ยินดีเป็นอย่างยิ่งกับรายงานปัญหาและคำขอดึงข้อมูล!