kroomsa ดาวน์โหลด - ดาวน์โหลด kroomsa ซอร์สโค้ด

kroomsa

ซอร์สโค้ดอื่น ๆ

1.0.0

ดาวน์โหลด

กรูมซา

เครื่องมือค้นหาสำหรับผู้อยากรู้อยากเห็น เป็นอัลกอริธึมการค้นหาที่ออกแบบมาเพื่อดึงดูดผู้ใช้โดยเปิดเผยเนื้อหาที่เกี่ยวข้องและน่าสนใจในระหว่างเซสชัน

คำอธิบาย

อัลกอริธึมการค้นหาที่ใช้ในเว็บไซต์ของคุณมีอิทธิพลอย่างมากต่อการมีส่วนร่วมของผู้เข้าชม การใช้งานที่เหมาะสมสามารถลดการพึ่งพาเครื่องมือค้นหามาตรฐานเช่น Google ลงได้อย่างมากสำหรับทุกข้อความค้นหา ซึ่งจะเป็นการเพิ่มการมีส่วนร่วม วิธีการแบบดั้งเดิมจะดูคำหรือวลีในแบบสอบถามของคุณเพื่อค้นหาเนื้อหาที่เกี่ยวข้องโดยพิจารณาจากการจับคู่วากยสัมพันธ์ Kroomsa ใช้การจับคู่ความหมายเพื่อค้นหาเนื้อหาที่เกี่ยวข้องกับข้อความค้นหาของคุณ มีโพสต์ในบล็อกที่ขยายความเกี่ยวกับแรงจูงใจของ Kroomsa และแง่มุมทางเทคนิค

เริ่มต้นใช้งาน

ข้อกำหนดเบื้องต้น

หลาม 3.6.5
รันการตั้งค่าไดเร็กทอรีโปรเจ็กต์: python3 ./setup.py ในไดเร็กทอรีราก
ตัวเข้ารหัสประโยคสากลของ Tensorflow 4
- รุ่นนี้มีจำหน่ายที่ลิงค์นี้ครับ ดาวน์โหลดโมเดลและแตกไฟล์ zip ในไดเร็กทอรี /vectorizer
MongoDB ถูกใช้เป็นฐานข้อมูลเพื่อเปรียบเทียบการส่งของ Reddit สามารถติดตั้ง MongoDB ได้ตามลิงค์นี้
เพื่อดึงความคิดเห็นจากการส่ง Reddit จะใช้ PRAW เพื่อขูดข้อมูลรับรองเป็นสิ่งจำเป็นที่อนุญาตสคริปต์เดียวกัน ทำได้โดยการสร้างแอปที่เชื่อมโยงกับบัญชี Reddit โดยไปที่ลิงก์นี้ เพื่อเป็นข้อมูลอ้างอิง คุณสามารถติดตามบทช่วยสอนนี้ที่เขียนโดย Shantnu Tiwari
- ลงทะเบียนหลายอินสแตนซ์และดึงข้อมูลประจำตัว จากนั้นเพิ่มลงใน /config ภายใต้พารามิเตอร์ bot_codes ในรูปแบบต่อไปนี้: "client_id client_secret user_agent" เป็นองค์ประกอบรายการที่คั่นด้วย ,
เขียนนักเทียบท่า (สำหรับการปรับใช้แบบเชื่อมต่อเท่านั้น): ติดตั้งเวอร์ชันล่าสุดตามลิงก์นี้

กำลังติดตั้ง

สร้างสภาพแวดล้อมหลามและติดตั้งแพ็คเกจที่จำเป็นสำหรับการประมวลผลล่วงหน้าโดยใช้: python3 -m pip install -r ./preprocess_requirements.txt
การรวบรวมชุดข้อมูลของการส่ง Reddit
- การขูดโพสต์
  - API ของ Pushshift ถูกใช้เพื่อดึงข้อมูลการส่ง Reddit ในไดเร็กทอรีราก ให้รันคำสั่งต่อไปนี้: python3 ./pre_processing/scraping/questions/scrape_questions.py เปิดตัวสคริปต์ที่คัดลอก subreddits ตามลำดับจนถึงการเริ่มต้นและจัดเก็บการส่งเป็นวัตถุ JSON ใน /pre_processing/scraping/questions/scraped_questions จากนั้นจะแบ่งพาร์ติชันการส่งที่คัดลอกออกเป็นส่วนเท่าๆ กันตามที่มีอินสแตนซ์ของบอทที่ลงทะเบียนไว้
- ขูดความคิดเห็น
  - หลังจากเติมการกำหนดค่าด้วย bot_codes แล้ว เราก็สามารถเริ่มคัดลอกความคิดเห็นได้โดยใช้ไฟล์การส่งแบบแบ่งพาร์ติชันที่สร้างขึ้นขณะคัดลอกการส่ง การใช้คำสั่งต่อไปนี้: python3 ./pre_processing/scraping/comments/scrape_comments.py มีกระบวนการหลายกระบวนการที่ดึงข้อมูลสตรีมความคิดเห็นพร้อมกัน
- การแทรก
  - หากต้องการแทรกการส่งและความคิดเห็นที่เกี่ยวข้อง ให้ใช้คำสั่งต่อไปนี้: python3 ./pre_processing/db_insertion/insertion.py มันแทรกโพสต์และความคิดเห็นที่เกี่ยวข้องใน mongo
  - หากต้องการล้างความคิดเห็นและแท็กโพสต์ที่ไม่เปิดเผยต่อสาธารณะไม่ว่าด้วยเหตุผลใดก็ตาม ให้เรียกใช้ python3 ./post_processing/post_processing.py นอกเหนือจากการทำความสะอาดแล้ว ยังเพิ่มอิโมจิให้กับวัตถุการส่งแต่ละรายการด้วย (ลักษณะการทำงานนี้สามารถกำหนดค่าได้)
การสร้างดัชนี FAISS
- หากต้องการสร้างดัชนี FAISS ให้รันคำสั่งต่อไปนี้: python3 ./index/build_index.py ตามค่าเริ่มต้น ระบบจะสร้าง IDMap, Flat แต่สามารถกำหนดค่าได้ผ่าน /config
การถ่ายโอนข้อมูลฐานข้อมูล (สำหรับการปรับใช้แบบเชื่อมต่อ)
- สำหรับการปรับใช้แบบเทียบท่า จำเป็นต้องมีดัมพ์ฐานข้อมูลใน /mongo_dump ใช้คำสั่งต่อไปนี้ที่ root dir เพื่อสร้างดัมพ์ฐานข้อมูล mongodump --db database_name(default: red) --collection collection_name(default: questions) -o ./mongo_dump

การดำเนินการ

การปรับใช้ในพื้นที่ (การใช้ Gunicorn)
- สร้างสภาพแวดล้อมหลามและติดตั้งแพ็คเกจที่จำเป็นโดยใช้คำสั่งต่อไปนี้: python3 -m pip install -r ./inference_requirements.txt
- คุณสามารถปรับใช้อินสแตนซ์ในเครื่องของ Kroomsa ได้โดยใช้คำสั่งต่อไปนี้: gunicorn -c ./gunicorn_config.py server:app
การสาธิตแบบเทียบท่า
- ตั้งค่า demo_mode เป็น True ใน /config
- สร้างอิมเมจ: docker-compose build
- ปรับใช้: docker-compose up