ttds cw3 research team ดาวน์โหลด - ttds cw3 research team ดาวน์โหลดซอร์สโค้ด

ttds cw3 research team

ซอร์สโค้ดอื่น ๆ

1.0.0

ดาวน์โหลด

ค้นหาซ้ำ — เครื่องมือค้นหาเชิงวิชาการ

การแนะนำ

Re-Search เป็นเครื่องมือค้นหาทางวิชาการที่ใช้ค้นหาชุดข้อมูลโอเพ่นซอร์สและงานวิจัยทางวิชาการที่คล้ายกับ Google Scholar สิ่งนี้สร้างขึ้นโดยเป็นส่วนหนึ่งของรายวิชาสำหรับหลักสูตร Text Technologies for Data Science ของมหาวิทยาลัยเอดินบะระ

- โครงการนี้ยังได้รับรางวัลโครงการยอดเยี่ยมในหมู่นักเรียน 250 คน / กลุ่ม 50+ กลุ่มในหลักสูตรเดียวกัน

คุณสมบัติ

การค้นหาซ้ำทำให้คุณสามารถค้นหาชุดข้อมูลและรายงานการวิจัยที่เปิดเผยต่อสาธารณะโดยใช้อัลกอริธึมการจัดอันดับที่แตกต่างกันสามแบบ ได้แก่ TF-IDF, BM25 และ ScaNN นอกจากนี้ยังรองรับการค้นหาผู้เขียน (ทุกที่ที่จุดข้อมูลอนุญาต) การค้นหาวลี และการค้นหาความใกล้เคียงพร้อมกับประเภทการค้นหาเริ่มต้น

ค้นหาซ้ำใช้ React สำหรับส่วนหน้าโดยมีแบ็กเอนด์รองรับโดย Flask และจัดเก็บข้อมูลในฐานข้อมูล MongoDB มีไมโครเซอร์วิสแยกต่างหากสำหรับอัลกอริทึม ScaNN เนื่องจากทำงานบนเซิร์ฟเวอร์ Linux เท่านั้น เราใช้ Redis สำหรับแคชแบบกระจาย แต่เรายังจัดเตรียมการใช้งาน LRU Cache ที่ทำงานได้โดยไม่ต้องมีแคชแบบกระจายอีกด้วย เราจัดให้มีการปรับสมดุลโหลดและความสามารถในการปรับขนาดแนวนอนด้วย App Engine ของ Google Cloud Platform

การออกแบบระบบที่นำเสนอ
ภาพหน้าจอของหน้าแรก

ติดตั้ง

ติดตั้ง Python 3.5+, Node และ MongoDB
โคลน GitHub Repo และย้ายไปที่มัน
ติดตั้งการพึ่งพา React และ Python ด้วย npm install และ pip install -r requirements.txt
รันด้วย npm start และ flask run ตามลำดับ
เรียกใช้ฐานข้อมูล MongoDB (ไม่ใช่ใน repo) ด้วย sudo service mongod start

คุณสามารถเรียกใช้ไฟล์แบ็กเอนด์ในการผลิตร่วมกับ waitress โดยใช้ไฟล์ prod_*.py อย่างไรก็ตาม ในปัจจุบัน แอปไม่ได้รับการกำหนดค่าให้เพิ่มความสามารถในการปรับขนาดหรือถ่ายโอนข้อมูลได้อย่างปลอดภัย

เร็วๆ นี้เราจะเผยแพร่โครงการนี้บนเซิร์ฟเวอร์ของ SMASH Research Group ในช่วงฤดูร้อน จนกว่าจะถึงตอนนั้น คุณสามารถขอเข้าถึงฐานข้อมูลได้โดยติดต่อ Leo/Yuto