Repo นี้โฮสต์โค้ดเพื่อทำการทดสอบบนชุดข้อมูล DOSA
สร้างสภาพแวดล้อม dosa conda โดยการรัน create_env.py
เปิดใช้งานสภาพแวดล้อมด้วยการเรียกใช้ conda activate dosa
ตั้งค่าตัวแปรสภาพแวดล้อมด้านล่างในไฟล์ .env
OPENAI_API_KEYHF_TOKEN นอกจากนี้ ให้ส่งออกตัวแปร PYTHONPATH เพื่อให้แพ็คเกจทั้งหมดทำงานได้อย่างถูกต้อง หากต้องการเพิ่ม PYTHONPATH ให้เขียนคำสั่งนี้บนเทอร์มินัลของคุณ: export PYTHONPATH=$PYTHONPATH:
หมายเหตุ ตรวจ สอบให้แน่ใจว่าคุณสมัครเพื่อเข้าถึงโมเดล Llama 2 นอกจากนี้เรายังใช้ HuggingFace เพื่อดาวน์โหลดโมเดล llama2 ตรวจสอบให้แน่ใจว่าคุณใช้รหัสอีเมลเดียวกันกับรหัสที่คุณใช้สมัครเพื่อเข้าถึงโมเดล llama 2 สร้าง HF_TOKEN แล้วจัดเก็บไว้ในไฟล์ .env
หากคุณใช้ชุดข้อมูลหรือโค้ด โปรดใช้ bibTEX ต่อไปนี้:
@inproceedings{seth-etal-2024-dosa-dataset,
title = "{DOSA}: A Dataset of Social Artifacts from Different {I}ndian Geographical Subcultures",
author = "Seth, Agrima and
Ahuja, Sanchit and
Bali, Kalika and
Sitaram, Sunayana",
editor = "Calzolari, Nicoletta and
Kan, Min-Yen and
Hoste, Veronique and
Lenci, Alessandro and
Sakti, Sakriani and
Xue, Nianwen",
booktitle = "Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024)",
month = may,
year = "2024",
address = "Torino, Italia",
publisher = "ELRA and ICCL",
url = "https://aclanthology.org/2024.lrec-main.474",
pages = "5323--5337",
abstract = "Generative models are increasingly being used in various applications, such as text generation, commonsense reasoning, and question-answering. To be effective globally, these models must be aware of and account for local socio-cultural contexts, making it necessary to have benchmarks to evaluate the models for their cultural familiarity. Since the training data for LLMs is web-based and the Web is limited in its representation of information, it does not capture knowledge present within communities that are not on the Web. Thus, these models exacerbate the inequities, semantic misalignment, and stereotypes from the Web. There has been a growing call for community-centered participatory research methods in NLP. In this work, we respond to this call by using participatory research methods to introduce DOSA, the first community-generated Dataset of 615 Social Artifacts, by engaging with 260 participants from 19 different Indian geographic subcultures. We use a gamified framework that relies on collective sensemaking to collect the names and descriptions of these artifacts such that the descriptions semantically align with the shared sensibilities of the individuals from those cultures. Next, we benchmark four popular LLMs and find that they show significant variation across regional sub-cultures in their ability to infer the artifacts.",
}
โครงการนี้ยินดีรับการสนับสนุนและข้อเสนอแนะ การบริจาคส่วนใหญ่กำหนดให้คุณต้องยอมรับข้อตกลงใบอนุญาตช่างภาพ (CLA) โดยประกาศว่าคุณมีสิทธิ์ที่จะให้สิทธิ์แก่เราในการใช้การบริจาคของคุณจริงๆ สำหรับรายละเอียด โปรดไปที่ https://cla.opensource.microsoft.com
เมื่อคุณส่งคำขอดึง บอท CLA จะกำหนดโดยอัตโนมัติว่าคุณจำเป็นต้องจัดเตรียม CLA และตกแต่ง PR อย่างเหมาะสมหรือไม่ (เช่น การตรวจสอบสถานะ ความคิดเห็น) เพียงทำตามคำแนะนำที่ได้รับจากบอท คุณจะต้องทำสิ่งนี้เพียงครั้งเดียวกับ repos ทั้งหมดโดยใช้ CLA ของเรา
โครงการนี้ได้นำหลักจรรยาบรรณของ Microsoft Open Source มาใช้ สำหรับข้อมูลเพิ่มเติม โปรดดูคำถามที่พบบ่อยเกี่ยวกับจรรยาบรรณหรือติดต่อ [email protected] หากมีคำถามหรือความคิดเห็นเพิ่มเติม
โครงการนี้อาจมีเครื่องหมายการค้าหรือโลโก้สำหรับโครงการ ผลิตภัณฑ์ หรือบริการ การใช้เครื่องหมายการค้าหรือโลโก้ของ Microsoft โดยได้รับอนุญาตนั้นอยู่ภายใต้และต้องปฏิบัติตามแนวทางเครื่องหมายการค้าและแบรนด์ของ Microsoft การใช้เครื่องหมายการค้าหรือโลโก้ของ Microsoft ในเวอร์ชันแก้ไขของโครงการนี้จะต้องไม่ทำให้เกิดความสับสนหรือบ่งบอกถึงการสนับสนุนของ Microsoft การใช้เครื่องหมายการค้าหรือโลโก้ของบุคคลที่สามจะต้องเป็นไปตามนโยบายของบุคคลที่สามเหล่านั้น
โปรดดูใบอนุญาตข้อมูลของเราที่นี่
คุณสามารถอ่านเพิ่มเติมเกี่ยวกับคำชี้แจงสิทธิ์ส่วนบุคคลของ Microsoft ได้ที่นี่
