DOSA-Download - Download des DOSA-Quellcodes

DOSA

Anderer Quellcode

Herunterladen

DOSA: Ein Datensatz sozialer Artefakte aus verschiedenen geografischen Subkulturen Indiens

Dieses Repo hostet den Code zum Ausführen von Experimenten mit dem DOSA -Datensatz.

Umgebung schaffen

Erstellen Sie die dosa Conda-Umgebung, indem Sie create_env.py ausführen

Aktivieren Sie die Umgebung, indem Sie conda activate dosa ausführen

Umgebungsvariablen

Legen Sie die folgenden Umgebungsvariablen in der .env-Datei fest

OPENAI_API_KEY
HF_TOKEN

Exportieren Sie außerdem die Variable PYTHONPATH , damit alle Pakete ordnungsgemäß funktionieren. Um PYTHONPATH hinzuzufügen, schreiben Sie diesen Befehl auf Ihrem Terminal: export PYTHONPATH=$PYTHONPATH:

Hinweis Stellen Sie sicher, dass Sie einen Zugang zum Llama 2-Modell beantragen. Außerdem verwenden wir HuggingFace, um das llama2-Modell herunterzuladen. Stellen Sie sicher, dass Sie dieselbe E-Mail-ID verwenden wie die, mit der Sie den Zugriff auf das Lama-2-Modell beantragt haben. Generieren Sie das HF_TOKEN und speichern Sie es dann in der .env Datei

Zitat

Wenn Sie den Datensatz oder den Code verwenden, verwenden Sie bitte den folgenden bibTEX:

 @inproceedings{seth-etal-2024-dosa-dataset,
    title = "{DOSA}: A Dataset of Social Artifacts from Different {I}ndian Geographical Subcultures",
    author = "Seth, Agrima  and
      Ahuja, Sanchit  and
      Bali, Kalika  and
      Sitaram, Sunayana",
    editor = "Calzolari, Nicoletta  and
      Kan, Min-Yen  and
      Hoste, Veronique  and
      Lenci, Alessandro  and
      Sakti, Sakriani  and
      Xue, Nianwen",
    booktitle = "Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024)",
    month = may,
    year = "2024",
    address = "Torino, Italia",
    publisher = "ELRA and ICCL",
    url = "https://aclanthology.org/2024.lrec-main.474",
    pages = "5323--5337",
    abstract = "Generative models are increasingly being used in various applications, such as text generation, commonsense reasoning, and question-answering. To be effective globally, these models must be aware of and account for local socio-cultural contexts, making it necessary to have benchmarks to evaluate the models for their cultural familiarity. Since the training data for LLMs is web-based and the Web is limited in its representation of information, it does not capture knowledge present within communities that are not on the Web. Thus, these models exacerbate the inequities, semantic misalignment, and stereotypes from the Web. There has been a growing call for community-centered participatory research methods in NLP. In this work, we respond to this call by using participatory research methods to introduce DOSA, the first community-generated Dataset of 615 Social Artifacts, by engaging with 260 participants from 19 different Indian geographic subcultures. We use a gamified framework that relies on collective sensemaking to collect the names and descriptions of these artifacts such that the descriptions semantically align with the shared sensibilities of the individuals from those cultures. Next, we benchmark four popular LLMs and find that they show significant variation across regional sub-cultures in their ability to infer the artifacts.",
}

Mitwirken

Dieses Projekt freut sich über Beiträge und Vorschläge. Für die meisten Beiträge müssen Sie einem Contributor License Agreement (CLA) zustimmen, in dem Sie erklären, dass Sie das Recht haben, uns die Rechte zur Nutzung Ihres Beitrags zu gewähren, und dies auch tatsächlich tun. Weitere Informationen finden Sie unter https://cla.opensource.microsoft.com.

Wenn Sie eine Pull-Anfrage einreichen, ermittelt ein CLA-Bot automatisch, ob Sie eine CLA bereitstellen müssen, und schmückt die PR entsprechend (z. B. Statusprüfung, Kommentar). Folgen Sie einfach den Anweisungen des Bots. Sie müssen dies nur einmal für alle Repos tun, die unsere CLA verwenden.

Dieses Projekt hat den Microsoft Open Source Verhaltenskodex übernommen. Weitere Informationen finden Sie in den FAQ zum Verhaltenskodex oder wenden Sie sich bei weiteren Fragen oder Kommentaren an [email protected].

Marken

Dieses Projekt kann Marken oder Logos für Projekte, Produkte oder Dienstleistungen enthalten. Die autorisierte Nutzung von Microsoft-Marken oder -Logos unterliegt den Marken- und Markenrichtlinien von Microsoft und muss diesen entsprechen. Die Verwendung von Microsoft-Marken oder -Logos in geänderten Versionen dieses Projekts darf keine Verwirrung stiften oder eine Sponsorschaft durch Microsoft implizieren. Jegliche Nutzung von Marken oder Logos Dritter unterliegt den Richtlinien dieser Drittanbieter.