? 2. März 2024 Vollständige Veröffentlichung der Testdaten für den IMHI-Benchmark.
? 1. Februar 2024 Unser MentaLLaMA-Papier: „MentaLLaMA: Interpretable Mental Health Analysis on Social Media with Large Language Models“ wurde von WWW 2024 angenommen!
? 31. Okt. 2023 Wir veröffentlichen das MentaLLaMA-33B-lora-Modell, eine 33B-Ausgabe von MentaLLaMA, die auf Vicuna-33B und dem vollständigen IMHI-Datensatz basiert, aber aufgrund der Rechenressourcen mit LoRA trainiert wurde!
? 13. Okt. 2023 Wir veröffentlichen die Trainingsdaten für die folgenden Datensätze: DR, Dreaddit, SAD, MultiWD und IRF. Es folgt noch mehr, bleiben Sie dran!
? 7. Okt. 2023 Unser Evaluierungspapier: „Towards Interpretable Mental Health Analysis with Large Language Models“ wurde von der EMNLP 2023-Hauptkonferenz als Langpapier angenommen!
Dieses Repository und seine Inhalte werden nur für nichtklinische Forschung bereitgestellt. Keines der Materialien stellt eine tatsächliche Diagnose oder Beratung dar und Hilfesuchende sollten Hilfe von professionellen Psychiatern oder klinischen Praktikern in Anspruch nehmen. Es werden keine Garantien, weder ausdrücklich noch stillschweigend, hinsichtlich der Richtigkeit, Vollständigkeit oder Nützlichkeit der Vorhersagen und Erklärungen übernommen. Die Autoren und Mitwirkenden haften nicht für Fehler, Auslassungen oder Konsequenzen, die sich aus der Verwendung der hierin enthaltenen Informationen ergeben. Benutzer sollten ihr eigenes Urteilsvermögen walten lassen und Fachleute konsultieren, bevor sie klinische Entscheidungen treffen. Die Nutzung der in diesem Repository enthaltenen Software und Informationen erfolgt ausschließlich auf eigenes Risiko des Benutzers.
Die zum Aufbau unseres IMHI-Datensatzes gesammelten Rohdatensätze stammen von öffentlichen Social-Media-Plattformen wie Reddit und Twitter. Wir halten uns strikt an die Datenschutzprotokolle und ethischen Grundsätze, um die Privatsphäre der Benutzer zu schützen und sicherzustellen, dass die Anonymität in allen Texten zum Thema psychische Gesundheit ordnungsgemäß gewahrt wird . Um Missbrauch zu minimieren, werden außerdem alle in unserem Artikel bereitgestellten Beispiele unter Verwendung des moderaten Verschleierungsschemas paraphrasiert und verschleiert.
Darüber hinaus deuten neuere Studien darauf hin, dass LLMs zu potenziellen Verzerrungen führen können, beispielsweise zu geschlechtsspezifischen Unterschieden. Inzwischen verdeutlichen einige falsche Vorhersageergebnisse, unangemessene Erklärungen und übermäßige Verallgemeinerungen auch die potenziellen Risiken aktueller LLMs. Daher gibt es noch viele Herausforderungen bei der Anwendung des Modells auf Systeme zur Überwachung der psychischen Gesundheit in realen Szenarien.
Durch die Nutzung oder den Zugriff auf die Informationen in diesem Repository erklären Sie sich damit einverstanden, die Autoren, Mitwirkenden und alle angeschlossenen Organisationen oder Personen von allen Ansprüchen oder Schäden freizustellen, zu verteidigen und schadlos zu halten.
Dieses Projekt stellt unsere Bemühungen um eine interpretierbare Analyse der psychischen Gesundheit mit großen Sprachmodellen (LLMs) vor. In frühen Arbeiten bewerten wir umfassend die Zero-Shot/Few-Shot-Leistungen der neuesten LLMs wie ChatGPT und GPT-4 bei der Generierung von Erklärungen für die Analyse der psychischen Gesundheit. Basierend auf den Erkenntnissen erstellen wir den Interpretable Mental Health Instruction (IMHI)-Datensatz mit 105.000 Instruktionsbeispielen, dem ersten Multitasking- und Multi-Source-Instruktionsoptimierungsdatensatz für interpretierbare psychische Gesundheitsanalysen in sozialen Medien. Basierend auf dem IMHI-Datensatz schlagen wir MentaLLaMA vor, die ersten Open-Source-LLMs zur Befolgung von Anweisungen zur interpretierbaren Analyse der psychischen Gesundheit. MentaLLaMA kann eine Analyse der psychischen Gesundheit anhand von Social-Media-Daten durchführen und qualitativ hochwertige Erklärungen für seine Vorhersagen generieren. Wir stellen außerdem den ersten ganzheitlichen Bewertungsbenchmark für interpretierbare psychische Gesundheitsanalysen mit 19.000 Testproben vor, der 8 Aufgaben und 10 Testsätze abdeckt. Unsere Beiträge werden in diesen beiden Artikeln vorgestellt:
Das MentaLLaMA-Papier | Das Bewertungspapier
Wir bieten 5 Modellkontrollpunkte, die im MentaLLaMA-Papier bewertet wurden:
MentaLLaMA-33B-lora: Dieses Modell wurde auf der Grundlage des Vicuna-33B-Grundlagenmodells und der vollständigen IMHI-Befehlsoptimierungsdaten optimiert. Die Trainingsdaten umfassen 8 Aufgaben zur Analyse der psychischen Gesundheit. Das Modell kann Anweisungen befolgen, um eine genaue Analyse der psychischen Gesundheit durchzuführen und hochwertige Erklärungen für die Vorhersagen zu generieren. Aufgrund der begrenzten Rechenressourcen trainieren wir das MentaLLaMA-33B-Modell mit der PeFT-Technik LoRA, was die Speichernutzung deutlich reduziert.
MentaLLaMA-chat-13B: Dieses Modell wurde auf der Grundlage des Meta LLaMA2-chat-13B-Grundmodells und der vollständigen IMHI-Befehlsoptimierungsdaten optimiert. Die Trainingsdaten umfassen 8 Aufgaben zur Analyse der psychischen Gesundheit. Das Modell kann Anweisungen befolgen, um eine genaue Analyse der psychischen Gesundheit durchzuführen und hochwertige Erklärungen für die Vorhersagen zu generieren. Aufgrund der Modellgröße sind die Schlussfolgerungen relativ langsam.
MentaLLaMA-chat-7B| MentaLLaMA-chat-7B-hf: Dieses Modell wurde auf der Grundlage des Meta LLaMA2-chat-7B-Grundmodells und der vollständigen IMHI-Befehlsoptimierungsdaten optimiert. Die Trainingsdaten umfassen 8 Aufgaben zur Analyse der psychischen Gesundheit. Das Modell kann Anweisungen befolgen, um eine Analyse der psychischen Gesundheit durchzuführen und Erklärungen für die Vorhersagen zu generieren.
MentalBART: Dieses Modell wurde auf der Grundlage des BART-Large-Foundation-Modells und der vollständigen IMHI-Abschlussdaten verfeinert. Die Trainingsdaten umfassen 8 Aufgaben zur Analyse der psychischen Gesundheit. Das Modell kann Anweisungen nicht befolgen, aber es kann eine Analyse der psychischen Gesundheit durchführen und auf vervollständigungsbasierte Weise Erklärungen generieren. Die geringere Größe dieses Modells ermöglicht schnellere Schlussfolgerungen und eine einfachere Bereitstellung.
MentalT5: Dieses Modell wurde auf der Grundlage des T5-Large-Foundation-Modells und der vollständigen IMHI-Abschlussdaten verfeinert. Das Modell kann Anweisungen nicht befolgen, aber es kann eine Analyse der psychischen Gesundheit durchführen und auf vervollständigungsbasierte Weise Erklärungen generieren. Die geringere Größe dieses Modells ermöglicht schnellere Schlussfolgerungen und eine einfachere Bereitstellung.
Sie können die MentaLLaMA-Modelle in Ihrem Python-Projekt mit der Hugging Face Transformers-Bibliothek verwenden. Hier ist ein einfaches Beispiel für das Laden des vollständig fein abgestimmten Modells:
from transformers import LlamaTokenizer , LlamaForCausalLM
tokenizer = LlamaTokenizer . from_pretrained ( MODEL_PATH )
model = LlamaForCausalLM . from_pretrained ( MODEL_PATH , device_map = 'auto' )
In diesem Beispiel wird LlamaTokenizer zum Laden des Tokenizers und LlamaForCausalLM zum Laden des Modells verwendet. Das Argument device_map='auto'
wird verwendet, um die GPU automatisch zu verwenden, wenn sie verfügbar ist. MODEL_PATH
bezeichnet den Speicherpfad Ihres Modells.
Nach dem Laden der Modelle können Sie eine Antwort generieren. Hier ist ein Beispiel:
prompt = 'Consider this post: "work, it has been a stressful week! hope it gets better." Question: What is the stress cause of this post?'
inputs = tokenizer ( prompt , return_tensors = "pt" )
# Generate
generate_ids = model . generate ( inputs . input_ids , max_length = 2048 )
tokenizer . batch_decode ( generate_ids , skip_special_tokens = True , clean_up_tokenization_spaces = False )[ 0 ]
Unsere Ausführung dieser Codes auf MentaLLaMA-chat-13B erhält die folgende Antwort:
Answer: This post shows the stress cause related to work. Reasoning: The post explicitly mentions work as being stressful and expresses a hope that it gets better. This indicates that the poster is experiencing stress in relation to their work, suggesting that work is the primary cause of their stress in this instance.
Da unser Modell für das MentaLLaMA-33B-lora-Modell auf dem Vicuna-33B-Grundlagenmodell basiert, müssen Sie zunächst das Vicuna-33B-Modell hier herunterladen und unter dem Verzeichnis ./vicuna-33B
ablegen. Laden Sie dann die MentaLLaMA-33B-lora-Gewichte herunter und legen Sie sie im Verzeichnis ./MentaLLaMA-33B-lora
ab.
from peft import AutoPeftModelForCausalLM
from transformers import AutoTokenizer
peft_model = AutoPeftModelForCausalLM . from_pretrained ( "./MentaLLaMA-33B-lora" )
tokenizer = AutoTokenizer . from_pretrained ( './MentaLLaMA-33B-lora' )
Nach dem Laden der Modelle können Sie eine Antwort generieren. Hier ist ein Beispiel:
input_data = [ "Consider this post: I'm finally dead inside and I don't know how to feel about it Fear, Anger, Sadness... It's all gone. I just feel numb. Question: Does the poster suffer from depression?" ]
inputs = tokenizer ( input_data , return_tensors = "pt" , padding = True )
input_ids = inputs . input_ids
generate_ids = peft_model . generate ( ** inputs , max_length = 2048 )
truc_ids = generate_ids [ 0 ][ len ( input_ids [ 0 ]) :]
response = tokenizer . decode ( truc_ids , skip_special_tokens = True , spaces_between_special_tokens = False )
Unsere Ausführung dieser Codes auf MentaLLaMA-33B-lora erhält die folgende Antwort:
Reasoning: Yes, the poster suffers from depression. Reasoning: The poster's statement expresses a sense of emotional numbness and a lack of emotional response. This is a common symptom of depression, as individuals with depression often experience a diminished ability to feel emotions. The poster also mentions feeling dead inside, which further suggests a lack of emotional connection and a sense of hopelessness, both of which are common in depression. Overall, the language used and the description of emotional numbness align with symptoms commonly associated with depression.
Wir sammeln Rohdaten aus 10 vorhandenen Datensätzen, die 8 Aufgaben zur Analyse der psychischen Gesundheit abdecken, und übertragen sie in Testdaten für eine interpretierbare Analyse der psychischen Gesundheit. Die Statistiken zu den 10 Testsätzen lauten wie folgt:
Name | Aufgabe | Datenaufteilung | Datenquelle | Anmerkung | Freigegeben |
---|---|---|---|---|---|
DR | Depressionserkennung | 1.003/430/405 | Schwache Etiketten | Ja | |
CLP | Depressionserkennung | 456/196/299 | Menschliche Anmerkungen | Noch nicht | |
Dreaddit | Stresserkennung | 2.837/300/414 | Menschliche Anmerkungen | Ja | |
SWMH | Erkennung psychischer Störungen | 34.822/8.705/10.882 | Schwache Etiketten | Noch nicht | |
T-SID | Erkennung psychischer Störungen | 3.071/767/959 | Schwache Etiketten | Noch nicht | |
TRAURIG | Stressursachenerkennung | 5.547/616/684 | SMS | Menschliche Anmerkungen | Ja |
CAMS | Erkennung von Depressions-/Selbstmordursachen | 2.207/320/625 | Menschliche Anmerkungen | Noch nicht | |
Einsamkeit | Einsamkeitserkennung | 2.463/527/531 | Menschliche Anmerkungen | Noch nicht | |
MultiWD | Erkennung von Wellness-Dimensionen | 15.744/1.500/2.441 | Menschliche Anmerkungen | Ja | |
IRF | Erkennung zwischenmenschlicher Risikofaktoren | 3.943/985/2.113 | Menschliche Anmerkungen | Ja |
Wir stellen IMHI vor, den ersten Multitasking- und Multi-Source-Anleitungsoptimierungsdatensatz für interpretierbare psychische Gesundheitsanalysen in sozialen Medien. Wir veröffentlichen derzeit die Trainings- und Bewertungsdaten aus den folgenden Sätzen: DR, Dreaddit, SAD, MultiWD und IRF. Die Anweisungsdaten werden unter abgelegt
/train_data/instruction_data
Die Elemente sind leicht zu verstehen: Die query
bezeichnet die Frage und die Zeile gpt-3.5-turbo
bezeichnet unsere modifizierten und ausgewerteten Vorhersagen und Erklärungen von ChatGPT. gpt-3.5-turbo
wird als goldene Antwort für die Bewertung verwendet.
Um das Training an Modellen ohne die Fähigkeit, Anweisungen zu befolgen, zu erleichtern, geben wir auch einen Teil der Testdaten für die IMHI-Vervollständigung frei. Die Daten werden unter gelegt
/train_data/complete_data
Die Dateilayouts sind mit den Befehlsoptimierungsdaten identisch.
Wir stellen den ersten ganzheitlichen Bewertungsbenchmark für interpretierbare psychische Gesundheitsanalysen mit 19.000 Testproben vor. Alle Testdaten wurden veröffentlicht. Die Anweisungsdaten werden unter abgelegt
/test_data/test_instruction
Die Elemente sind leicht zu verstehen: Die query
bezeichnet die Frage und die Zeile gpt-3.5-turbo
bezeichnet unsere modifizierten und ausgewerteten Vorhersagen und Erklärungen von ChatGPT. gpt-3.5-turbo
wird als goldene Antwort für die Bewertung verwendet.
Um Tests an Modellen zu erleichtern, die nicht in der Lage sind, Anweisungen zu befolgen, geben wir auch einen Teil der Testdaten für die IMHI-Vervollständigung frei. Die Daten werden unter gelegt
/test_data/test_complete
Die Dateilayouts sind mit den Befehlsoptimierungsdaten identisch.
Um Ihr trainiertes Modell anhand des IMHI-Benchmarks zu bewerten, laden Sie zunächst Ihr Modell und generieren Sie Antworten für alle Testelemente. Zum Laden des Modells verwenden wir die Hugging Face Transformers-Bibliothek. Für LLaMA-basierte Modelle können Sie die Antworten mit den folgenden Befehlen generieren:
cd src
python IMHI.py --model_path MODEL_PATH --batch_size 8 --model_output_path OUTPUT_PATH --test_dataset IMHI --llama --cuda
MODEL_PATH
und OUTPUT_PATH
bezeichnen den Modellspeicherpfad und den Speicherpfad für generierte Antworten. Alle generierten Antworten werden unter ../model_output
abgelegt. Einige generierte Beispiele werden in gezeigt
./examples/response_generation_examples
Sie können die Auswertung auch mit dem IMHI-Completion-Testsatz mit den folgenden Befehlen durchführen:
cd src
python IMHI.py --model_path MODEL_PATH --batch_size 8 --model_output_path OUTPUT_PATH --test_dataset IMHI-completion --llama --cuda
Sie können auch Modelle laden, die nicht auf LLaMA basieren, indem Sie das Argument --llama
entfernen. In den generierten Beispielen bezeichnet die Zeile goldens
die Referenzerklärungen und die Zeile generated_text
bezeichnet die generierten Antworten Ihres Modells.
Die erste Bewertungsmetrik für unseren IMHI-Benchmark besteht darin, die Klassifizierungskorrektheit der Modellgenerationen zu bewerten. Wenn Ihr Modell sehr regelmäßige Antworten generieren kann, kann ein regelbasierter Klassifikator sinnvoll sein, um jeder Antwort eine Bezeichnung zuzuweisen. Wir stellen in IMHI.py
einen regelbasierten Klassifikator bereit, den Sie während des Antwortgenerierungsprozesses verwenden können, indem Sie Ihrem Befehl das Argument --rule_calculate
hinzufügen. Der Klassifikator benötigt die folgende Vorlage:
[label] Reasoning: [explanation]
Da die meisten LLMs jedoch darauf trainiert sind, unterschiedliche Antworten zu generieren, ist ein regelbasierter Label-Klassifikator unpraktisch. MentaLLaMA kann beispielsweise die folgende Antwort auf eine SAD-Anfrage haben:
This post indicates that the poster's sister has tested positive for ovarian cancer and that the family is devastated. This suggests that the cause of stress in this situation is health issues, specifically the sister's diagnosis of ovarian cancer. The post does not mention any other potential stress causes, making health issues the most appropriate label in this case.
Um dieses Problem zu lösen, trainieren wir in unserem MentaLLaMA-Artikel 10 Klassifikatoren für neuronale Netze basierend auf MentalBERT, einen für jeden gesammelten Rohdatensatz. Die Klassifikatoren werden darauf trainiert, anhand der Erklärung eine Klassifizierungsbezeichnung zuzuweisen. Wir veröffentlichen diese 10 Klassifikatoren, um zukünftige Bewertungen des IMHI-Benchmarks zu erleichtern.
Alle trainierten Modelle erreichen eine Genauigkeit von über 95 % bei den IMHI-Testdaten. Bevor Sie die Bezeichnungen zuweisen, stellen Sie sicher, dass Sie Ihre Ausgabedateien im Format /exmaples/response_generation_examples
übertragen und als DATASET.csv
benannt haben. Legen Sie alle Ausgabedateien, die Sie kennzeichnen möchten, im selben DATA_PATH-Verzeichnis ab. Laden Sie dann die entsprechenden Klassifikatormodelle über die folgenden Links herunter:
Die Download-Links der Modelle: CAMS, CLP, DR, Dreaddit, Irf, Einsamkeit, MultiWD, SAD, swmh, t-sid
Legen Sie alle heruntergeladenen Modelle unter einem MODEL_PATH-Verzeichnis ab und benennen Sie jedes Modell mit seinem Datensatz. Beispielsweise sollte das Modell für den DR-Datensatz unter /MODEL_PATH/DR
abgelegt werden. Jetzt können Sie die Etiketten mithilfe dieser Modelle mit den folgenden Befehlen abrufen:
cd src
python label_inference.py --model_path MODEL_PATH --data_path DATA_PATH --data_output_path OUTPUT_PATH --cuda
Dabei bezeichnen MODEL_PATH
und DATA_PATH
Ihre angegebenen Modell- und Datenverzeichnisse und OUTPUT_PATH
Ihren Ausgabepfad. Nach der Verarbeitung sollten die Ausgabedateien das Format der Beispiele in /examples/label_data_examples
haben. Wenn Sie Metriken wie Gewichtung-F1-Score und Genauigkeit berechnen möchten, fügen Sie dem obigen Befehl das Argument --calculate
hinzu.
Die zweite Bewertungsmetrik für den IMHI-Benchmark besteht darin, die Qualität der generierten Erklärungen zu bewerten. Die Ergebnisse in unserem Bewertungspapier zeigen, dass der BART-Score in vier Aspekten der menschlichen Bewertung mäßig mit menschlichen Anmerkungen korreliert und andere automatische Bewertungsmetriken übertrifft. Daher verwenden wir den BART-Score, um die Qualität der generierten Erklärungen zu bewerten. Insbesondere sollten Sie zunächst Antworten mit dem Skript IMHI.py
generieren und das Antwortverzeichnis wie in examples/response_generation_examples
abrufen. Laden Sie zunächst das BART-Score-Verzeichnis herunter und legen Sie es unter /src
ab. Laden Sie dann den BART-Score-Prüfpunkt herunter. Bewerten Sie dann Ihre Antworten mit dem BART-Score mithilfe der folgenden Befehle:
cd src
python score.py --gen_dir_name DIR_NAME --score_method bart_score --cuda
DIR_NAME
bezeichnet den Verzeichnisnamen Ihrer generierten Antworten und sollte unter ../model_output
abgelegt werden. Wir bieten auch andere Bewertungsmethoden an. Sie können --score_method
in „GPT3_score“, „bert_score“, „bleu“, „rouge“ ändern, um diese Metriken zu verwenden. Für den GPT-Score müssen Sie zunächst das Projekt herunterladen und unter /src
ablegen.
Wir veröffentlichen unsere menschlichen Anmerkungen zu KI-generierten Erklärungen, um zukünftige Forschungen zur Abstimmung automatischer Bewertungstools für interpretierbare Analysen der psychischen Gesundheit zu erleichtern. Basierend auf diesen menschlichen Bewertungsergebnissen haben wir verschiedene bestehende automatische Bewertungsmetriken auf Korrelation mit menschlichen Präferenzen getestet. Die Ergebnisse in unserem Bewertungspapier zeigen, dass der BART-Score in allen vier Aspekten mäßig mit menschlichen Anmerkungen korreliert.
In unserem Bewertungspapier haben wir eine Teilmenge der AIGC-Ergebnisse für den DR-Datensatz manuell in vier Aspekten gekennzeichnet: Geläufigkeit, Vollständigkeit, Zuverlässigkeit und Gesamtheit. Die Anmerkungen werden in diesem Verzeichnis veröffentlicht:
/human_evaluation/DR_annotation
Hier haben wir 163 von ChatGPT generierte Erklärungen für den Depressionserkennungsdatensatz DR gekennzeichnet. Die Datei chatgpt_data.csv
enthält 121 Erklärungen, die von ChatGPT korrekt klassifiziert wurden. chatgpt_false_data.csv
enthält 42 Erklärungen, die von ChatGPT fälschlicherweise klassifiziert wurden. Wir fügen auch 121 Erklärungen, die von InstructionGPT-3 korrekt klassifiziert wurden, in gpt3_data.csv
ein.
In unserem MentaLLaMA-Artikel haben wir einen Fachexperten mit Schwerpunkt quantitative Psychologie eingeladen, eine Erklärung für 350 ausgewählte Beiträge (35 Beiträge für jeden Rohdatensatz) zu schreiben. Der Golden Set wird verwendet, um die Fähigkeit von LLMs zur Erklärungsgenerierung automatisch genau zu bewerten. Um zukünftige Forschung zu erleichtern, veröffentlichen wir die von Experten verfassten Erklärungen für die folgenden Datensätze: DR, Dreaddit, SWMH, T-SID, SAD, CAMS, Einsamkeit, MultiWD und IRF (jeweils 35 Proben). Die Daten werden in diesem Verzeichnis veröffentlicht:
/human_evaluation/test_instruction_expert
Die von Experten verfassten Erläuterungen werden so verarbeitet, dass sie demselben Format wie andere Testdatensätze folgen, um Modellbewertungen zu erleichtern. Sie können Ihr Modell anhand der von Experten verfassten goldenen Erklärungen mit ähnlichen Befehlen wie bei der Antwortgenerierung testen. Sie können LLaMA-basierte Modelle beispielsweise wie folgt testen:
cd src
python IMHI.py --model_path MODEL_PATH --batch_size 8 --model_output_path OUTPUT_PATH --test_dataset expert --llama --cuda
Wenn Sie menschliche Anmerkungen oder Analysen im Bewertungspapier verwenden, geben Sie bitte Folgendes an:
@inproceedings{yang2023towards,
title={Towards interpretable mental health analysis with large language models},
author={Yang, Kailai and Ji, Shaoxiong and Zhang, Tianlin and Xie, Qianqian and Kuang, Ziyan and Ananiadou, Sophia},
booktitle={Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing},
pages={6056--6077},
year={2023}
}
Wenn Sie MentaLLaMA in Ihrer Arbeit verwenden, geben Sie bitte Folgendes an:
@article{yang2023 MentalLLaMA ,
title={ MentalLLaMA : Interpretable Mental Health Analysis on Social Media with Large Language Models},
author={Yang, Kailai and Zhang, Tianlin and Kuang, Ziyan and Xie, Qianqian and Ananiadou, Sophia},
journal={arXiv preprint arXiv:2309.13567},
year={2023}
}
MentaLLaMA ist unter [MIT] lizenziert. Weitere Einzelheiten finden Sie in der MIT-Datei.