AI detector research tool
1.0.0
Mit diesem Tool können Sie die Genauigkeit verschiedener KI-Detektoren testen. Dabei handelt es sich um ein Befehlszeilentool, das das gleichzeitige Testen einer großen Anzahl von Detektoren mit denselben Daten erleichtert.
Das Tool nimmt eine Reihe von Textdateien und führt sie durch eine Reihe von KI-Detektoren. Anschließend werden die Ergebnisse in eine CSV-Datei ausgegeben. Das Tool generiert außerdem eine Verwirrungsmatrix, um die Genauigkeit der Detektoren anzuzeigen. Aber was ist eine Verwirrungsmatrix? Eine Verwirrungsmatrix ist eine Tabelle, die zur Beschreibung der Leistung eines Klassifizierungsmodells verwendet wird. Es zeigt die Anzahl der richtigen und falschen Vorhersagen des Klassifizierungsmodells im Vergleich zu den tatsächlichen Ergebnissen. Diese Tabelle ist äußerst nützlich, um die Leistung verschiedener Detektoren zu vergleichen, da sie die echten positiven, falsch positiven, echten negativen und falschen negativen Ergebnisse für jeden Detektor anzeigt. Dadurch können Sie sehen, welche Detektoren am genauesten sind.
pip install -r requirements.txt python main.py ausBeispielworkflow:
python main.py
Type Y/N to select Originality.ai API: y
Enter your Originality.ai API key: YOUR_API_KEY
Enter the directory path for AI text files: data/ai/
Enter the directory path for human text files: data/human/
Enter the input CSV file path: data/input.csv
Enter the output CSV file name: output.csv
Tool will process the data. This may take a while.
Would you like to generate a confusion matrix ? (y/n): y
Press enter to exit...python matrix.py aus, um die Verwirrungsmatrix zu generieren Das Tool erwartet, dass sich die Daten in TXT-Dateien in einem Ordner befinden, der bei der Ausführung an das Tool übergeben wird. Oder wenn Sie versuchen, eine CSV-Datei zu verarbeiten, wird erwartet, dass die Spalten in der folgenden Reihenfolge vorliegen:
text,dataset,label
sample text,gpt-3,ai
Die Datensatzspalte kann einfach „ai“ oder „human“ sein. Diese Spalte wird zur Benennung der Zeilen in der Ausgabe verwendet
Um einen Detektor hinzuzufügen, müssen Sie Folgendes tun:
detectors.py hinzu: "post_parameters": {
# The endpoint URL for the API.
"endpoint": "YOUR_API_ENDPOINT_URL",
# The body of the POST request. This usually contains the text to be analyzed.
# The actual contents will depend on what the API expects.
# Add or remove parameters as needed depending on the API requirements.
"body": {"PARAMETER_NAME": "PARAMETER_VALUE"},
# The headers for the POST request. This usually includes the API key and content type.
# Add or remove headers as needed depending on the API requirements.
"headers": {"HEADER_NAME": "HEADER_VALUE"},
# Information about where the API key is included in the request.
"API_KEY_POINTER": {
# The location that the API key will end up (usually 'headers' or 'body').
"location": "headers_or_body",
# The actual API key. This is usually read from an environment variable or input by the user.
"value": "YOUR_API_KEY",
# The name of the key or field where the API key is included. e.g 'x-api-key' or 'api_key'.
"key_name": "API_KEY_HEADER_OR_PARAMETER_NAME",
},
# The key in the body of the POST request where the text to be analyzed is included. e.g 'text' or 'content'.
"text_key": "KEY_NAME_FOR_TEXT",
},
"response": {
# The expected response from the API. The actual structure will depend on what the API returns.
# This should include mappings for how to interpret the API's response.
# Add or remove mappings as needed.
# e.g if the API returns a JSON object with a key called 'result' and the value of 'result' is a list of objects
# with a key called 'score' then the mapping would be:
# "result": {
# "score": "score"
# }
"200": {
"result": {
"MAPPING_FOR_DESIRED_OUTPUT": "RESPONSE_KEY_PATH",
}
}
},
}
api_endpoints.py hinzuapi_endpoints.py hinzuWir freuen uns über Beiträge zu diesem Projekt! Hier sind einige Möglichkeiten, wie Sie helfen können:
Wenn Sie einen Fehler finden, melden Sie ihn bitte, indem Sie ein GitHub-Problem öffnen. Stellen Sie sicher, dass Sie Folgendes angeben:
Diese Informationen helfen uns, den Fehler schneller zu diagnostizieren und zu beheben.
Wir sind immer auf der Suche nach Möglichkeiten, das Tool zu verbessern! Wenn Sie eine Idee für eine Verbesserung haben, öffnen Sie ein GitHub-Problem und beschreiben Sie Folgendes:
Wenn Sie Code direkt beitragen möchten:
Stellen Sie sicher, dass Ihre PR Folgendes einhält:
Wir möchten von Ihren Erfahrungen mit dem Tool erfahren – gute und schlechte. Lassen Sie uns wissen, was funktioniert hat und was nicht. Teilen Sie Geschichten darüber, wie dieses Tool Ihre Forschung unterstützt hat. Je mehr wir von Ihnen hören, desto besser können wir das Tool für alle entwickeln!
Vielen Dank für Ihren Beitrag!
MIT-Lizenz
Copyright (c) [2023] [Originality.AI]
Hiermit wird jeder Person, die eine Kopie dieser Software und der zugehörigen Dokumentationsdateien (die „Software“) erhält, kostenlos die Erlaubnis erteilt, mit der Software ohne Einschränkung zu handeln, einschließlich und ohne Einschränkung der Rechte zur Nutzung, Vervielfältigung, Änderung und Verbreitung , Unterlizenzen zu erteilen und/oder Kopien der Software zu verkaufen und Personen, denen die Software zur Verfügung gestellt wird, dies zu gestatten, vorbehaltlich der folgenden Bedingungen:
Der obige Urheberrechtshinweis und dieser Genehmigungshinweis müssen in allen Kopien oder wesentlichen Teilen der Software enthalten sein.
DIE SOFTWARE WIRD „WIE BESEHEN“ ZUR VERFÜGUNG GESTELLT, OHNE JEGLICHE AUSDRÜCKLICHE ODER STILLSCHWEIGENDE GEWÄHRLEISTUNG, EINSCHLIESSLICH, ABER NICHT BESCHRÄNKT AUF DIE GEWÄHRLEISTUNG DER MARKTGÄNGIGKEIT, EIGNUNG FÜR EINEN BESTIMMTEN ZWECK UND NICHTVERLETZUNG. IN KEINEM FALL SIND DIE AUTOREN ODER COPYRIGHT-INHABER HAFTBAR FÜR JEGLICHE ANSPRÜCHE, SCHÄDEN ODER ANDERE HAFTUNG, WEDER AUS EINER VERTRAGLICHEN HANDLUNG, AUS unerlaubter Handlung ODER ANDERWEITIG, DIE SICH AUS, AUS ODER IN ZUSAMMENHANG MIT DER SOFTWARE ODER DER NUTZUNG ODER ANDEREN HANDELN IN DER SOFTWARE ERGEBEN SOFTWARE.
