GPTZero
GPTZero ist eine Software, die Texte oder Textteile identifizieren kann, die von Sprachmodellen der künstlichen Intelligenz (KI) erzeugt wurden. Die ersten Anwendungen des Tools waren an Schulen und Universitäten, um Arbeiten von Schülern und Studenten daraufhin zu überprüfen, ob Texte durch ein KI-Sprachmodell generiert wurden.
Während GPTZero für seine Bemühungen akademische Unehrlichkeit zu verhindern, gelobt wurde, wird auf der anderen Seite auch die Falsch-Positiv-Rate des Tools kritisiert. GPTZero ist das erfolgreichste Tool zur Identifizierung von KI-generierten Texten, das Unternehmen GPTZero konnte das meiste Kapital aller KI-Identifikationstools einsammeln.[1]
Geschichte
[Bearbeiten | Quelltext bearbeiten]GPTZero wurde von Edward Tian, einem Studenten der Princeton-Universität entwickelt, um akademische Plagiate, die mit KI erstellt wurden, aufzuspüren. Die Software wurde im Januar 2023 online gestellt und schon in der ersten Woche 30.000 Mal genutzt.[2] Aufgrund des großen Erfolgs gründete Tian zusammen mit Alex Cui ein Start-up, das bereits 3,5 Mio. $ Startkapital im Mai 2023 eingeworben hatte.[3] In den ersten sieben Monaten hatte das Unternehmen 12 Mitarbeiter.[2] Im Juli 2024 hatte GPTZero bereits 4 Mio. Nutzer und sammelte 10 Mio. $ von Investoren ein.[1]
GPTZero bietet bereits ein KI-Klassifizierungsmodell an, das den Anteil von KI-generierten Teilen eines Textes anzeigt. Das Unternehmen kündigte im September 2024 an, ein weit umfassenderes Tool zur Überwachung des Schreibprozesses zu entwickeln. Die Nutzer der neuen Autorenplattform von GPTZero können Daten über ihren Schreibprozess zusammenstellen und weitergeben, also z. B. den Verlauf der Texteingabe, die Anzahl der Autoren oder die Dauer der Bearbeitung. Damit kann das Tool den Entstehungsprozess überwachen und aufzeichnen, was sich später von Dritten überprüfen lässt.[4] Dieses Tool wird vom Unternehmen „Origin“ genannt und kann als Plug-in in Word integriert werden.[2]
Funktionsweise
[Bearbeiten | Quelltext bearbeiten]Der primäre Schwerpunkt der Hersteller von GPTZero ist, Texte oder Textteile, die mit KI erstellt wurden, identifizieren zu können.[5] GPTZero arbeitet mit zwei Eigenschaften eines Textes, um zu erfassen, ob er von einer künstlichen Intelligenz verfasst wurde. Die erste Eigenschaft ist die „Perplexität“ (deutsch: Unsicherheit), es ist ein Maß, wie zufällig oder wie vertraut ein Text für ein Sprachmodell ist, das heißt, ob die Art und Weise, wie der Satz aufgebaut ist, für ein Sprachmodell typisch oder eher ungewöhnlich ist.[6] Die KI stützt sich auf Sprachmodelle, und je mehr solcher Modelle im Text vorhanden sind, desto größer ist die Wahrscheinlichkeit, dass der Text nicht von einem Menschen verfasst wurde.
Die zweite Eigenschaft eines Textes nennt das Unternehmen „Burstiness“ (deutsch: Zerreißfaktor) und bezieht sich auf die Komplexität und Varietät in Sätzen. Menschen neigen dazu, die Satzlänge zu variieren, mal lange Sätze, dann wieder sehr kurze Sätze zu schreiben oder mal viele Adjektive zu nutzen oder keine. Ein maschinell erstellter Text hat dagegen eine konstante Basis.[6]
Neben der Überprüfung von Texten, die direkt von KI-Werkzeugen kopiert wurden, ist das Tool auch in der Lage, die Teile eines Textes zu erkennen und hervorzuheben, die von einem Sprachmodell wie ChatGPT geschrieben oder umformuliert wurden. Nach GPTZero können mehrere Dateien zusammen hochgeladen werden, um eine effektive und schnelle Überprüfung von unterschiedlichen Texten sicherzustellen. Damit können Lehrer z. B. schnell die Arbeiten einer ganzen Klasse überprüfen.[7]
Anwendungen
[Bearbeiten | Quelltext bearbeiten]Die ersten Anwender des Tools waren Schulen und Universitäten, um Arbeiten von Schülern und Studenten dahingehend zu überprüfen, ob sie mit einer KI erstellt wurden.[8] Im Oktober 2023 schloss GPTZero eine Partnerschaft mit der US Teachers Union, der zweitgrößten Gewerkschaft der USA, ab.[9] Im Sommer 2024 wurde das Tool von der American Federation of Teachers und der University of Virginia School of Education getestet. Auch Personalverantwortliche sind sehr interessiert, Bewerbungsschreiben darauf zu überprüfen, ob sie mit KI erstellt wurden.[4]
Auch wenn Schulen und Universitäten die meisten Anwender sind, ist es das Ziel von Tian, „dieses Tool so vielen Branchen wie möglich zur Verfügung zu stellen. Und zwar alle, die von KI betroffen sind, darunter Bildung, Finanzen, Journalismus und auch darüber hinaus wie Cybersicherheit.“[2]
GPTZero ist kostenlos bis zu 5000 Zeichen, für Unternehmen belaufen sich die Kosten zwischen $ 9,99 und $ 19,99 (Stand 2023).[2]
Ergebnisse des Tools und Kritik
[Bearbeiten | Quelltext bearbeiten]Einige Forscher der University of Maryland wiesen im März 2023 nach, dass verschiedene Tools zur Identifikation von KI-generiertem Text nicht immer zuverlässig arbeiten. Schon einfaches Umschreiben des Textes reiche oft aus, um der Entdeckung zu entgehen. Dadurch könne die Genauigkeit eines Identifizierungstools von 97 % auf 80 % und im schlimmsten Fall auf 57 % verringert werden. Dies gelte auch für Tools, die Wasserzeichenschemata verwenden oder auf neuronalen Netzen basieren.[10]
Die Technik Website „Futurism“ testete GPTZero und stellte fest, dass die Ergebnisse zwar schnell und beeindruckend seien, aber auch eine hohe Fehlerquote enthielten. Von acht echten Texten hätte GPTZero nur sechs als echt identifiziert, von acht Texten, die mit ChatGPT erstellt wurden, waren sieben als Fake eingestuft worden.[11] Tian sagte dazu, dass jedes Identifizierungstool blinde Flecken habe, es werde aber daran gearbeitet, sie zu reduzieren.[1]
Auch die Washington Post stellte im August 2023 fest, dass Identifizierungswerkzeuge bisweilen unter falsch-positiven Ergebnissen litten, und gab Studenten Tipps, wie sie damit umgehen können.[12]
Die Nachrichten-Website Ars Technica kommentierte, dass Menschen Sätze sehr regelmäßig schreiben können, was mitunter zu falsch positiven Ergebnissen führe. Der Autor Benj Edwards führte weiter aus, dass der Perplexitätswert nur das berücksichtige, was für die KI „überraschend“ sei. Das führe dazu, dass sehr gebräuchliche Texte, wie die US-Verfassung, als wahrscheinlich von der KI generiert eingestuft werden könnten.[13]
Siehe auch
[Bearbeiten | Quelltext bearbeiten]Weblinks
[Bearbeiten | Quelltext bearbeiten]Einzelnachweise
[Bearbeiten | Quelltext bearbeiten]- ↑ a b c AI Detectors Falsely Accuse Students of Cheating—With Big Consequences. In: Bloomberg.com. 18. Oktober 2024 (bloomberg.com [abgerufen am 7. Dezember 2024]).
- ↑ a b c d e Madeline Renbarger: How a 23-year-old college student built one of the leading AI detection tools. Abgerufen am 6. Dezember 2024 (amerikanisches Englisch).
- ↑ Chris Stokel-Walker: This AI detection tool raised 3,5 mio $ to check the internet for computer-generated work. In: Fast Company. 5. August 2023, abgerufen am 7. Dezember 2024 (englisch).
- ↑ a b Brian Contreras: How can you detected AI-generated Text? This Startup has some compelling Ideas. 18. September 2024, abgerufen am 7. Dezember 2024 (englisch).
- ↑ Megan Cerullo: American Federation of Teachers partners with AI identification platform, GPTZero - CBS News. CBS News, 17. Oktober 2023, abgerufen am 7. Dezember 2024 (amerikanisches Englisch).
- ↑ a b Erik Ofgang published: What is GPTZero? The ChatGPT Detection Tool Explained By Its Creator. 27. Januar 2023, abgerufen am 7. Dezember 2024 (englisch).
- ↑ Kamya Pandey: AI Detector for Educators: What is GPTZero? In: JumpStart Magazine: Your Digital & Print Community Hub. 2. März 2023, abgerufen am 7. Dezember 2024 (amerikanisches Englisch).
- ↑ GPTZero to help teachers deal with ChatGPT-generated student essays. In: The Indian Express. 12. Januar 2023, abgerufen am 7. Dezember 2024 (englisch).
- ↑ US Teachers Union Deploys GPTZero To Detect AI Usage. Abgerufen am 7. Dezember 2024 (englisch).
- ↑ Thomas Claburn: No reliable way to detect AI-generated text, boffins sigh. In: The Register. 21. März 2023, abgerufen am 7. Dezember 2024 (englisch).
- ↑ There's a Problem With That App That Detects GPT-Written Text: It's Not Very Accurate. 9. Januar 2023, abgerufen am 7. Dezember 2024.
- ↑ Geoffrey Fowler: What to do when you’re accused of AI cheating. Washington Post, 14. August 2023, abgerufen am 7. Dezember 2024 (englisch).
- ↑ Benj Edwards: Why AI writing detectors don’t work. 14. Juli 2023, abgerufen am 7. Dezember 2024 (amerikanisches Englisch).