Der Einsatz von ChatGPT hat sich rasant zu einer alltäglichen Norm entwickelt, sodass es mittlerweile eher darum geht zu erkennen, welche Arbeit nun wirklich auf einen Menschen und nicht auf eine KI zurückzuführen ist. KI-Detektoren wurden darauf trainiert, die Unterschiede der Struktur und Muster zwischen KI-generierten Texten und von Menschen geschriebenen Texten zu erkennen bzw. zu vergleichen. Generell sind KI-generierte Texte nicht komplex, leicht vorhersehbar und sie haben eine nicht variierende Satzstruktur und -länge. Dies wird auch als geringe Perplexität und niedrige Burstiness bezeichnet.
Wenn ein Dokument nach einer Testung 50% Anteil an KI-generierten Texten hat, gilt es als KI-generiert[1]. Denn auch KI-generierten Texten können Veränderungen und Fehler absichtlich hinzugefügt werden.
Wie können KI-generiete Texte entlarvt werden?
Natürlich gibt es für die Herausforderung KI-Texte zu erkennen, schon die direkte Lösung, welche sich genauso rasant ausbreitet. Wer hätte es gedacht: es handelt sich um eine KI, welche KI-Texte detektieren kann. Die digitale Welt wartet allerdings nicht und so bleibt es nicht beim Aufdecken und Erkennen der KI generierten Texte. Die meisten KI-Detektoren modifizieren die als KI-generiert erkannten Texte so, dass dieser nicht mehr als KI-generiert erkannt wird.
Für die Zukunft von KI-Text-Erkennung wird jedoch momentan schon an einem „Wasserzeichensystem“ gearbeitet, welches die Erkennung erleichtern und mehr Transparenz ermöglichen soll.
Welche KI-Text-Detektoren gibt es & was können diese?
Die Auswahl an KI-Text-Detektoren ist sehr groß. Daher werden im Folgenden 5 genauer unter die Lupe genommen. Zum Testen wurde von ChatGPT ein Text über die Firma HanseSecure erstellt, sowohl in Deutsch als auch in Englisch. Die Ergebnisse waren sehr ähnlich, nahezu identisch. Der Unterschied lag hauptsächlich in der Ausführlichkeit des Analyseberichts.
Copyleaks
Als erstes Tool in der Vorstellung ist Copyleaks. Es bietet nicht nur KI-Text-Erkennung, sondern auch Plagiatserkennung. Zudem kann KI generierter Code, sowie plagiierter und modifizierter Quellcode detektiert werden. Das alles ist bei Copyleaks in 100 Sprachen möglich, allerdings nur gegen Bezahlung.
In diesem Beispiel sind die lila markierten Textpassagen als KI-erstellt detektiert worden. Die detaillierte Auswertung gibt es erst nach Registrierung und Abschluss eines bezahlten Abos. Copyleaks kann ein sehr hilfreiches Tool sein, wenn ein Budget dafür vorhanden ist, denn es bietet viele Leistungen für überschaubare Kosten (14$ pro Monat). Der kostenlose Test kann nützlich sein, um herauszufinden, ob eine Wahrscheinlichkeit besteht, dass der Text KI-generiert ist. Aber es gibt andere Tools, welche kostenfrei deutlich bessere Analysen zur KI Text Detektion bieten.
AIDP (AI Detector Pro)
AI Detector Pro bietet die Möglichkeit, Texte und Dokumente in Englisch, Deutsch und Spanisch auf KI- generierten Inhalt zu prüfen. Außerdem können KI- generierte Texte so modifiziert werden, dass diese keine Eigenschaften von KI- generierten Texten mehr aufweisen. Die ersten drei Scans in einem Monat sind bei AIDP kostenlos. Allerdings wird eine Registrierung vorausgesetzt, um das Tool nutzen zu können.
Der Analyse Report von AIDP ist sehr ausführlich und verständlich gestaltet. Auch hier wurde der KI generierte Text detektiert, allerdings diesmal mit einer Wahrscheinlichkeit von 98%. Da dieses Tool die Möglichkeit bietet drei Tests pro Monat kostenlos durchzuführen, kann ein Eindruck erlangt werden, ob die Analyse und Ergebnisse den Vorstellungen entsprechen. Danach kann entschieden werden, ob ein Budget dafür gestellt werden sollte. AIDP biete zwar kein breites Spektrum an verschiedenen Leistungen wie andere Anbieter, aber hat sich dafür auf die KI Text Detektion spezialisiert. Dies ist deutlich erkennbar durch den sehr detaillierten Bericht der Analyse, welcher es ermöglicht, die Modifikation der detektierten KI generierten Texte anzubieten.
ZeroGPT
ZeroGPT bietet neben der Funktion Texte auf KI generierten Inhalt zu prüfen auch eine KI- Übersetzung, eine Grammatikprüfung und einen Wortzähler. Dieser KI Text Detektor zeigt die Wahrscheinlichkeit an, mit welcher ein Text durch KI erfasst wurde, und markiert diese Teile gelb. ZeroGPT bietet diese Möglichkeiten ohne Kosten und ohne Registrierung. Die Limitierung hierbei liegt allerdings in der Länge des Textes bzw. des Dokuments. Dieses Tool ist nur für Dokumente bis zu 15000 Zeichen kostenlos und der PDF-Export ist erst durch den Abschluss einer bezahlten Lizenz möglich. Die Kosten für eine Lizenz sind sehr überschaubar (ab 8$ im Monat) und die kostenlosen Features bieten bereits einige nützliche Möglichkeiten.
Scribbr
Scribbr ist ein Tool, welches hauptsächlich im Bereich der Plagiatsprüfung oder KI-Text-Detektion von sehr langen Dokumenten besonders von Nutzen ist. Allerdings ist die kostenlose Version nur für englische Texte verfügbar und auch die detaillierte Auswertung ist nicht um sonst.
Das Tool hat bei dem gleichen Text ebenfalls erkannt, dass es sich hierbei um einen KI-generierten Text handelt. Dies war jedoch nur in der englischen Übersetzung möglich. Scribbr bietet kein Abo für den detaillierten Analysebericht und deutsche Übersetzungen an, sondern die Kosten belaufen sich hierbei pro Dokument. Daher ist diese KI eher nützlich, wenn der Plagiatscheck oder die KI-Detektion eines sehr langen Textes benötigt wird, wie z.B. einer Doktorarbeit. Für die KI-Detektion von verschiedenen Texten oder kurzen Dokumenten sind daher andere Anbieter besser geeignet.
Originality.ai
Originality bietet neben der KI-Texterkennung noch mehrere Services, wie die Detektion von Plagiaten und einen Faktenchecker, welcher Inhalte eines Textes nach ihrer Richtigkeit prüft. Die Lesbarkeit eines Textes oder Dokuments kann ebenso mit Originality begutachtet werden. Bisher ist nur die Plagiaterkennung in mehreren Sprachen möglich, alle anderen Checks sind momentan nur auf Englisch möglich. All dies gibt es jedoch nicht umsonst, sondern nur gegen Abschluss eines bezahlten Abos. Dies ist definitiv ein Nachteil im Vergleich zu den anderen Tools, welche wenigstens die ersten Scans oder limitierte Detektionen kostenlos anbieten.
Welches Tool schlägt sich am besten?
Die fünf getesteten KI-Text-Detektoren bieten alle unterschiedliche Leistungen und sind dementsprechend für manche Bereiche mehr und für andere weniger zu gebrauchen. Für die reine KI-Text Detektion von vielen kurzen Dokumenten eignet sich allerdings als kostenlose Variante von ZeroGPT am besten. Falls jedoch ein Budget für die KI-Texterkennung vorhanden ist, sollte definitiv auch AIDP in Betracht gezogen und durch die drei kostenlosen Detektionen im Monat getestet werden. Diese beiden Anbieter sind im Bereich der KI Text Detektion hervorzuheben.
Doch wie akkurat und zuverlässig sind KI-Text-Detektoren?
Als Fazit lässt sich sagen, dass ein enormer Zeit- und Entwicklungsaufwand hinter den bereitgestellten KI-Detektoren steckt. Das Potential ist unter anderem an der breiten Auswahl von Anbietern und der konstanten Weiterentwicklung zu erkennen. Bisher muss jedoch bei der Verwendung dieser Tools immer bedacht werden, dass diese erkannt werden können. Weiter sind False Positives möglich. Zum Beispiel können fälschlicherweise von Menschen verfasste Texte durch die KI-Detektoren als KI- generiert eingestuft werden. Die Idee mit Wasserzeichen zu arbeiten, um eine klare, nachvollziehbare und transparente Einschätzung von Texten etc. zu erreichen könnte ein Lösungsansatz sein. Oder generiert die KI- dann nicht doch auch Wasserzeichen? 😉 Die Reise ist am Anfang.
[1] Solis, T. (2023, 15. Mai). Das sind KI-Text-Erkenner und so funktionieren sie. Scribbr. Abgerufen am 17. Juli 2024, von https://www.scribbr.de/ki-tools-nutzen/ki-text-erkenner-funktionsweise/
