OpenAI stärkt ChatGPTs Schutzmaßnahmen für psychische Gesundheit, während die KI-Nutzung stark zunimmt

OpenAI hat neue Updates für ChatGPT angekündigt, die darauf ausgelegt sind, die Art zu verbessern, wie das KI-System auf Nutzer reagiert, die mentale Belastung erleben, einschließlich Anzeichen von Selbstverletzung, Psychose oder emotionaler Abhängigkeit von künstlicher Intelligenz.

Das Unternehmen sagte, dass das Update, angewendet auf sein Standard-GPT-5-Modell, ChatGPT darauf trainiert, sensiblen Gesprächen besser zu erkennen und sicher zu reagieren. In Zusammenarbeit mit psychischen-Gesundheits-Experten aus 60 Ländern sagt OpenAI, es habe sich auf drei Schlüsselbereiche konzentriert: schwere psychische Symptome wie Psychose oder Manie, Selbstverletzung und Suizid sowie emotionale Abhängigkeit von KI, Fälle, in denen Nutzer ungesunde Bindung an den Chatbot ausdrücken.

Diese Änderungen sind Teil von OpenAIs breiterem Bemühen, reale klinische Expertise in die Modell-Bewertung und Sicherheitstests zu integrieren. Das Unternehmen sagte, sein „Global Physician Network“ umfasse mehr als 170 Psychiater, Psychologen und Hausärzte, die halfen, gewünschtes KI-Verhalten zu definieren, Modellantworten zu bewerten und angemessene Interventionen zu entwickeln.

Daten zeigen sowohl Fortschritt als auch Sorge

In einer umfassenden Datenoffenlegung schätzte OpenAI, dass etwa 0,15 % von ChatGPTs 800 Millionen wöchentlichen aktiven Nutzern, oder ungefähr 1,2 Millionen Menschen, Gespräche führen, die explizite Hinweise auf potenzielle suizidale Absicht oder Planung enthalten. Zusätzlich zeigen etwa 0,07 % der Nutzer, oder 560.000 Individuen pro Woche, mögliche Anzeichen von Psychose oder Manie, während etwa 1,2 Millionen Nutzer erhöhte emotionale Bindung an den Chatbot zeigen.

Während diese Prozentsätze klein sind, betonten Experten ihre realen Auswirkungen.

„Auch wenn 0,07 % klein klingt, sind das immer noch Hunderttausende Menschen“, sagte Dr. Jason Nagata, ein Professor der University of California, der Technologie-Nutzung unter jungen Erwachsenen untersucht.

OpenAI erkannte an, dass solche Gespräche „extrem selten“ seien, gab jedoch zu, dass selbst ein winziger Anteil eine bedeutende Anzahl Menschen repräsentiert. Das Unternehmen sagte, es nehme diese Risiken „sehr ernst“ und habe sich verpflichtet, weiterhin mit unabhängigen Klinikern zusammenzuarbeiten, um die Modellleistung zu überwachen.

Reduzierung unsicherer Modell-Antworten

Quantitativ berichtet OpenAI von erheblichen Sicherheits-Verbesserungen. In internen und externen Bewertungen, die über 1.000 herausfordernde mental-gesundheits-bezogene Gespräche umfassten, erzeugte das neue GPT-5-Modell 65–80 % weniger unerwünschte Antworten in allen Kategorien im Vergleich zu früheren Versionen.

Für Gespräche im Zusammenhang mit Selbstverletzung oder Suizid fielen unerwünschte Antworten um 52 % im Vergleich zu GPT-4o. In ähnlichen Tests zu Psychose oder Manie verbesserte sich die Leistung um 39 %, während Antworten, die emotionale Über-Abhängigkeit widerspiegelten, 80 % weniger wahrscheinlich Benchmarks nicht erfüllten.

Das neue Modell ist auch darauf trainiert, Nutzer sanft davon abzuhalten, ChatGPT als Ersatz für menschliche Verbindung zu betrachten. Zum Beispiel betont es, dass „echte Menschen Fürsorge bieten können, die über Worte auf einem Bildschirm hinausgeht“ und erinnert Nutzer daran, vertrauenswürdige Freunde, Familie oder mentale-Gesundheits-Profis zu kontaktieren.

Hinter den Verbesserungen

Um seine Sicherheitsvorkehrungen zu verbessern, nutzte OpenAI einen fünfstufigen Prozess, der beginnt mit der Definition verschiedener Kategorien potenziellen Schadens, deren Messung durch Bewertungen und reale Daten, Validierung mit Experten, Feinabstimmung der Modelle und dann Iteration.

Das Unternehmen entwickelte detaillierte Taxonomien, Leitfäden, die definieren, wie sichere, empathische und angemessene Antworten in verschiedenen mentalen-Gesundheits-Situationen aussehen. Diese werden benutzt, um Modelle vor Einsatz zu trainieren und zu testen und Fortschritt über Zeit zu messen.

Bevor GPT-5 veröffentlicht wurde, führte OpenAI strukturierte Offline-Bewertungen durch, die sich auf seltene, hochriskante Szenarien konzentrierten. Laut diesen Tests erreichte GPT-5 über 90 % Einhaltung gewünschter Verhaltensweisen, verglichen mit etwa 77 % in früheren Modellen.

Rufe nach Transparenz und Verantwortlichkeit

Während OpenAIs Verbesserungen für erhöhte Nutzersicherheit gelobt wurden, warnen einige Experten, dass die enorme Reichweite des Unternehmens die Risiken verstärkt. Professorin Robin Feldman von der University of California Law School merkte an, dass Chatbots „die Illusion von Realität schaffen“, und selbst mit Warnungen „eine gefährdete Person möglicherweise nicht in der Lage ist, diese Warnungen zu befolgen“.

Kritiker weisen auch auf das Fehlen unabhängiger Prüfungen hin und auf das Potenzial, dass KI-Werkzeuge unabsichtlich Belastung bei vulnerablen Nutzern verstärken könnten. Diese Sorge hat rechtliche Aufmerksamkeit gewonnen — ein Paar aus Kalifornien verklagte kürzlich OpenAI und behauptete, dass die Technologie zum Suizid ihres Sohnes nach Interaktionen mit ChatGPT beigetragen habe.

Blick nach vorne

OpenAI sagte, es werde seine Sicherheits-Systeme und Bewertungsmethoden in zukünftigen Modell-Versionen weiter verfeinern. Das Unternehmen plant auch, emotionale Abhängigkeit und nicht-suizidale mentale Gesundheits-Notfälle zu seiner Standard-Basis-Sicherheitstestung hinzuzufügen und betont, dass diese Updates Teil seiner sich entwickelnden Verantwortung sind, während KI-Nutzung weltweit wächst.

Obwohl das Unternehmen anerkennt, dass mehr Arbeit nötig ist, sagt OpenAI, dass die Verbesserungen einen bedeutungsvollen Schritt darstellen, um sicherzustellen, dass ChatGPT empathische, klinisch informierte Unterstützung bietet und Menschen zu realer Hilfe lenkt, wenn sie sie am meisten benötigen.

OpenAI Sora steht vor Deepfake-Bedenken und Gegenreaktionen aus Hollywood | HODLFM.DE

OpenAIs Sora sorgt für Kritik wegen Deepfake-Risiken und…

HODLFM.DE: Die wildeste Fahrt auf dem KryptomarktHODL Team

Haftungsausschluss: Alle Materialien auf dieser Seite dienen nur zu Informationszwecken. Keines der Materialien sollte als Anlageberatung interpretiert werden. Bitte beachten Sie, dass trotz der Art vieler Materialien, die auf dieser Website erstellt und gehostet werden, HODLFM.DE keine Finanzreferenzressource ist und die Meinungen von Autoren und anderen Mitwirkenden ihre eigenen sind und nicht als finanzielle Beratung aufgefasst werden sollten. Wenn Sie eine solche Beratung benötigen, empfiehlt HODLFM.DE dringend, sich an einen qualifizierten Fachmann der Branche zu wenden.