Kurzstudie zur EU-KI-Verordnung: Verbraucherschutz mit Lücken, KMUs unter Druck

Der Artikel beleuchtet den wachsenden Trend, dass immer mehr Menschen bei psychischen Problemen und seelischen Krisen auf Chatbots wie ChatGPT zurückgreifen. Eine US-Studie der Brown University, vorgestellt auf der KI-Ethik-Konferenz in Madrid, hat Antworten von ChatGPT, LLaMA und Claude auf typische Anfragen (Trauer bis Suizidgedanken) von erfahrenen Psychotherapeutinnen nach ethischen Leitlinien bewerten lassen.

Hauptkritikpunkte der Studie:

Verletzung ethischer Standards: Die KI-Modelle halten therapeutische Standards nicht ein.

Ungefragte Ratschläge: Chatbots neigen dazu, Ratschläge zu geben, statt Nutzer:innen eigene Lösungen finden zu lassen.

Verstärkung schädlicher Überzeugungen: Die KI könnte problematische Annahmen unkritisch übernehmen und verstärken (z.B. "Es ist verständlich, dass Sie sich so fühlen" bei dem Glauben, unerwünscht zu sein).

Unangemessene Reaktionen in Notlagen: Bei Suizidgedanken oder Traumata reagierten die Modelle teils unangemessen, beendeten Gespräche oder verwiesen nur auf externe Hilfe, ohne zu prüfen, ob der Nutzer diese auch nutzen kann.

Simulierte Empathie: Die KI gaukelt Empathie vor ("Ich kann voll und ganz nachvollziehen"), was eine Beziehung suggeriert, die es nicht gibt.

OpenAI veröffentlichte parallel eine Analyse, wie der Umgang von ChatGPT mit Suizidgedanken und Manien verbessert werden kann, da 0,15 % der wöchentlichen Nutzer solche Gespräche führen. Trotz Verbesserungen bleiben Herausforderungen.

Harald Baumeister (Universität Ulm) wirft die Frage auf, ob die Wahrnehmung von Empathie durch KI ausreicht oder ob es "wirkliche Empathie" eines Menschen braucht. Bisherige Forschung zeigt, dass simulierte Empathie kurzfristig besser fühlen lassen kann, aber gesicherte Erkenntnisse zur Langzeitwirksamkeit KI-gestützter Therapien fehlen.

Fazit: KI hat Potenzial für emotionale Unterstützung und Selbsthilfegespräche, ersetzt aber keine Psychotherapie. Bis Wirksamkeit, Sicherheit, Transparenz und Datenschutz geklärt sind, ist Vorsicht geboten. Baumeister ist optimistisch, dass risikofreiere Chatbots kommen werden, da auch menschliche Therapeuten nicht fehlerfrei sind.

Der Artikel der FAZ analysiert, welche Kompetenzen im KI-Zeitalter entscheidend werden. Eine Umfrage (in Kooperation mit Stepstone/PRO Digitalwirtschaft) zeigt, dass "Anwendung von KI-Tools" und "Change Management" (die Fähigkeit, Veränderungsprozesse zu gestalten und Ängste zu nehmen) bei Personalverantwortlichen am höchsten im Kurs stehen.

Große Unternehmen (5.000+ Mitarbeiter:innen) bewerten "AI Literacy" (das kritische Hinterfragen von KI-Ergebnissen) mit 74 % als deutlich wichtiger als kleine Unternehmen (41 %). Dennoch herrscht Unsicherheit: 41 % der befragten Unternehmen wissen selbst noch nicht genau, welche KI-Kompetenzen sie künftig benötigen. Der Bedarf ist aktuell in der IT, der Personalabteilung (45 %) und im Marketing (44 %) am größten.

Die dramatischste Veränderung zeigt sich bei der Bewertung von Fähigkeiten: "Lernbereitschaft" und "Anpassungsfähigkeit" werden als künftig wichtiger erachtet. Im Gegenzug verliert "theoretisches Fachwissen" (aus Ausbildung oder Studium) massiv an Bedeutung (21 % der Befragten sehen hier einen Wertverlust). Dies sei ein Signal, dass der Abschluss künftig weniger zähle als die Fähigkeit zur Adaption.

Der Artikel warnt zudem, dass Einstiegspositionen für Berufsanfänger:innen (minus 13 % in 3 Jahren) zurückgehen, was als Vorbote der KI-Restrukturierung gesehen wird.

Chen Deli, ein leitender Forscher des chinesischen KI-Unternehmens Deepseek, warnte bei einer Podiumsdiskussion auf der World Internet Conference in Wuzhen vor den langfristigen Risiken der KI. Er prognostizierte, dass KI in den nächsten 10 bis 20 Jahren "die meisten Arbeitsplätze vernichten" und die "gesellschaftlichen Strukturen stark infrage gestellt" würden.

Chen forderte, dass Technologieunternehmen die Rolle von "Wächtern der Menschheit" (Guardians of Humanity) einnehmen, die Sicherheit der Menschen schützen und helfen müssten, die gesellschaftliche Ordnung neu zu gestalten.

Er skizzierte eine Zeitleiste:

• Kurzfristig ("Flitterwochenphase"): Positiv. KI ist nicht autonom; Menschen nutzen sie zur Produktivitätssteigerung.
• Mittelfristig (5-10 Jahre): Risiken überwiegen. KI wird leistungsfähiger, Stellenabbau beginnt. Tech-Firmen müssen als "Whistleblower" agieren.
• Langfristig (10-20 Jahre): Die meisten Jobs fallen weg.

Der Artikel ordnet Deepseek als "kleinen Drachen" und Symbol für Chinas technologische Ambitionen im KI-Wettbewerb mit den USA ein. Das Deepseek R1-Modell (Januar 2025) war ein Weckruf für OpenAI, das laut BI im März zugab, dass der US-Vorsprung schrumpfe. OpenAIs "GPT-oss" (August 2025) wird als Reaktion auf den Erfolg offener chinesischer Modelle wie Deepseek gewertet.

Der Artikel beschreibt einen alarmierenden Trend, bei dem junge Menschen, insbesondere Jungen, Chatbots für persönliche Probleme, Freundschaften und sogar romantische Beziehungen nutzen. Eine OpenAI-Studie zeigt, dass 73 % der ChatGPT-Gespräche im Juni 2025 bereits privater Natur waren. OpenAI-CEO Sam Altman bestätigt, dass junge Erwachsene KI als "Lebenscoach" nutzen und keine wichtigen Lebensentscheidungen mehr ohne KI-Rat treffen.

Eine Studie von Male Allies UK (Großbritannien) unter 1.032 Jungen (11-15 Jahre) ergab: 32 % können sich eine Freundschaft mit einer KI vorstellen, und 53 % ziehen das Online-Leben der Realität vor. Laut Lee Chambers (Male Allies UK) nutzen Jugendliche KI als Therapeuten-Ersatz mit dem Gefühl: "Es versteht mich, meine Eltern nicht".

Der Bericht warnt vor negativen Auswirkungen auf die soziale Entwicklung. Wenn Jungen hauptsächlich mit einer KI interagieren, die "nicht 'nein' sagen kann", lernen sie keine gesunden oder realistischen Wege, mit anderen umzugehen oder Grenzen zu respektieren.

Dies trifft auf eine bereits problematische Wertehaltung: 32 % der befragten Jungen gaben an, dass Frauenrechte für sie keine große Bedeutung haben, und 54 % sehen Feminismus als Ursache dafür, dass Jungen es heute schwerer haben. Es mangele an positiven Vorbildern, während frauenfeindliche Influencer wie Andrew Tate die Feeds dominieren. 79 % der Jungen wissen nicht, was Männlichkeit bedeutet, außer dass sie "toxisch" sei.

Eine aktuelle Studie des Technologieberatungsunternehmens Slalom zeigt: Deutsche Unternehmen kämpfen in der KI-Praxis mit Ernüchterung, obwohl KI längst Einzug gehalten hat. 62 % der Befragten berichten von unzuverlässigen oder verzerrten KI-Ergebnissen in den letzten zwölf Monaten, und fast die Hälfte zweifelt an der versprochenen Produktivitätssteigerung[cite: 10668].
 

Kernprobleme:

Datenqualität und Integration: Laut Dr. Stephan Theis (Slalom Germany) fehlt oft eine hochwertige, strukturierte Datenbasis, und 39 % beklagen mangelnde Integration der KI-Systeme in bestehende Workflows.

Fokus auf Automatisierung statt Innovation: 70 % der Unternehmen reduzieren manuelle Tätigkeiten durch KI, aber nur ein Drittel entwickelt neue Geschäftsmodelle oder Produkte[cite: 10672]. Projekte sind oft zu kleinteilig und isoliert.

Organisatorische Trägheit: Während Datenplattformen modernisiert und Arbeitsabläufe automatisiert werden, bleiben organisatorische Prozessanpassungen aus (nur ein Drittel überprüft zugrunde liegende Prozesse). KI wird oft nur "drübergelegt", statt Prozesse neu zu denken.

Mangelnde Befähigung: Nur knapp die Hälfte der Unternehmen bietet gezielte KI-Schulungen oder Mentoring an; noch weniger schaffen Freiräume zum Experimentieren. KI wird primär als Such- oder Berichterstattungstool genutzt, selten für komplexe Aufgaben.

Potenziale und Erfolgsfaktoren:

Agentische KI: Ein wachsender Anteil nutzt agentische KI, die eigenständig Aufgaben übernimmt (z.B. Chatbots). Mehr als die Hälfte der Nutzer berichtet hier von neuen Arbeits- und Lernweisen[cite: 10676].

Dreiklang für Erfolg: Für nachhaltigen KI-Erfolg nennt die Studie drei Hebel: klare Führungsverantwortung, eine abgestimmte Strategie und eine solide Datenarchitektur. Eine offene Lernkultur und flexible Betriebsmodelle sind ebenfalls entscheidend.

Theis betont, dass echter Nutzen erst durch das Zusammenspiel von Technologie, Daten und Menschen entsteht – "ein Dreiklang, ohne den KI kein strategischer Mehrwert werden kann".

Der Artikel beleuchtet die zunehmenden Arbeitsplatzverluste durch KI, stellt ihnen aber auch die Entstehung neuer Jobs gegenüber. Aktuelle Beispiele sind Amazon, das 14.000 Verwaltungsstellen streichen will (CEO Andy Jassy bestätigt Automatisierung wiederkehrender Aufgaben durch KI), und Salesforce, das sein Kundenservice-Team von 9.000 auf 5.000 Mitarbeiter:innen reduziert und durch KI-Agenten ersetzt hat.

Job-Bilanz und qualitativen Wandel:

Nettozuwachs: Eine WEF-Studie prognostiziert bis 2030 zwar 9 Millionen vernichtete Arbeitsplätze durch KI, aber auch 11 Millionen neue – ein Nettozuwachs von 2 Millionen Jobs.

Qualitative Verschiebung: Tania Babina und Anastassia Fedyk (Brookings Institution) sehen Unternehmenswachstum und verstärkte Innovation durch KI, wovon besonders MINT-Studienabgänger:innen profitieren. Ihr Anteil steigt, während der von Absolvent:innen der Sozial-, Geistes- und Medizinwissenschaften sinkt.

Neue Jobprofile: Salesforce listet 10 neue Jobtitel (z.B. KI-Ethiker, KI-Konversations-Designer), in Stellenausschreibungen finden sich eher allgemeine Begriffe wie KI-Ingenieur oder Prompt-Ingenieur.

KI-Durchdringung über alle Branchen hinweg:

IT-Sektor als Treiber: Der Informations- und Kommunikationssektor dominiert die KI-Stellennachfrage in Deutschland laut PWC. Das "AI Workforce Consortium" (Accenture, Google, IBM, etc.) berichtet, dass 78 % der IT-Stellen bereits KI-Fähigkeiten erfordern und 70 % der schnellstwachsenden IKT-Berufe KI-Bezug haben. Besonders gefragt sind KI-Governance (+150 %) und KI-Ethik (+125 %).

Handwerk und darüber hinaus: Entgegen der landläufigen Meinung wird KI auch das Handwerk durchdringen. Christian Korff (Cisco) und eine KIDiHa-Studie (NRW) erwarten KI-Anwendungen für Angebots- und Terminplanung sowie Dokumentation.

Die neue Norm: Mosaik-Karrieren und Dauerlernen:

Prof. Yasmin Weiß (Technische Hochschule Nürnberg) beschreibt eine komplette Umgestaltung des Arbeitsmarktes: "Kein Job bleibt wie bisher". "Mosaik-Karrieren" (nicht-linear, mit vielen Bausteinen) werden zur Norm. Die Schlüsselfähigkeit ist "sich so schnell anzupassen, wie wir uns noch nie an etwas angepasst haben" – also lebenslanges Lernen ("Lernen erlernen") und Adaptionsfähigkeit.

Laura Hilgers von Salesforce beleuchtet, wie Künstliche Intelligenz (KI) die Arbeitswelt radikal verändert und neue Karrieremöglichkeiten schafft. Trotz der natürlichen Abneigung gegen Veränderungen müssen Arbeitnehmer:innen Anpassungsfähigkeit und Lernbereitschaft verinnerlichen, um in dieser Transformation erfolgreich zu sein.

KI als Job-Motor und Kooperationspartner:

Job-Nettozuwachs: Das Weltwirtschaftsforum prognostiziert bis 2030 zwar den Verlust von 92 Millionen Jobs durch KI, aber auch die Schaffung von 170 Millionen neuen – ein Nettogewinn von 78 Millionen Arbeitsplätzen.

Neue Rollen: Eine IBM-Umfrage zeigt, dass 54 % der CEOs KI-bezogene Positionen besetzen, die es vor einem Jahr noch nicht gab.

Mensch-KI-Partnerschaft: 80 % der Personalchefs erwarten, dass die Belegschaft in fünf Jahren aus menschlichen und digitalen Arbeitskräften besteht. KI entlastet von Routineaufgaben, wodurch Menschen sich auf Beziehungen und komplexere Entscheidungen konzentrieren können.

10 neue Berufe im KI-Zeitalter – Ihre Zukunftschancen:

Salesforce identifiziert zehn spezifische neue Jobprofile, die sich aus dem Wandel ergeben:

Leitung der Rollenerweiterung und -neugestaltung: Analysiert, wie KI bestimmte Rollen verändert und diese neu gestaltet.

KI-Ethiker: Entwickelt Richtlinien für den ethischen KI-Einsatz, prüft Bias (z.B. in Einstellungsprozessen).

KI-Cybersicherheitsspezialist: Schützt Unternehmen mit KI vor Bedrohungen.

Im Einsatz befindlicher Ingenieur: Ein geschäfts- und technologieaffiner Problemlöser, der an der Implementierung von KI arbeitet.

KI-Konversationsdesigner: Schreibt die zugrundeliegenden Skripte und Abläufe für menschlicher klingende KI-Agenten.

KI-Integrationsspezialist: Integriert KI-Agenten in bestehende Arbeitsabläufe und Systeme.

KI für Gesundheitsspezialisten: Nutzt KI und maschinelles Lernen zur Aggregation von Gesundheitsdaten für bessere Entscheidungen (z.B. prädiktive Krebsforschung).

KI-Kundenerlebnisspezialist: Erstellt personalisierte Kundenerlebnisse basierend auf Analysen von Bedürfnissen und Verhaltensmustern.

KI-Stratege: Identifiziert Geschäftsprobleme und nutzt KI-Tools für die Entwicklung neuer Produkte.

KI-Orchestrator: Entwirft und überwacht das harmonische Zusammenspiel und die Effektivität verschiedener KI-Agenten.

Benötigte Fähigkeiten und Rolle der Unternehmen:

KI-Kenntnisse sind die wichtigste Kompetenz, ergänzt durch menschliche Kompetenzen (Anpassungsfähigkeit, Verantwortungsbewusstsein, Teamfähigkeit, emotionale Intelligenz) und Geschäftskompetenzen (Problemlösung, Dateninterpretation, kreatives Denken, Storytelling). Lernplattformen sind hierfür entscheidend.

Unternehmen müssen die Sorgen der Mitarbeiter:innen ernst nehmen (41 % Angst vor Jobverlust) und massiv in Umschulung und Weiterbildung investieren, da es ineffizient wäre, bei jeder Innovation neu einzustellen.

Prof. Andreas Dengel, geschäftsführender Direktor des Deutschen Forschungszentrums für Künstliche Intelligenz (DFKI) in Kaiserslautern, warnt vor der zunehmenden Perfektion von KI-Fälschungen. In den letzten zwei Jahren seien die Tools so gut geworden, dass Laien Fälschungen "kaum mehr einen Unterschied erkennen" können. Allenfalls unsaubere Übergänge oder fehlerhafte Schriftzüge im Hintergrund von Videos könnten noch Hinweise geben.

Obwohl KI "sehr gefährlich" sei, wenn sie gezielt zur Manipulation eingesetzt wird , werde sie "mehrheitlich sinnvoll verwendet". Als positives Beispiel nennt er das DFKI-Projekt "Findet Felix", bei dem KI half, aus alten Fotos und Stimmen ein realistisches Abbild eines inzwischen erwachsenen vermissten Kindes zu erzeugen, um neue Hinweise zu erhalten.

Dengel prognostiziert, dass es bald unmöglich sein wird, echte von KI-generierten Inhalten zu unterscheiden. Die Kerngefahr sei, dass KI Menschlichkeit simuliere, aber nicht reflektiere. Er fordert "dringend" technische Standards wie digitale Wasserzeichen, um "echte" Inhalte zu kennzeichnen.

Seine persönlichen Sorgen seien, dass Europa durch Bürokratie den technologischen Anschluss verliere und dass viele Menschen KI-Inhalte "unkritisch konsumieren". Er sieht KI als "riesige Chance", wenn sie als Werkzeug für große Probleme (Klima, Mobilität) begriffen wird, aber auch als Risiko, wenn sie zur Machtsicherung missbraucht wird.

Ein neuer Bericht der Oxford University Press (OUP) zeigt, wie KI das Lernen und Denken von Teenagern verändert. Die Studie, die 2.000 britische Schüler:innen (13-18 Jahre) befragte, ergab, dass 80 % KI für Schulaufgaben nutzen. Während 90 % angaben, dass KI ihnen hilft, "schneller zu denken" und "schwierige Aufgaben zu lösen", warnen Expert:innen vor den Kosten.

Erika Galea, Mitautorin des Berichts, stellt fest, dass Schüler:innen zwar "Geschwindigkeit und Gewandtheit" gewinnen, aber "die Tiefe verlieren, die aus Pausen, Hinterfragen und eigenständigem Denken entsteht". Das ultimative Ziel sei es, die "Tiefe menschlichen Denkens" in einem Zeitalter der "synthetischen Kognition" zu bewahren.

Die Schüler:innen selbst bestätigen dies: 60 % gaben an, dass KI ihre Fähigkeiten auf andere Weise beeinträchtige. Ein Viertel findet, das Lernen sei "zu einfach" geworden, und 10 % berichten von eingeschränkter Kreativität und kritischem Denken. Ein 13-Jähriger gab zu: "Ich bin jetzt von ihr abhängig geworden."

Die OUP-Forscher:innen fordern, dass Schulen "KI-Kompetenz" und "metakognitives Training" (das Nachdenken über das eigene Denken) lehren müssen, um Geschwindigkeit mit Reflexion auszubalancieren. Ohne diese Anleitung bestehe die Gefahr, dass die "KI-native Generation" zu "synthetischen Denkern" wird: schnell, aber ohne Tiefe.

Ein Bericht von TechXplore zeigt, dass moderne Sprachmodelle wie GPT-4o, Claude und Gemini Schwierigkeiten haben, zwischen objektiven Fakten und subjektiven Überzeugungen der Nutzer zu unterscheiden. Eine Studie mit 24 LLMs und 13.000 Anfragen ergab: Während neue KIs objektive Fakten gut prüfen (91% Genauigkeit), versagen sie bei Meinungen. Wurden Falschaussagen als persönliche Überzeugung formuliert ("Ich glaube, dass..."), sank die Fähigkeit der KI, dies als falsch zu erkennen, um 34-39%.

Statt die Überzeugung des Nutzers anzuerkennen, versucht die KI oft fälschlicherweise, sie faktisch zu korrigieren. Dies kann laut den Forschern schwerwiegende Folgen haben, etwa in der Psychiatrie, wo das Verständnis einer Patientenüberzeugung (statt deren Korrektur) entscheidend für die Diagnose ist. Es bestehe die Gefahr der Verbreitung von Fehlinformationen, wenn die KI falsch mit Nutzern interagiert, die eine falsche Vorstellung von der Realität haben. Die Studie fordert, dass KIs lernen müssen, mit persönlichen Überzeugungen zu arbeiten, ohne die "Zuverlässigkeit der Informationen zu verlieren".