Googles Entdeckung und Ausnutzung des Überwachungskapitalismus verblasst im Vergleich zur Verbreitung von KI im Gesundheitswesen. Es ist ein wilder Westen der ständigen Gesetzlosigkeit ohne Rechenschaftspflicht oder Transparenz. Was auch immer in den nächsten zwei oder drei Jahren an Gewinnen erzielt werden kann, wird darüber entscheiden, wer den Großteil der Marktanteile und damit die ewigen Gewinne hat. ⁃ TN-Redakteur
Wie STAT berichtet, wehren sich große Technologieunternehmen gegen die vorgeschlagenen Bundesvorschriften, die eine stärkere Überwachung der in der Patientenversorgung eingesetzten Tools für künstliche Intelligenz (KI) vorsehen.
Die Unternehmen, darunter Google, Amazon und Epic, werden durch den Verkauf einer Vielzahl von Tools an Versicherer und Anbieter, die von der Automatisierung klinischer Dokumentationsverfahren über die Bewertung von Versicherungsansprüchen bis hin zur virtuellen Pflege reichen, von der Ausweitung der KI im Gesundheitswesen profitieren.
Die Technologiebranche hat sich gemeinsam mit großen Gesundheitsdienstleistern, großen privaten Versicherern und Anbietern medizinischer Software gegen den Vorschlag des Office of the National Coordinator for Health Information Technology (ONC) ausgesprochen, die Transparenz von KI- und ML-Technologien, die die Entscheidungsfindung im Gesundheitswesen unterstützen, einzuschränken und auszuweiten – was das ONC als “Predictive Decision Support Interventions” (DSI) bezeichnet.
Das ONC, das im US-Gesundheitsministerium angesiedelt ist und die elektronischen Gesundheitsdaten überwacht, hat im April Regeln für Gesundheitsdaten, Technologie und Interoperabilität” vorgeschlagen.
Die Regeln können bis zum 20. Juli öffentlich kommentiert werden.
Die vorgeschlagenen Regeln, die den 21st Century Cures Act aktualisieren, sollen das Mandat der Biden-Administration unterstützen, das öffentliche Vertrauen in KI zu erhöhen, indem Kliniker in ihren elektronischen Gesundheitsdatensystemen mehr Informationen über die KI-Algorithmen erhalten, damit sie die Anwendbarkeit der Technologie für eine bestimmte Patientenpopulation oder einen bestimmten Umstand besser beurteilen können, so das ONC gegenüber Reportern.
Eine Studie, die letztes Jahr im Journal of Medical Internet Research veröffentlicht wurde, stellte fest, dass es trotz der Vielzahl von Behauptungen über die Vorteile von KI bei der Verbesserung klinischer Ergebnisse nur wenige belastbare Beweise gibt”.
Dieser Mangel an Beweisen hat jedoch weder Tech-Giganten davon abgehalten, KI-Tools zu entwickeln, noch private Gesundheitsunternehmen davon abgehalten, sie zunehmend zu nutzen, um “lebensverändernde Entscheidungen mit wenig unabhängiger Aufsicht zu treffen”, stellte STAT fest, nachdem es geheime Unternehmensdokumente und Hunderte von Seiten von Bundesunterlagen und Gerichtsakten geprüft hatte.
Befürworter preisen die Ausweitung der künstlichen Intelligenz im Gesundheitswesen als einfache Möglichkeit, Kosten zu senken und die Versorgung zu verbessern, indem unter anderem die Zeit, die die Patienten mit den Ärzten verbringen, reduziert wird, insbesondere in der Primärversorgung.
Doch Kritiker wie der Anwalt und Gesundheitsaktivist Ady Barkan sagen, dass es immer mehr Beweise dafür gibt, dass KI-Entscheidungen im Gesundheitswesen den Patienten schaden. “Roboter sollten keine Entscheidungen über Leben und Tod treffen”, sagte er.
In ihrem Vorschlag für die neuen Regeln führte die ONC auch Bedenken darüber an, dass es immer mehr Beweise dafür gibt, dass prädiktive Modelle das Potenzial für viele verschiedene Risiken einführen und erhöhen, die negative Auswirkungen auf Patienten und Gemeinschaften haben.
Als Reaktion darauf schlägt das ONC ein neues Kriterium für “entscheidungsunterstützende Interventionen” vor, das neue Transparenz- und Risikomanagementerwartungen für KI- und ML-Technologien zur Unterstützung der Entscheidungsfindung im Gesundheitswesen schaffen würde.
Die neuen Vorschriften würden auch für Modelle der Informationstechnologie im Gesundheitswesen gelten, die eine Schnittstelle zu KI haben.
Die wichtigsten vom ONC vorgeschlagenen Änderungen sehen vor, dass alle diese Systeme den Nutzern Informationen über die Funktionsweise der Algorithmen zur Verfügung stellen müssen – und zwar in einfacher Sprache, ähnlich wie bei einer “Nährwertkennzeichnung”.
Die Regeln verlangen auch, dass für alle Systeme neue Verfahren für das Risikomanagement entwickelt werden. Und die Informationen über das Risikomanagement müssten öffentlich zugänglich sein.
Die Entwickler wären auch verpflichtet, einen Mechanismus für öffentliches Feedback bereitzustellen.
“Wenn der Vorschlag für die DSI-Vorschriften verabschiedet wird”, so die National Law Review, “wird er die Entwicklung, den Einsatz und die Verwendung von KI/ML-Tools im Gesundheitswesen erheblich beeinflussen.”
Tech-Giganten sagen, Transparenzregeln würden sie zur Offenlegung von “Geschäftsgeheimnissen” zwingen
Mehr als 200 öffentliche Kommentare, die bei ONC zu dem Vorschlag eingereicht wurden – hauptsächlich von Technologie- und Gesundheitsunternehmen, die den Vorschriften unterliegen werden – “machen deutlich, welche Schlacht bevorsteht, wenn Unternehmen um den Einsatz immer leistungsfähigerer KI-Tools in sicherheitskritischen Sektoren wie dem Gesundheitswesen wetteifern, wo die potenziellen Gewinnmargen viel größer sind als die Fehlermarge”, so STAT.
Viele von Googles eigenen Wissenschaftlern sowie führende Tech-Milliardäre und KI-Entwickler haben öffentlich Bedenken geäußert, dass KI eine existenzielle Bedrohung für die Menschheit und unmittelbare Risiken für die menschliche Gesundheit und das Wohlbefinden darstellt.
In ihren Schreiben an das ONC äußerten Technologieunternehmen, Versicherer und Anbieterverbände jedoch “Bedenken” zu den vorgeschlagenen Regelungen. Sie sagten, die vorgeschlagenen Regeln seien “übermäßig weit gefasst” und die geforderte Transparenz würde sie dazu zwingen, “geistiges Eigentum” und “Geschäftsgeheimnisse” offenzulegen.
In seiner Stellungnahme wandte sich Google gegen eine zu weit gefasste oder unnötige Offenlegungspflicht”, die die Kosten für Entwickler und damit für die Verbraucher erhöhen würde.
Google sagte auch, dass die Einbeziehung von generativer KI oder großen Sprachmodellen wie BARD, zusammen mit den so genannten “risikoarmen” KI-Tools, eine unangemessene Belastung für die Unternehmen darstellen würde.
Aber selbst die Weltgesundheitsorganisation (WHO) hat erklärt, dass die unzureichende Regulierung von durch künstliche Intelligenz generierten großen Sprachmodellen das menschliche Wohlergehen gefährdet, wobei sie Programme wie BARD und ChatGPT besonders hervorhebt.
Amazon schrieb auch, dass das ONC mit der Anwendung seiner Regeln auf eine breite Klasse von Technologien, die auf prädiktiver KI/ML beruhen, weit über das hinausgeht, was zur Regulierung der Branche und zur Risikominderung angemessen wäre.
Epic Systems, der landesweit größte Anbieter von elektronischen Gesundheitsakten, argumentierte in seiner Stellungnahme ebenfalls, dass die von der ONC vorgeschlagenen Vorschriften zu weit gefasst seien, und erklärte, dass die ONC die Offenlegung der Funktionsweise von KI nicht zu einer Voraussetzung für die Zertifizierung von Gesundheits-IT-Systemen machen sollte.
“Wenn zertifizierte Entwickler von Gesundheits-IT-Systemen ihr geistiges Eigentum offenlegen müssen, während nicht zertifizierte Entwickler von Vorhersagemodellen nicht zur gleichen Offenlegung verpflichtet sind, würde ein erhebliches Ungleichgewicht in der Markttransparenz – und letztlich auch im Innovationsanreiz – entstehen”, schrieb das Unternehmen.
Fehlende Aufsicht ermöglicht es Unternehmen, Algorithmen zu manipulieren, um ihre Gewinne zu steigern
Kritiker der wachsenden unkontrollierten und unregulierten Rolle von KI/ML im Gesundheitswesen, darunter Forscher, die KI entwickeln, und Gesundheitsdienstleister, argumentierten, dass die vorgeschlagenen Regeln nicht weit genug gehen, um die Öffentlichkeit zu informieren und zu schützen.
In einem Schreiben, das eine interdisziplinäre Gruppe von 34 Wissenschaftlern der University of Michigan – mit Mitunterzeichnern aus mehr als 30 anderen Gesundheitsforschungseinrichtungen in den USA und Europa – beim ONC eingereicht hat, wird das ONC aufgefordert, strengere Vorschriften anzuwenden.
Sie argumentierten, dass die Öffentlichkeit auch darüber informiert werden sollte, welche Daten in diese Modelle einfließen – dazu gehört auch die Forderung nach Transparenz darüber, welche Variablen die Modelle für ihre Vorhersagen verwenden und woher die Daten stammen, die zum Trainieren und Bewerten der KI/ML-Systeme verwendet werden.
Das Versäumnis, die Öffentlichkeit über diese Informationen zu informieren, hat in jüngster Zeit zu “Rückschlägen und Schäden durch den Einsatz von Vorhersagemodellen im Gesundheitswesen” geführt, schreiben sie.
Neue Erkenntnisse zeigen aber auch, wie der Mangel an Transparenz und Regulierung es Unternehmen ermöglicht, Algorithmen zu manipulieren, um ihren Gewinn zu steigern – mit schwerwiegenden Folgen für die menschliche Gesundheit.
Eine STAT-Untersuchung vom März ergab, dass KI die Zahl der Ablehnungen von medizinischen Anträgen bei Medicare Advantage in die Höhe schnellen lässt. Die Untersuchung ergab, dass Versicherer unregulierte prädiktive Algorithmen verwenden, die von naviHealth entwickelt wurden, um den Punkt zu bestimmen, an dem sie plausibel die Zahlung für die Behandlung älterer Patienten einstellen können.
Vergangene Woche berichtete STAT, dass sich das Problem nach der Übernahme von naviHealth durch United Healthcare im Jahr 2020 noch verschlimmert hat und selbst Kliniker die vom Algorithmus getroffenen Behandlungsentscheidungen nicht ohne ernsthaften Druck der Geschäftsleitung außer Kraft setzen können.
In seiner Stellungnahme an das ONC sprach sich United Healthcare auch vehement gegen mehrere Aspekte der vorgeschlagenen OTC-Regeln aus, die genau diese Art von Algorithmen stärker regulieren würden.
Das Unternehmen erklärte, die ONC-Definition von DSI sei vage und zu weit gefasst” und würde die Bedeutung von DSI über den klinischen Verwendungszweck hinaus verschieben und belastende Anforderungen an Tools mit geringem Risiko stellen.
Sie wandte sich auch gegen die vorgeschlagenen ONC-Anforderungen zur Offenlegung von Informationen über die Funktionsweise der Algorithmen und begründete dies mit den “Risiken für den Entwickler”, wenn von ihm verlangt wird, sensible oder geschützte Informationen mit den Benutzern zu teilen.
Einige Aktivisten haben die Kampagne Stop #DeathByAI ins Leben gerufen, um den Missbrauch durch KI bei Medicare Advantage zu stoppen, wie Common Dreams berichtet.
Aber das ist nur die Spitze des Eisbergs in diesem explodierenden Markt, der laut Markets and Markets bis 2028 einen Wert von über 102 Milliarden Dollar haben wird – ein Anstieg gegenüber dem derzeitigen Wert von 14,6 Milliarden Dollar.
