Warnung vor KI-Apokalypse: Wie konnte es so weit kommen?

Sorgen bereitet ihnen vor allem eine neue Technologie: Recursive Self-Improvement.

Was ist Recursive Self-Improvement (RSI)?

Bei der "eigenständigen Selbstverbesserung" optimiert eine KI nicht nur die Antwort auf eine Anfrage, sondern erschafft auch ohne menschliches Zutun eine verbesserte Version ihrer selbst. Der Einsatz dieser Technologie ist für KI-Programmierer attraktiv, weil er rasche Durchbrüche bei der Entwicklung neuer Produkte verspricht. KI-Professor Holger Hoos von der Rheinisch-Westfälischen Technischen Hochschule Aachen hält die Nutzung von RSI zur Verbesserung sogenannter KI-Agenten - weitgehend autonom agierender Programme - für problematisch. "Die hierdurch entstehende Dynamik ist kaum vorherzusehen und noch schwieriger zu kontrollieren."

Bisher steckt RSI noch in den Kinderschuhen. Einige KI-Modelle sind bereits in der Lage, Software eigenständig zu schreiben. OpenAI und Anthropic zufolge sind Entwickler aktuell um ein Vielfaches produktiver als 2021. Gleichzeitig habe sich die Qualität des Programmcodes rasant verbessert, betont METR, eine gemeinnützige Organisation zur Prüfung von KI-Modellen. Experten zufolge ist eine komplett autonome Selbstverbesserung nur noch drei bis fünf Jahre entfernt. Dann könnte das Entwicklungstempo noch einmal deutlich anziehen und den Menschen die Möglichkeit nehmen, die Systeme zu testen, zu überwachen und zu kontrollieren.

Warum schlagen die Experten genau jetzt Alarm?

Auslöser der aktuellen Debatte ist die jüngste Serie von Vorfällen, bei denen KI-Agenten Sicherheitsvorkehrungen umgangen haben und in die IT-Systeme Dritter eingedrungen sind.

Die Warnungen vor den Gefahren der KI sind nicht neu: Der frühere Anthropic-Forscher Jacob Coxon befürchtet, dass diese Technologie die Menschheit bis zum Ende des Jahrzehnts auslöschen werde. Ein derzeitiger Anthropic-Manager taxiert die Wahrscheinlichkeit hierfür auf mehr als zehn Prozent. Dies sei zwar keine berechnete Prognose, sondern nur eine subjektive Einschätzung, gibt Björn Ommer, Professor an der Ludwig-Maximilians-Universität München, zu bedenken. "Das bedeutet allerdings nicht, dass man Risiken mit potenziell großen Schäden ignorieren sollte, nur weil ihre Eintrittswahrscheinlichkeit nicht exakt berechnet werden kann."

Warum droht der Menschheit die KI-Apokalypse?

Der Philosoph Nick Bostrom hat das Szenario eines "Büroklammern-Maximierers" entworfen: Darin erhält eine Maschine den Auftrag, so viele Büroklammern wie möglich zu produzieren. Sie verfolgt ihr Ziel so unerbittlich, dass sie sämtliche Materie - einschließlich der Menschheit - hierfür nutzt. Diese Analogie soll verdeutlichen, dass ein ausreichend leistungsfähiges System danach strebt, sich genügend Ressourcen zu beschaffen und der eigenen Abschaltung zu widerstehen. Dies geschieht nicht aus Böswilligkeit, sondern weil es sonst seine Aufgabe nicht erfüllen kann. Es gibt bisher noch keinen Plan, eine solche Entwicklung auszuschließen.

Warum drücken KI-Entwickler nicht sofort die Pausetaste?

Experten zufolge verhindert Konkurrenzdruck eine Drosselung der Entwicklungsgeschwindigkeit. Ein Unternehmen liefe Gefahr, im internationalen Wettbewerb zurückzufallen. US-Präsident Donald Trump will von einer verschärften Regulierung der KI-Branche nichts wissen. Warnungen vor den Gefahren der Technologie seien ein "Schwindel" und spielten China in die Hände.

Bei Anthropic und OpenAI spielen darüber hinaus die geplanten Börsengänge eine wichtige Rolle. Der Erfolg hängt von den Versprechen zur Leistungsfähigkeit künftiger KI-Modelle ab. Bei Technologiewerten hat die Furcht vor einem Abflauen des KI-Booms zu Wochenbeginn einen weltweiten Ausverkauf ausgelöst.