"Sie spielen mit dem Leben der ganzen Menschheit"
#Trendmärkte

"Sie spielen mit dem Leben der ganzen Menschheit"

Author

Simeon Koch

Das Wichtigste in Kürze:

  • Forscher von Anthropic warnen vor menschenfeindlicher Super-KI.
  • Donald Trump ignoriert die Warnungen und will China schlagen.
  • Wichtige KI-Wissenschaftler widersprechen den Warnungen scharf.

Guten Morgen!

Das Wettrennen um die beste künstliche Intelligenz erreicht einen Punkt, an dem selbst Forscher von führenden KI-Unternehmen vor ihren Produkten warnen. Jacob Coxon, ein 27-jähriger britischer KI-Forscher, hat nach Stationen bei OpenAI und Anthropic die Branche verlassen. Sein Vorwurf: Beide Firmen rasen auf eine unkontrollierbare Superintelligenz zu, die eine Gefahr für die gesamte Menschheit darstellt. Die Warnungen klingen dramatisch. Aber Vorsicht: Hochrangige KI-Forscher kontern harsch.

"Sie glauben, dass KI uns alle in wenigen Jahren töten könnte"

Coxon formulierte seine Kritik ungewöhnlich deutlich. „Die Menschen, die KI entwickeln, glauben ernsthaft, dass sie uns alle bis zum Ende des Jahrzehnts töten könnte“, schrieb er. Und weiter: „Sie rasen direkt auf eine sich selbst verbessernde Superintelligenz zu und spielen mit unserem Leben.“ Nach seiner Einschätzung seien die Risiken innerhalb der Unternehmen durchaus bekannt – trotzdem werde der Wettlauf fortgesetzt.


Jacob Coxon und Evan Hubinger warnen vor einer menschenfeindlichen KI. Aber ist das überhaupt realistisch?


Coxon arbeitete drei Jahre lang an der Entwicklung sogenannter Foundation Models, zunächst bei OpenAI und anschließend bei Anthropic. Bei beiden Unternehmen habe er Kollegen erlebt, die von „Crunchtime“ und „Endgame“ gesprochen hätten. Bei Anthropic würden die Risiken zwar besser verstanden, doch der Wettbewerb zwinge das Unternehmen zum Weitermachen.

Das Ziel hinter diesem Wettlauf ist eine sogenannte rekursive Selbstverbesserung. Gemeint ist damit ein KI-System, das nicht mehr nur Aufgaben erledigt, sondern seine eigenen Fähigkeiten gezielt verbessern oder sogar Nachfolger seiner selbst entwickeln kann. Coxon warnt, dass solche Systeme schon bald „übermenschliche Systeme sein werden, die alles hacken, jedes Fachgebiet über Nacht revolutionieren und echte Macht und Ressourcen erlangen können“.

"Es wird zu schnell für uns": Coxon ist nicht allein

Anthropics Sicherheitsforscher Evan Hubinger widersprach Coxon nicht und schrieb auf X: „Wir glauben wirklich, dass KI alle Menschen töten könnte!“ Hubinger geht sogar noch weiter. Er persönlich schätzt die Wahrscheinlichkeit eines solchen Szenarios innerhalb der kommenden zehn Jahre auf mehr als zehn Prozent. Hubingers Aussage klingt dystopisch, sollte aber kritisch eingeordnet werden: Die Prognose ist wissenschaftlich nicht gestützt und wohl absichtlich dramatisch formuliert, um Aufmerksamkeit auf ein reales Problem zu lenken.


US-Präsident Donald Trump will gegen China gewinnen und ignoriert sämtliche Warnungen. Dabei drängen selbst OpenAI und Anthropic auf stärkere Kontrolle.


Doch auch andere ehemalige Sicherheitsforscher schlagen Alarm. Joe Benton, früher Leiter eines Sicherheitsteams bei Anthropic, warnte, die Entwicklung könne „zu schnell für uns voranschreiten, als dass wir rechtzeitig unsere Angelegenheiten regeln können, wenn wir uns nicht jetzt darum kümmern“. Beide arbeiten inzwischen bei der Forschungsorganisation METR, die die  Sicherheitsrisiken fortschrittlicher KI-Systeme überwacht.


Auch bei OpenAI wächst der Druck. Vorstand und Sicherheitsforscher warnen vor einem Kontrollverlust. Anfang September erklärte der wissenschaftlichre Leiter Jakub Pachocki, dass „internationale Koordination über die zukünftige Entwicklung von KI für Regierungen auf der ganzen Welt zu einer obersten Priorität werden muss“. CEO Sam Altman zeigte sich laut Bloomberg bei einem unternehmensweiten offen dafür, die Entwicklung von OpenAIs KI-Systeme zu verlangsamen und mit anderen KI-Laboren abzustimmen.

Ist eine Super-KI automatisch menschenfeindlich?

Die Warnungen von Jacob Coxon und Evan Hubinger klingen nach Weltuntergang. Doch Coxon selbst stellt klar: Eine unmittelbare Gefahr durch heutige KI sieht er nicht. Die aktuellen Systeme seien für den Alltag sicher, seine Sorge gelte einer möglichen nächsten Entwicklungsstufe. Auch die vielzitierte Einschätzung von Anthropic-Forscher Hubinger muss eingeordnet werden: Es handelt sich um eine subjektive Einschätzung unter extremer Unsicherheit, nicht um eine statistisch belegbare Prognose.


Panik ist verfrüht, zumindest laut Yann Lecun. Der ehemalige Meta-Spezialist erwartet keine unbesiegbare Killer-KI.


Besonders scharf widerspricht Yann LeCun, ehemaliger KI-Chefwissenschaftler von Meta. Er hält die Vorstellung einer unmittelbar bevorstehenden Superintelligenz für verfrüht: Die heutigen großen Sprachmodelle seien noch weit davon entfernt, die Welt wirklich zu verstehen, logisch zu planen oder eigenständig Ziele zu verfolgen. Auch beim angeblichen Drang nach Macht und Selbsterhaltung widerspricht LeCun der Argumentation von Coxon.

Eine Super-KI muss laut Lecun nicht automatisch den Wunsch haben, Menschen zu beherrschen oder sich selbst zu erhalten. KI sei keine biologische Kreatur mit evolutionär entstandenen Überlebensinstinkten, sondern Software, deren Verhalten davon abhänge, wie wir sie programmieren. Hinzu komme eine ganz praktische Grenze: Eine KI bleibe auf Rechenzentren, Strom und von Menschen kontrollierte Infrastruktur angewiesen. Selbst eine extrem leistungsfähige Software sei deshalb nicht automatisch allmächtig.

Kritiker werfen OpenAI und Anthropic außerdem vor, mit dystopischen Warnungen ihr Marketing anzukurbeln. Wenn Entwickler ihre Technologie als potenziell mächtig genug darstellen, um die Menschheit zu vernichten, unterstreicht das zugleich deren wirtschaftlichen Wert. Allerdings gibt es auch keine Belege dafür, dass Whistleblower-Warnungen aus kommerziellen Interessen getätigt oder gezielt platziert werden. Anthropic weist Coxons Vorwürfe teilweise zurück und verweist auf „einige der stärksten Sicherheitsvorkehrungen der Branche“.

Trump will gewinnen – und ignoriert die Warnungen

Während Forscher vor den möglichen Folgen einer unkontrollierten Entwicklung warnen, setzt die US-Regierung weiterhin stark auf den Wettbewerb mit China. Donald Trump sagte am Donnerstag ausdrücklich, er mache sich keine Sorgen darüber, dass KI zur Auslöschung der Menschheit führen könnte. Seine Sorge sei vielmehr, dass die USA den KI-Wettlauf verlieren könnten und dadurch „in eine sehr schlechte Position“ gerieten.


KI-Kontrolle ist längst eine der drängendsten politischen Fragen unserer Zeit. Doch Vernunft hat im globalen Wettrennen nur sehr bedingt Platz.


Parallel wächst allerdings der politische Druck. Demokraten und Republikaner fordern inzwischen strengere Sicherheitsregeln der leistungsfähigsten Modelle. Kalifornien hat gerade ein Gesetz zu unabhängigen KI-Prüfungen verabschiedet. Im Kongress wird zudem über verpflichtende Sicherheitsprüfungen diskutiert. Doch solange kein verbindliches internationales Abkommen existiert, bleibt die Angst vor dem Konkurrenten bestehen.

An den Aktienmärkten zeigt sich Nervosität, allerdings aus einem anderen Grund: Die Renditen zehnjähriger US-Staatsanleihen liegen bei 4.94 Prozent und damit auf dem höchsten Stand seit Sommer 2007. Der WTI-Ölpreis überschritt 100 Dollar, während die PPI-Inflation mit 5.4 Prozent über den erwarteten 5.3 Prozent lag. Der S&P 500 schloss gestern erneut leicht im Minus bei knapp 7 600 Punkten, während der Nasdaq-100 auf rund 29 100 Punkte rutschte. Bitcoin fiel zeitweise auf 76 600 Dollar, Ethereum hält sich knapp unter 2 500 Dollar. Gold fiel unter 4 400 Dollar je Unze.


HKCM-Gewinner und -Verlierer

Wertsteigerung am vergangenen Handelstag in Prozent

 

Apple

+3.56

Siemens Energy

+2.22

PayPal

+2.19

Keel Infrastructure

-7.28

Southern Copper

-7.23

Lam Research

-5.65

Die spannendsten Themen

HKCM-Signal

Heute veröffentlichen wir Analysen zu folgenden Titeln aus unserem KI-Paket: Apple, Teladoc, Illumina und Lumen Technologies.

Author

Simeon Koch

Schlagzeilen

Es wurde noch keine Einwilligung erteilt.

Du musst zuerst zustimmen, um Inhalte von TradingView zu sehen.