Die Risiken von KI: „Niemand weiß aktuell, wie man eine KI baut, die nur das macht, was sie machen soll.“
Die Risiken von KI: „Niemand weiß aktuell, wie man eine KI baut, die nur das macht, was sie machen soll.“ Risiko-Hinweis: Die Inhalte dieses Podcasts dienen ausschließlich der allgemeinen Information und sind zum einen ohne Gewähr und zum anderen keine Empfehlung zum Kauf oder Verkauf bestimmter Finanzinstrumente. Es handelt sich hierbei nicht um Anlagevermittlung, Anlageberatung oder Ähnliches. Ihr entscheidet selbst, was ihr macht. Diese Transkription wurde mithilfe von Künstlicher Intelligenz erstellt und zur besseren Verständlichkeit redaktionell leicht angepasst. Inhaltliche Abweichungen zum Original-Podcast sind möglich. Für die Richtigkeit und Vollständigkeit der Angaben wird keine Haftung übernommen. 00:23 – Christoph DammBeckers Bets – der Investment-Podcast mit Jan Beckers.Hallo Jan. 00:28 – Jan BeckersHallo Christoph. 00:30 – Christoph DammHeute sprechen wir über ein Thema, das wir im Podcast zwar schon oft gestreift haben, aber heute erstmals ausführlich: die Risiken der Künstlichen Intelligenz.Wir sprechen viel über Chancen, über Investitionen, über Anwendungen – aber KI hat auch eine andere Seite.Du beschäftigst dich seit Jahren intensiv mit KI-Risiken. Deshalb hast du auch die Global Technology Risk Foundation gegründet.Vielleicht startest du einmal: Was genau ist das Ziel dieser Organisation? 01:04 – Jan BeckersDie Grundidee liegt sieben bis neun Jahre zurück: Wir entwickeln als Menschheit immer mächtigere Technologien – von der Atombombe bis hin zu Biotechnologie und natürlich KI.Damals schien es, als sei KI-Gefahr ein weit entferntes Thema. Das hat sich seit ChatGPT drastisch geändert.Ich wollte mich sozial dort engagieren, wo ich ohnehin viel Zeit verbringe: bei Technologie.Darum habe ich die Stiftung gegründet – um Forschung zu unterstützen und Teams zu fördern, die daran arbeiten, diese Risiken zu mitigieren. Heute fokussieren wir uns besonders auf KI-Risiken. Unter anderem unterstützen wir KIRA. Und deshalb ist heute Daniel bei uns – einer der
00:23 – Christoph Damm
Beckers Bets – der Investment-Podcast mit Jan Beckers.
Hallo Jan.
00:28 – Jan Beckers
Hallo Christoph.
00:30 – Christoph Damm
Heute sprechen wir über ein Thema, das wir im Podcast zwar schon oft gestreift haben, aber heute erstmals ausführlich: die Risiken der Künstlichen Intelligenz.
Wir sprechen viel über Chancen, über Investitionen, über Anwendungen – aber KI hat auch eine andere Seite.
Du beschäftigst dich seit Jahren intensiv mit KI-Risiken. Deshalb hast du auch die Global Technology Risk Foundation gegründet.
Vielleicht startest du einmal: Was genau ist das Ziel dieser Organisation?
01:04 – Jan Beckers
Die Grundidee liegt sieben bis neun Jahre zurück: Wir entwickeln als Menschheit immer mächtigere Technologien – von der Atombombe bis hin zu Biotechnologie und natürlich KI.
Damals schien es, als sei KI-Gefahr ein weit entferntes Thema. Das hat sich seit ChatGPT drastisch geändert.
Ich wollte mich sozial dort engagieren, wo ich ohnehin viel Zeit verbringe: bei Technologie.
Darum habe ich die Stiftung gegründet – um Forschung zu unterstützen und Teams zu fördern, die daran arbeiten, diese Risiken zu mitigieren.
Heute fokussieren wir uns besonders auf KI-Risiken. Unter anderem unterstützen wir KIRA. Und deshalb ist heute Daniel bei uns – einer der Gründer.
03:41 – Daniel
Vielen Dank, schön hier zu sein.
03:43 – Christoph Damm
Daniel, KIRA ist das „Zentrum für KI-Risiken und Auswirkungen“.
Seit wann beschäftigst du dich mit KI – und was macht ihr dort?
03:57 – Daniel
Ich befasse mich seit mehreren Jahren mit KI, anfangs nur aus Interesse. Obwohl ich VWL studiert habe, habe ich mich immer stärker in Machine-Learning-Kurse hineingearbeitet.
Im Frühjahr 2023 haben wir dann KIRA gegründet – als unabhängigen Think Tank mit dem Ziel, die gesellschaftlichen Veränderungen durch KI zu begleiten und bestmöglich zu gestalten.
04:47 – Christoph Damm
Was sind aus deiner Sicht die größten Risiken im Bereich KI?
04:55 – Daniel
Das ist schwer in einem Satz zu beantworten.
KI bringt enorme Chancen – ich bin selbst begeisterter Nutzer –, aber die Risiken sind vielfältig:
Diskriminierung, Desinformation, Missbrauch im Bereich Terrorismus, Kontrollverlust über sehr mächtige Systeme.
Es gibt Risiken, die wir heute schon sehen, Risiken, die gerade relevant werden – und Risiken, die zwar noch nicht eingetreten sind, aber potenziell katastrophal wären.
06:33 – Christoph Damm
Wie hoch schätzt du persönlich das Risiko eines wirklich schweren, existenziellen Fehlers ein?
06:45 – Daniel
Ehrlich gesagt: Es schwankt.
Wir haben extrem wenig Daten, auf deren Basis man eine konkrete Wahrscheinlichkeit nennen könnte.
Aber es ist groß genug, dass wir es sehr ernst nehmen müssen.
Viele Fachleute sagen, dass man ein großes Unglück nicht sicher ausschließen kann – und dass es früher passieren könnte, als gedacht.
Vor wenigen Jahren sagten Experten: 50 bis 100 Jahre.
Heute hört man zunehmend: 20 Jahre, 10 Jahre – einige sogar nur wenige Jahre.
08:06 – Christoph Damm
Jan, wie gehst du als Investor und Unternehmer mit diesen Risiken um?
08:21 – Jan Beckers
Natürlich blicke ich zuerst auf Chancen – und KI bietet enorme davon: Bildung, Medizin, Effizienzsteigerung.
Aber ich sehe auch die Extremrisiken.
Wenn nur ein niedriger zweistelliger oder hoher einstelliger Prozentsatz besteht, dass etwas ganz Grundlegendes schiefgeht – und dieses Potenzial reicht bis hin zum Aussterben der Menschheit –, dann muss man das ernst nehmen.
Dazu kommt: Weltweit gibt es vielleicht 100–500 Menschen, die sich hauptberuflich mit der Abwehr solcher existenziellen Risiken beschäftigen.
Das ist völlig unterdimensioniert.
11:20 – Christoph Damm
Wie könnten solche extremen Szenarien aussehen, Daniel?
12:01 – Daniel
Drei Beobachtungen erklären die Sorge gut:
- Die Fähigkeiten beschleunigen sich rasant.
Systeme könnten bald menschliches Niveau in vielen Bereichen übertreffen. - Es wird starke Anreize geben, solche Systeme autonom handeln zu lassen.
Unternehmen, Staaten, Armeen – niemand will hinter der Konkurrenz zurückbleiben. - Wir wissen nicht, wie man eine KI baut, die zuverlässig nur das tut, was sie tun soll.
Diese Kombination ist gefährlich:
Eine hochkompetente KI, die autonom agiert, viele Befugnisse erhält – und deren Ziele nicht exakt kontrollierbar sind.
Wenn so ein System Internetzugriff hat, sich kopieren kann, in kritische Systeme eindringen könnte – dann wird ein „Aus-Schalter“ schwierig.
16:31 – Christoph Damm
Jan, wie siehst du das aus technischer Sicht?
16:40 – Jan Beckers
Bei Large Language Models sehen wir: Sie skalieren ungebremst mit mehr Rechenleistung, Daten und Parametern.
Wenn das so weitergeht, werden Modelle in kurzer Zeit auf vielen Gebieten weit überlegen sein.
Ein weiteres Risiko ist Missbrauch:
Wenn Terroristen Zugriff auf extrem leistungsfähige Systeme bekommen, kann der Schaden enorm sein.
18:06 – Christoph Damm
Daniel, in eurem Report haben schon 2023 viele Menschen starke Sorgen geäußert – etwa vor Überwachung oder Arbeitsplatzverlust. Sieht man das heute noch genauso?
19:24 – Daniel
Ja.
Und viele äußern es erst, wenn man nachhakt.
Es gibt eine intuitive Sorge, die viele teilen – auch ohne technische Expertise.
Risiken wie Desinformation, diskriminierende KI oder Manipulationen sind nicht neu, aber ungelöst und wachsen mit der Leistungsfähigkeit der Systeme.
21:44 – Christoph Damm
Jan, was sind für dich die kurzfristig relevanten Risiken?
21:53 – Jan Beckers
In den nächsten ein bis drei Jahren vor allem:
– Wahlmanipulation
– Deepfakes
– Finanzbetrug durch autonome Agenten
– Systemeinbrüche
– Arbeitsplatzveränderungen durch Automatisierung
Ob KI Wohlstand steigert oder Ungleichheit verstärkt, ist völlig offen.
24:26 – Christoph Damm
Wie kann man KI überhaupt angemessen regulieren? National? EU? Global?
24:26 – Daniel
Am Ende braucht es globale Koordination.
Aber das ist schwer, weil KI wirtschaftliche und geopolitische Vorteile bringt.
Es gibt erste Ansätze – AI Act, OECD, G20, UN – aber die Frage ist: Wie kommen wir zu einem funktionierenden, gemeinsamen Rahmen?
Ohne USA und China wird es nicht gehen.
26:45 – Christoph Damm
Jan, wie sieht es mit der Verantwortung der Unternehmen aus?
26:54 – Jan Beckers
Viele Unternehmen sind sich bewusst, dass KI enorme Risiken trägt – etwa jemand wie Elon Musk, der gleichzeitig warnt und entwickelt.
Aber es gibt starke Anreize, schnell voranzuschreiten.
Und auch etablierte Player wie Google oder Microsoft wären nicht automatisch „sichere“ Entwickler – egal wo eine Super-KI entsteht, es besteht globales Risiko.
Wir müssen an vielen Fronten gleichzeitig arbeiten:
– Rechenleistung überwachen
– Modelle interpretierbarer machen
– Öffentlichkeit und Politik sensibilisieren
32:56 – Christoph Damm
Daniel, viele vorgeschlagene Maßnahmen klingen wiederum selbst gefährlich – etwa zentrale Kontrolle von Rechenleistung. Wie geht man damit um?
33:30 – Daniel
Es zeigt, wie schwierig die Abwägungen werden.
Machtkonzentration birgt eigene Risiken.
Deshalb braucht es Governance, Transparenz und demokratische Einbindung.
Und – ganz wichtig – Demut.
Wir wissen extrem wenig über die Zukunft dieser Systeme.
Wir müssen offen denken, reden, forschen.
36:24 – Christoph Damm
Gleichzeitig wollen wir nicht die Chancen ausbremsen. KI hilft in Biotechnologie, Medizin, Forschung – zu starke Beschränkung wäre auch riskant.
36:36 – Jan Beckers
Genau.
KI lässt sich nicht stoppen – und sollte es auch nicht.
Es geht darum, die Chancen zu nutzen und die Risiken zu mitigieren.
Je mehr Menschen verstehen, worum es geht, desto eher treffen wir gute Entscheidungen.
38:01 – Christoph Damm
Daniel, wie weit werden wir in einem Jahr beim Thema Regulierung sein?
38:10 – Daniel
Wir werden weiter sein, aber nicht am Ziel.
Viel hängt davon ab, wie leistungsfähig GPT-5 und kommende Modelle sein werden.
Aber das Bewusstsein wird wachsen – und das ist ein wichtiger Schritt.
39:40 – Christoph Damm
Jan, letzte Frage: Was bedeutet all das für Anleger?
39:49 – Jan Beckers
Aus Investmentperspektive ist das Chance-Risiko-Verhältnis in den nächsten Jahren sehr positiv.
Wenn KI die Welt verändert, wird das unweigerlich massive Auswirkungen auf die Börsen haben.
Wir stehen sehr am Anfang.
Wir werden extreme Kursbewegungen sehen – Aufsteiger und Verlierer.
Nur wer die Risiken versteht, kann Chancen richtig einschätzen.
42:39 – Christoph Damm
Danke euch beiden für diese besondere, lange Folge.
42:45 – Jan Beckers
Sehr gerne.
42:47 – Daniel
Vielen Dank.
42:49 – Christoph Damm
Wenn ihr Fragen oder Feedback habt, schreibt uns an beckers-bets@finance-forward.com oder direkt in die Spotify-Kommentare.
Danke fürs Zuhören – bis zum nächsten Mal.
