ChatGPT ist seit einigen Wochen in aller Munde. Für die meisten von uns kam dies als überraschende Entwicklung aus heiterem Himmel. Obwohl Sprachassistenten wie Siri, Alexa und Co schon alltäglich geworden sind, wird ChatGPT zu Recht als Neuheit verstanden. Eine KI, mit der man sich in natürlicher Sprache unterhalten kann, die über ein extrem breites Spektrum an Wissen zu verfügen scheint, und dieses Wissen je nach Bedarf mit unterschiedlicher Komplexität und poetischer Färbung vermitteln kann – das ist doch neu. Die Schlagzeilen deuten jedenfalls darauf hin. Es gibt plötzlich eine neue Krise für das Bildungssystem: ChatGPT kann nämlich Hausaufgaben verstehen und nach eingegebenen Kriterien ausformulieren. Programmierer:innen dieser Welt suchen nicht mehr auf StackOverflow nach den Lösungsansätzen von anderen Entwickler:innen, sondern fragen einfach ChatGPT, denn es kann einen verschriftlichten Wunsch einer Funktion in eine tatsächlich ausführbare Funktion verwandeln. ChatGPT kann also programmieren. Das ist neu. Anfragen an Google, sagt man, seien nun überholt. Denn ChatGPT liefert die Antworten deiner Fragen schneller, maßgeschneidert, und kann auf Folgefragen auch eingehen.
Adieu Google. Oder? Moment, was ist »Bard«? (s.u.) Es ist gerade vieles in Bewegung. Um zu begreifen, was hier passiert, kann man sich nicht an der neuesten Entwicklung festklammern, denn diese wird in Kürze wieder überholt sein. Ich schlage also vor, die Angelegenheit aus einer Entfernung zu betrachten.
Die Vorgeschichte
»Machine Learning«, die Technologie, auf der ChatGPT basiert, hat einen theoretischen Ursprung, der circa so weit zurückliegt wie die theoretische Grundlage des Internets: bis also in die 1950er Jahre. Anstelle des Prinzips, einem Computer alle Regeln bis ins kleinste Detail auszuformulieren, um ihn dann Schritt für Schritt zur sinnvollen Lösung eines Problems zu bringen, könnte es doch auch andersrum funktionieren: Es könnten dem Computer ein Problem und eine Lösung präsentiert werden, und er sollte dann alle Wege vom Problem bis zur Lösung abtasten, und bei falscher Ausgabe »bestraft« werden, bis sich ein Muster herauskristallisiert, das eine allgemeine Lösung darstellt. Die Theorie hat zwar gepasst, die Computer hatten allerdings nur für die einfachsten Anwendungsfälle die notwendige Rechenleistung, um »alle Wege abzutasten«. Es gibt ein Gesetz in der Informatik namens »Moore‘s Law«: Die Leistung von Computern soll sich alle zwei Jahre verdoppeln. So lautete 1975 die Prophezeiung von Gordon Moore, dem Mitbegründer des Computer-Chip-Herstellers Intel; und so kam es auch. Aber eine gute Weile, bevor Heim-PCs Machine Learning betreiben konnten, bekamen diese Heim-PCs in den 90er Jahren einen Internetzugang.
Rechtsstreit
Als Tim Berners-Lee zwischen 1989 und 1991 die Protokolle und Strukturen dessen geschaffen hat, was wir heute als Internet bezeichnen, und diese innerhalb zwei kurzer Jahrzehnte die Welt auf den Kopf stellen würden, war den wenigsten klar, wie sie in dieser neuen Welt die Oberhand gewinnen könnten. Microsoft war zu dieser Zeit schon allgegenwärtig, Windows für die meisten ein Synonym für Computer. Trotzdem konnte Bill Gates, damaliger Chef von Microsoft, nur zusehen, als Mosaic – der Vorgänger von Mozilla Firefox – allgemein beliebter wurde als der bereits mit Windows ausgelieferte Internet Explorer. So griff Microsoft also zur Kartellkeule: Mosaic sollte an Microsoft verkauft werden, und wenn sie das Angebot ablehnten, dann würde Microsoft dafür sorgen, dass dieser Browser nicht mehr auf Windows ausführbar ist. Aus dieser Drohung resultierte eine äußerst folgenschwere Kartellrechtsklage. Nicht deshalb folgenschwer, weil Microsoft verloren hätte: Es hat letztendlich gewonnen. Bill Gates, der vielleicht privilegierteste Mensch jemals, fühlte sich allerdings durch die vielen Vernehmungen so gekränkt, dass er in Folge als Firmenchef zurücktrat, und Microsoft um einiges vorsichtiger im Ausüben seiner erheblichen Macht wurde. Während sich dieser Gigant zurückzog, entstand eine Art Lücke. Wer identifizieren konnte, welche Grundbedürfnisse in der Welt des Internets entstehen würden, diese zu besetzen und verteidigen wusste, der/die konnte diese Lücke füllen und hatte dabei viel zu gewinnen. Diese Gewinner sind heute bekannt.
Was wäre, wenn man im Internet Dinge finden könnte? Google.
Und was wäre, wenn man was kaufen könnte? Amazon.
Und wie bleibe ich mit meinen vielen Freunden in Kontakt? Facebook.
Was zu oft in der Erzählung über die Erfolgsgeschichten dieser Internet-giganten ausgelassen wird, ist die Tatsache, dass all diese Erfolge ohne die unbezahlte Arbeit von abertausenden Hobbyprogrammierer:innen komplett undenkbar wären. Die Open-Source-Community hat die stabileren Betriebs-systeme, Protokolle, Programmiersprachen, und Frameworks geschaffen, die das Rückgrat des Internets und in weiterer Folge der Dienstleistungen darin ausmachen. Im Jahr 1999 verfasste Eric S. Raymond den Aufsatz »The Cathedral and the Bazaar«: Er zeigte darin, dass es möglich war, Hobbyisten zu einer bestimmten Problemlösung hinzulenken und durch geschicktes Manövrieren als einziger von dieser Arbeit zu profitieren. Dieses Prinzip wurde von allen Internetriesen adaptiert. Dass ihre Benutzer:innen unreflektiert Daten und Inhalte an diese Riesen verschenkt haben (und es nach wie vor tun), verstehe ich als Anwendung desselben Prinzips.
DeepMind
Während unsere Aufmerksamkeit durch Scrollen, Liken, Sharen, usw. eingenommen wurde, galt Moore‘s Law weiterhin. Computer wurden so gut und so klein, dass wir Konsumenten sie nun überall hin mitnahmen. Unter den Gewinnern der neuen Welt hat vor allem Google schnell erkannt, dass es Zeit war, Machine Learning abzustauben. Im Jahr 2014 kaufte es DeepMind, eine KI-Forschungsfirma. Da es nun historisch unvergleichliche Datenmengen, Rechenleistung und Expert:innen zur Verfügung hatte, gelang DeepMind im Laufe des letzten Jahrzehnts ein Durchbruch nach dem anderen. Die Machine-Learning-Modelle AlphaGo (das den Weltmeister in Go besiegte), AlphaStar (das Selbiges im Strategiespiel StarCraft schaffte), AlphaFold (das die Protein-Forschung revolutionierte) sind nur ein paar Beispiele von DeepMinds vielen Errungenschaften der letzten Jahre. Wer sich für das Thema interessierte und diese Entwicklungen mitverfolgte, durfte oft staunen. NVIDIAs und Facebooks Machine-Learning- Abteilungen haben auch wiederholt mit entsprechenden Anwendungen für Schlagzeilen gesorgt. Aber keiner von ihnen hat so dramatisch das Spielfeld verändert wie OpenAI.
LLMs
Wie von vielen angemerkt wird, ist der Name »OpenAI« im besten Fall irreführend. Einige Silicon-Valley-Milliardäre haben diese Firma im Jahr 2015 mit der Intention gegründet, eine »freundliche« künstliche Intelligenz zu schaffen, die zum Vorteil der Allgemeinheit eingesetzt werden sollte. Ein wesentlicher Fokus dieser Firma liegt auf LLMs: Large Language Models. Das sind jene Machine Learning-Modelle, die einen Text als Eingabe annehmen und dessen Weiterführung ausgeben. Diese Art von Modell wird mit riesigen Textmengen trainiert: Anhand dieser Texte errechnet sich das Modell die Wahrscheinlichkeiten der Folgewörter. Als OpenAI im Jahr 2018 das Sprachmodell GPT-2 auf diese Weise erstellte, gab die Firma schnell bekannt, dass diese Technologie zu gefährlich sei, um sie der Allgemeinheit anzuvertrauen. Worauf genau das »Open« in ihrem Namen hinweisen sollte, war damals eine weitverbreitete Frage. Im ersten Pandemiejahr 2020 erlaubte OpenAI Entwickler:innen Zugriff auf ihr neuestes Modell: GPT-3. Wo GPT-2 schnell »den Faden verlor«, Kontext vergaß, oder sinnlos Phrasen wiederholte, überwand GPT-3 eine Art Glaubwürdigkeits-Schwelle. Mit GPT-3 konnte man sich richtig gut unterhalten. Die etwas alarmierende Entdeckung lautete: Je mehr Text in das Modell gespeist wird, desto »intelligenter« wird das Sprachmodell, und zwar ohne Hinweis auf irgendein Limit.
Machine Learning erlebt »Linux Moment«
Ein Hedgefonds-Manager in London namens Emad Moustaque verfolgte diese Entwicklungen und stellte fest, dass es inzwischen für einen einfachen Multimillionär wie ihn leistbar geworden war, ähnlich große Modelle wie jene von Google, OpenAI und Co zu erstellen. Innerhalb eines Jahres gelang es ihm, eine Firma auf dieser Idee aufzubauen: Stability AI. Sie schuf ein Bildgenerator-Modell, ein großes Sprachmodell, und andere mächtige Werkzeuge. Im August 2022 überraschte sie dadurch, dass sie das alles Open-Source stellte. Machine Learning, und die daraus entstehenden Modelle, sind also seit letztem Jahr zugänglicher als je zuvor. Da nun selbst gute Gaming-PCs solche Modelle ausführen können, gibt es eine rasant anwachsende Zahl an Entwickler:innen, die zum ersten Mal Zugriff auf diese Technologien haben.
Was letztendlich daraus resultieren wird, bleibt eine offene Frage. Aber, dass eine gewisse Beschleunigung stattgefunden hat, ist ersichtlich. Die »Großen« sehen sich im Zugzwang und stellen selber einige Modelle Open-Source. Stability AI wird im gleichen Atemzug wie Google genannt. Microsoft (größter Anteilhaber von OpenAI) kündigt an, ChatGPT in all ihre Produkte einzubinden, und Google muss plötzlich die eigene Übermacht im Bereich der Websuche verteidigen (als Google »Bard« am 6.2. vorstellte – die Antwort auf ChatGPT –, machte dieser einen faktischen Fehler, woraufhin Google $100 Milliarden an Wert verlor). Es ist noch zu früh, um Prophezeiungen abzugeben, aber eins möchte ich festhalten: Wie die Plattformen der »Großen« an sich, sind diese riesigen Machine-Learning-Modelle nur deswegen so mächtig, weil sie anhand Unmengen von frei verfügbaren Informationen im Internet trainiert worden sind. Insofern diese Modelle also irgendjemandem »gehören«, gehören sie der Allgemeinheit. Diesen Anspruch werden wir stellen und verteidigen müssen.