Das Ende des KI-Prätrainings und die Zukunft Künstlicher Intelligenz nach Ilya Sutskever

Ilya Sutskever, Mitgründer und ehemaliger Chefwissenschaftler von OpenAI, prophezeit einen fundamentalen Umbruch in der KI-Entwicklung. Wie Cryptonews.net berichtet, verkündete er auf der NeurIPS Konferenz in Vancouver das bevorstehende Ende des KI-Prätrainings in seiner jetzigen Form. Sutskever verglich die aktuelle Situation mit der Nutzung fossiler Brennstoffe: Die Menge an verfügbaren Trainingsdaten im Internet sei begrenzt, so wie die Ölreserven. The Verge zitiert ihn mit den Worten: "Wir haben den Höhepunkt der Daten erreicht, und es wird keine weiteren geben."

Bisher werden große Sprachmodelle (LLMs) mit riesigen Mengen unstrukturierter Daten aus dem Internet, Büchern und anderen Quellen trainiert. Dieses sogenannte Prätraining ermöglicht es den Modellen, Sprachmuster und Zusammenhänge zu erlernen. Sutskever argumentiert nun, dass diese Methode aufgrund der begrenzten Datenmenge an ihre Grenzen stößt. Cryptopanic zitiert ihn: "Wir müssen mit den Daten umgehen, die wir haben. Es gibt nur ein Internet."

Zukünftige KI-Systeme, so Sutskever, werden "wirklich agierend" sein. "Agierend" (agentic) beschreibt autonome KI-Systeme, die selbstständig Aufgaben erledigen, Entscheidungen treffen und mit Software interagieren. Diese Systeme sollen nicht nur Muster erkennen, wie heutige KI-Modelle, sondern auch schlussfolgern können. Diese Fähigkeit zum Schlussfolgern mache die Systeme jedoch auch unvorhersehbarer, wie Maginative berichtet. Sutskever verglich diese Unvorhersehbarkeit mit dem Verhalten fortschrittlicher KI im Schach, das selbst für die besten menschlichen Spieler schwer zu durchschauen ist.

Auf der NeurIPS zog Sutskever einen Vergleich zwischen der Skalierung von KI-Systemen und der Evolutionsbiologie. Er verwies auf die Beziehung zwischen Gehirn- und Körpermasse verschiedener Spezies. Analog zur Evolution, die neue Skalierungsmuster für das menschliche Gehirn gefunden hat, müsse die KI-Forschung neue Wege finden, die über das heutige Prätraining hinausgehen, so Sutskever laut einem LinkedIn Post von Sergei Kalinin.

Auf die Frage nach den richtigen Anreizen für eine menschenfreundliche KI-Entwicklung reagierte Sutskever laut The Verge zurückhaltend. Er fühle sich nicht qualifiziert, diese Frage zu beantworten, da sie eine "Top-Down-Regierungsstruktur" erfordere. Sutskevers Aussagen deuten auf einen Paradigmenwechsel in der KI-Forschung hin. Die Zukunft der KI liegt demnach nicht in größeren Modellen oder mehr Daten, sondern in grundlegend neuen Lern- und Schlussfolgerungsansätzen. Wie ADVFN berichtet, müssen KI-Forscher neue Wege finden, um maschinelle Intelligenz zu skalieren und die bestehenden Grenzen zu überwinden.