Das NEAR Protocol plant den Bau eines Open-Source-KI-Modells mit 1,4 Billionen Parametern, dem größten seiner Art. Dieses Projekt soll die KI-Entwicklung demokratisieren und durch freie Zugänglichkeit die Forschung beschleunigen, ähnlich wie Metas Llama-Modell. Die Herausforderungen liegen in der benötigten Rechenleistung und der Qualität der Trainingsdaten.
Die Blockchain-Plattform NEAR Protocol hat ambitionierte Pläne angekündigt: den Bau eines riesigen, quelloffenen KI-Modells mit 1,4 Billionen Parametern. Dieses Vorhaben würde das Modell zum größten seiner Art machen und die Landschaft der künstlichen Intelligenz grundlegend verändern. Das Projekt zielt darauf ab, die Entwicklung und Anwendung von KI zu demokratisieren, indem es Forschern, Entwicklern und Unternehmen weltweit freien Zugang zu dieser leistungsstarken Technologie ermöglicht.
Die Initiative von NEAR steht im Kontext einer rasanten Entwicklung im Bereich der großen Sprachmodelle. Wie im Artikel "Breaking Down Meta’s Llama 3 Herd of Models" von Arize beschrieben, werden stetig größere und leistungsfähigere Modelle entwickelt, die "State-of-the-Art" Fähigkeiten in Bereichen wie allgemeinem Wissen, Steuerbarkeit, Mathematik, Werkzeugnutzung und multilingualer Übersetzung bieten. Auch Meta setzt auf Open-Source-Modelle wie Llama 3.1 405B und sieht darin das Potenzial, neue Anwendungen und Modellierungsparadigmen wie die synthetische Datengenerierung zu ermöglichen.
Der Fokus auf Open Source ist ein entscheidender Aspekt des NEAR-Projekts. Ähnlich wie bei Metas Llama, das laut einem Artikel von Salvatore Raieli auf Medium "kleinere Sprachmodelle in den Schatten stellt", soll die offene Verfügbarkeit des 1,4T-Parameter-Modells die Forschung und Entwicklung im KI-Bereich beschleunigen. Die Offenlegung des Modells ermöglicht es der Community, die Funktionsweise, die Stärken und die Schwächen des Modells zu untersuchen und zu verbessern. Dies steht im Gegensatz zu Closed-Source-Modellen wie GPT-3 und GPT-4, die, wie im Wikipedia-Artikel zu "Large Language Models" erläutert, nur über APIs verfügbar sind und somit der Community nur eingeschränkt zugänglich sind.
Die Größe des geplanten Modells ist beeindruckend. Mit 1,4 Billionen Parametern übertrifft es die Größe vieler bekannter Modelle deutlich. Die Entwicklung und das Training eines solchen Modells erfordern enorme Rechenleistung und große Datenmengen. Wie im Artikel "Large Language Models: A Survey" auf arXiv beschrieben, ist die Skalierung von Daten, Rechenleistung und die Bewältigung der Komplexität entscheidend für die Entwicklung hochqualitativer Basismodelle. Colossal-AI, ein Framework für paralleles Training großer KI-Modelle, könnte hier eine wichtige Rolle spielen, wie auf der GitHub-Seite des Projekts beschrieben wird.
Die Herausforderungen bei der Entwicklung solch großer Modelle sind vielfältig. Neben der Rechenleistung und den Datenmengen spielt auch die Qualität der Daten eine entscheidende Rolle. Wie bei Llama 3.1 wird auch bei NEAR großer Wert auf die Vorverarbeitung, Kuratierung und Qualitätssicherung der Trainingsdaten gelegt. Die Auswahl der Datenquellen und die Sicherstellung der Datenqualität sind entscheidend für die Leistung und die Zuverlässigkeit des Modells.
Das NEAR-Projekt ist ein ambitioniertes Unterfangen mit dem Potenzial, die KI-Landschaft nachhaltig zu prägen. Die offene Verfügbarkeit des Modells könnte die Entwicklung neuer Anwendungen und die Demokratisierung der KI-Technologie vorantreiben. Es bleibt abzuwarten, wie sich das Projekt entwickelt und welche Auswirkungen es auf die Zukunft der künstlichen Intelligenz haben wird.
Quellen:
