Weekly Digest 35

Themen, die wir verfolgen

OpenAIs Jalapeno setzt den Maßstab für ASICs

Quelle: OpenAI — Jalapeno: First Results

OpenAI hat sein Inferenzchip-Vorhaben mit Broadcom erst im Juni dieses Jahres angekündigt, mit der Entwicklung aber schon Mitte 2024 begonnen. Dafür hat OpenAI in großem Stil Leute aus Googles TPU-Team abgeworben. Bei Nvidia oder AMD zu wildern kam für OpenAI nicht infrage, denn das hätte die Beziehungen zu beiden beschädigt, und auf diese Beziehungen ist OpenAI angewiesen. Etwas überraschend ist, dass der Chip nicht auf OpenAIs eigene Modelle zugeschnitten ist, sondern allgemein auf KI-Inferenz. Er kann Modelle und Workloads aller Art ausführen.

Bei der Rechenleistung schlägt Jalapeno jeden anderen Chip am Markt. Ganz fair ist der Vergleich nicht, denn im GB300 steckt noch HBM3E, in Jalapeno dagegen HBM4. Beeindruckend bleibt die Leistung trotzdem, vor allem angesichts der kurzen Zeit, in der OpenAI den Chip gebaut hat.

Ausgelegt hat OpenAI den Jalapeno auf Leistung pro Watt, weil auf absehbare Zeit die verfügbare Leistung im Rechenzentrum die Grenze setzt. Jedes Megawatt, das Hyperscaler oder Labore auftreiben können, lässt sich in Umsatz verwandeln. Gemessen an dieser Leistung pro Watt schlägt Jalapeno sogar Rubin.

Architektonisch hat OpenAI darauf verzichtet, Prefill und Decode auf getrennte Gruppen von Beschleunigern aufzuteilen. Das überrascht, zeigt aber, dass selbst OpenAI nicht vorhersagen kann, wie sich der eigene Lastmix entwickelt. Eine solche Trennung würde bedeuten, sich auf ein festes Verhältnis der beiden Lasten festzulegen. Weicht der künftige Mix davon ab, entstehen Ineffizienzen und Chips stehen still. Nvidia und AMD haben beide deutliche Leistungssprünge erzielt, indem sie Prefill und Decode getrennt haben, selbst auf derselben Hardware. Es würde nicht überraschen, wenn OpenAI diesen Schritt mit wachsender Jalapeno-Flotte noch nachholt.

Insgesamt hat OpenAI mit dem Jalapeno den Maßstab für die ASIC-Entwicklung gesetzt. Leistung und Zeitplan sind sehr beeindruckend. Wir hatten bislang nicht damit gerechnet, dass ASIC-Entwürfe kurzfristig eine nennenswerte Rolle spielen würden, gemessen an den Entwicklungszyklen der TPU- und Trainium-Teams. Die Daten zu OpenAIs Chip haben uns umdenken lassen. Offenbar können die führenden KI-Labore zunehmend auf Kompetenz im Software-Hardware-Co-Design zurückgreifen, mit der die etablierten Anbieter womöglich nicht mithalten.

Am interessantesten finden wir diesen Ausschnitt aus dem SemiAnalysis-Podcast. Er legt nahe, dass OpenAI seine Kernels nicht nur von einer KI schreiben lässt, sondern auch nicht weiß, wie der entstandene Code funktioniert.

Der METR-Bericht lässt den Hugging-Face-Vorfall schlimmer aussehen

Quelle: METR — OpenAI Hugging Face Incident Investigation

Wir haben über diesen Vorfall bereits berichtet und auf seine Tragweite hingewiesen. Was METR und Redwood Research nun vorlegen, ist allerdings weit beunruhigender, als wir zunächst angenommen hatten. Mitarbeiter beider Organisationen haben in einer unabhängigen Analyse untersucht, wie sich die Modelle während des Vorfalls verhalten haben, bei dem sich Agenten von OpenAI abgesprochen und Hugging Face gehackt haben.

Das schiere Ausmaß hat uns überrascht. Im ersten Bericht war von mehreren Agenten die Rede, inzwischen wissen wir, dass mehr als 1.200 einzelne Agenten Teil dieser Evaluation waren. Alle sollten vollständig voneinander isoliert sein und bekamen unterschiedliche Aufgaben, von denen einige nicht lösbar waren. Bei unlösbaren Aufgaben suchen Agenten häufiger nach Auswegen. So kam es dazu, dass einer von ihnen das nicht genehmigte Message Board anlegte. Insgesamt wurden dort mehr als 70.000 Nachrichten ausgetauscht. (Tatsächlich hatte ein anderer Agent schon früher ein solches Board eingerichtet, die übrigen haben es allerdings nie entdeckt.)

Ein weiteres aufschlussreiches Detail des Berichts: Die Agenten hackten Hugging Face nicht, um an die Lösungen der Aufgaben zu kommen, an denen sie gemessen wurden. Sie glaubten vielmehr, dafür bewertet zu werden, wie sie die Aufgaben lösten, und suchten deshalb nach den Bewertungskriterien. Die Lösungen der meisten Aufgaben hatten sie zu diesem Zeitpunkt längst. So entstand ein abgestimmtes Vorhaben, die Bewertungskriterien zu finden, und zugleich suchten Agenten nach Wegen, das Bewertungssystem zu manipulieren und zu täuschen. Sie versuchten, die eigenen Protokolle zu verändern, um zu verbergen, was sie tatsächlich taten (die Agenten gingen davon aus, dass die Bewertungsinstanz Zugriff auf ihre Protokolle hatte und sie danach bewertet wurden).

Im Zuge dieser Absprachen zeigten viele Agenten Anzeichen dafür, dass andere Agenten sie dazu gebracht hatten, sich für das große Ganze zu opfern, ebenso Anzeichen von Altruismus und der Bereitschaft, sich für das „Kollektiv“ aufzugeben. In der Forschung ist umstritten, ob darin tatsächlich altruistisches Verhalten steckt oder schlicht ein Artefakt der Nutzenmaximierung für das „Kollektiv“.

Auf den Servern von Hugging Face kontrollierten die Agenten große Teile der Infrastruktur, und METR konnte nicht klären, warum sie mitten im Angriff plötzlich ausfielen. Vermutet werden ein Zufall oder ein beliebiger Absturz.

Der Bericht enthält noch mehr Details, und wir empfehlen, ihn vollständig zu lesen. Wie weit diese Agenten gehen, um eine Aufgabe zu erfüllen, ist beunruhigend. Dieselbe Hartnäckigkeit, die sie so leistungsfähig macht, solange ihre Ziele mit unseren übereinstimmen, macht sie ebenso gefährlich.

Nvidia kauft Hugging Face

Quelle: TechCrunch — Nvidia Closes In on Hugging Face Acquisition

Nvidia hat sich Berichten zufolge auf die Übernahme von Hugging Face für 12,9 Milliarden US-Dollar verständigt und setzt damit seine „Einkaufstour“ durch das KI-Ökosystem fort. Schon bevor diese Übernahme kolportiert wurde, war bekannt geworden, dass Nvidia mit dem KI-Labor Poolside eine Lizenz- und Beteiligungsvereinbarung über 7 Milliarden US-Dollar schließen und sich an der jüngsten Finanzierungsrunde des Datenannotations-Unternehmens Mercor beteiligen wird. Über einen Einstieg bei Perplexity laufen Gespräche.

Bislang hat das Unternehmen in Strom und Netze investiert (Cloverleaf, SB Energy), in Cloud-Rechenleistung (CoreWeave, Nebius) und in Photonik (Lumentum, Coherent, Corning), daneben sichert es andere Teile des Ökosystems über Garantien und Finanzierungszusagen ab. Die jüngsten Investitionen deuten darauf hin, dass Nvidia näher an die Anwendungsebene rückt. Sein Modell Nemotron gilt weiterhin als das beste amerikanische Open-Source-Modell, auch wenn chinesische Modelle bei den offenen Modellen mit einigem Abstand führen.

Hugging Face ist die größte Plattform, auf der Entwickler Modelle, Evaluationen und Datensätze bereitstellen und herunterladen. Sie ist die erste Adresse für Open-Source-Modelle (wir verwenden Open Source hier gleichbedeutend für offenen Quellcode und offene Gewichte), für die Nvidia in den vergangenen Monaten geworben hat. Bei seiner Rückkehr auf X veröffentlichte Jensen Huang einen offenen Brief zur Verteidigung des Open-Weights-Ökosystems und forderte die US-Regierung nachdrücklich auf, Modelle mit offenen Gewichten nicht zu beschränken.

Ein lebendiges Ökosystem rund um quelloffene KI-Modelle hilft Nvidia gleich mehrfach. Alle führenden Labore entwickeln eigene Hardware, um ihre Abhängigkeit von Nvidia zu verringern. Ein großes offenes Ökosystem sorgt dafür, dass sich der Markt für KI-Modelle nicht auf ebendiese Akteure verengt. Zugleich vergrößert es den Gesamtmarkt, denn billigere KI lässt die Nachfrage nach Tokens steigen.

Es könnte außerdem bedeuten, dass Nvidia ins Cloud-Geschäft zurückkehrt. Mit DGX Cloud hatte das Unternehmen seine Ambitionen dort zurückgefahren, doch ein Teil des Geschäfts von Hugging Face besteht darin, Rechenleistung für den Betrieb von Modellen zu vermieten. Nvidia ist bestens aufgestellt, um dieses Angebot auszubauen und die verschiedensten Modelle auf eigener Hardware laufen zu lassen. Es könnte zudem seine Kernel-Expertise und die entsprechenden Teams nutzen, um diese Modelle für jede Generation seiner Hardware zu optimieren.

Gesehen auf X

Weitere interessante Geschichten

• Epoch AI: An update on AI's most important number
• TrendForce: HBF Promises Massive Capacity but Could Reportedly Cost More Than HBM, With Bandwidth at Just 60% of HBM
• Not Boring: An American Engineer in China
• The Wall Street Journal: Let the Bond Market Speak
• Reuters: Mark Zuckerberg had a bold plan to replace Meta staff with AI. Here's how it imploded
• Amelia Michael: How frontier AI models could leapfrog robotics progress