Weekly Digest 32

Themen, die wir verfolgen

Google DeepMind verliert seinen CEO und seinen Chief Scientist am selben Tag

Quelle: Axios — Google DeepMind CEO Demis Hassabis is stepping aside

Demis Hassabis gibt seinen Posten als CEO von Google DeepMind ab und wird Chairman der Einheit. Zusätzlich übernimmt er den Titel des Chief Scientist bei Alphabet und führt weiterhin Isomorphic Labs. Am selben Tag verlässt Jeff Dean, Chief Scientist und Google-Legende, das Unternehmen, um gemeinsam mit mehreren Kollegen aus dem KI-Bereich eine eigene Firma zu gründen. Koray Kavukcuoglu, bislang Chief Technology Officer von Google DeepMind, wird Senior Vice President der Einheit und berichtet direkt an Sundar Pichai.

Wir haben zuvor über die Abgänge von Noam Shazeer und John Jumper geschrieben und sie damals als unbedeutend abgetan. Diese Umstrukturierung ist eine ganz andere Sache und eher ein Warnsignal. Hassabis galt weithin als Pichais künftiger Nachfolger an der Spitze von Alphabet. Er ist vielleicht einer der brillantesten wissenschaftlichen Köpfe unserer Generation und war entscheidend für Projekte wie AlphaGo und AlphaFold, für das er den Nobelpreis erhielt. DeepMind hat viele beeindruckende wissenschaftliche Vorhaben verfolgt, ganz im Sinne von Hassabis' eigener Philosophie, bislang aber keines davon zu Geld gemacht.

Dean gilt weithin als einer der wichtigsten Köpfe der Unternehmensgeschichte und war Mitarbeiter Nummer 30. Er leitete den Aufbau von Google Brain, das später wieder in Google DeepMind eingegliedert wurde.

Sein neues Unternehmen Discovery Loop, das er gemeinsam mit den Google-Veteranen Quoc Le, Oriol Vinyals und Sanjay Ghemawat gegründet hat, konzentriert sich auf rekursive Selbstverbesserung: die Automatisierung des Machine-Learning-Forschungszyklus selbst, mit Hardware-Design und Wirkstoffforschung als späteren Zielen. Discovery Loop ist als eigenständige Public Benefit Corporation angelegt, Google tritt als Investor und Cloud-Anbieter auf.

Damit ist Discovery Loop das zweite prominente Neo-Lab, das ausdrücklich auf rekursive Selbstverbesserung ausgerichtet ist. Recursive Superintelligence wurde erst vor wenigen Monaten gegründet, Ende 2025, und kam im Mai mit 650 Millionen US-Dollar bei einer Bewertung von 4,65 Milliarden US-Dollar aus dem Stealth-Modus, finanziert von GV und Greycroft unter Beteiligung von Nvidia und AMD. Hinter rekursiver Selbstverbesserung scheint bei den Frontier Labs echte Dynamik zu stecken. Mehr als 1.100 Mitarbeiter von OpenAI, Anthropic, DeepMind und Meta, darunter Dario Amodei und OpenAIs Chief Scientist, haben Ende Juli die Petition „Pacing the Frontier“ unterzeichnet, in der sie die US-Regierung auffordern, Instrumente zu schaffen, um automatisierte KI-Forschung bewusst zu drosseln. Niemand fordert eine Bremse für etwas, das er für spekulativ hält.

Alles hier deutet in dieselbe Richtung. Die Bürokratie bei Google ist für viele Forscher zunehmend zur Belastung geworden, Gemini 3.5 Pro liegt Berichten zufolge Monate hinter dem Zeitplan, und das Unternehmen hat sich bewusst dafür entschieden, TPU-Kapazität an Anthropic zu verkaufen, statt sie intern zu nutzen, sodass die eigenen Forschungsteams zu wenig Rechenleistung haben. Auch die Konstruktion hinter Discovery Loop trägt dieselbe Handschrift. Google ist lieber Investor und Compute-Lieferant seiner besten Forscher als der Ort, an dem sie arbeiten.

Die Berichtswege erzählen dieselbe Geschichte. DeepMind wird nicht mehr von einem Wissenschaftler-CEO mit eigenem Mandat geführt, sondern von einem Senior Vice President innerhalb der Konzernstruktur. Das alles deutet darauf hin, dass Google näher an Microsoft und Amazon heranrückt und sich von OpenAI und Anthropic entfernt. Beide unterhalten interne Forschungsteams, die an eigenen Modellen arbeiten, keines davon auch nur annähernd an der Spitze, und beide konzentrieren sich weit stärker darauf, Rechenkapazität aufzubauen und zum Hub für eine Vielzahl unterschiedlicher Modelle zu werden. An diesem Punkt kann man Google nicht mehr als Frontier Lab bezeichnen.

Google hat alles, was ein Frontier Lab braucht, in den Modalitäten jenseits der Sprache vielleicht mehr als alle anderen. Aber das Unternehmen hat sich verzettelt, mit zu vielen Vorhaben und zu wenig Rechenleistung, um bei einem davon konsequent nachzulegen. Vielleicht hilft es, dass Sergey Brin wieder eine aktivere Führungsrolle einnimmt, damit Google die harten Entscheidungen trifft und die Projekte streicht, die Luftschlösser sind und nirgendwohin führen.

SK Hynix und SanDisk veröffentlichen den ersten Standard für High Bandwidth Flash

Quelle: TrendForce — SK hynix, SanDisk Debut HBF Standard to Challenge AI Memory Bottlenecks with Google, Tenstorrent Support

SK Hynix und SanDisk haben die erste Standardspezifikation für High Bandwidth Flash veröffentlicht. HBF stapelt NAND so, wie HBM DRAM stapelt, und schafft damit eine neue Speicherebene zwischen HBM und SSDs. Die Spezifikation sieht bis zu 512GB pro Baustein in 8-high- und 16-high-Stapeln vor, dazu drei Bandbreitenklassen von rund 0,4 bis 3,0 TB/s. Sie nutzt den UCIe-Interconnect, sodass sich HBF an GPUs wie an CPUs anbinden lässt. Vorgestellt wurde der Standard auf der Konferenz Future of Memory and Storage und über das Open Compute Project veröffentlicht, mit Google DeepMind und Tenstorrent als Unterstützern des Konsortiums.

KI-Inferenz wird zunehmend durch die Speicherkapazität pro Beschleuniger begrenzt, insbesondere bei langen Kontexten und agentischen Workloads. Modellgewichte und der KV-Cache müssen dort liegen, wo sie schnell erreichbar sind. HBM bietet die Bandbreite, ist aber in der Kapazität begrenzt und extrem teuer, während SSDs zwar die Kapazität bieten, aber viel zu langsam sind. HBF liegt zwischen beiden und könnte die Kosten der Inferenz deutlich senken.

SanDisk plant erste HBF-Prototypen für die zweite Jahreshälfte, eine Pilotlinie in Japan soll gegen Jahresende anlaufen, und die Kommerzialisierung ist für 2027 angesetzt. SK Hynix hat zudem seinen 375-lagigen V10-4D-NAND angekündigt, mit Serienfertigung Anfang 2027 und einer 2,5-mal besseren Leistung pro Watt, und beansprucht für sich nun das branchenweit einzige vollständige KI-Speicherportfolio, das HBM, HBF und eSSD umfasst.

Eine Speicherebene, die über UCIe direkt am Package des Beschleunigers sitzt, beschneidet Nvidias Kontrolle über die Plattform. TrendForce erwartet, dass die Nachfrage nach komplexen Speicherlösungen einschließlich HBF erst um 2030 herum wirklich anzieht. Es gibt auch gute Gründe für Skepsis. Endurance und Schreiblatenz von NAND machen HBF zu einer vorwiegend lesend genutzten Ebene für Gewichte und Cache statt zu einem DRAM-Ersatz, und frühere Versuche, eine neue Schicht in die Speicherhierarchie einzuziehen, Optane als bekanntestes Beispiel, sind allesamt gescheitert.

Die technischen Argumente für HBF in der Inferenz sind dennoch stark. Inferenz hat ein weitgehend deterministisches Speicherzugriffsmuster. Für die Gewichte braucht es überhaupt keinen wahlfreien Zugriff, und ein Kaltstart von wenigen Millisekunden ist verkraftbar, solange die anschließenden kontinuierlichen Lesezugriffe mit voller Bandbreite ankommen. Genau darin ist NAND gut, und die Kosten pro Bit liegen selbst nach dem Overhead für Stapelung und Logik eine Größenordnung unter denen von HBM.

Ob das ausreicht, um die nötige Softwarearbeit aufzuwiegen, bleibt abzuwarten. Nvidia zeigt zumindest bislang kein Interesse. Einige Beobachter spekulieren, dass HBF ab 2027 in Nvidia-Produkten auftauchen wird, doch dafür gibt es keine konkreten Belege.

ByteDance trainiert Berichten zufolge ein Modell mit zehn Billionen Parametern

Quelle: Reuters — ByteDance targets mega AI model nearing Anthropic's Mythos, FT reports

ByteDance trainiert ein KI-Modell mit bis zu zehn Billionen Parametern, das berichtet die Financial Times unter Berufung auf Personen, die mit der Sache vertraut sind. Das wäre mehr als das Dreifache von Moonshots Kimi K3 (2,8 Billionen, derzeit Chinas größtes veröffentlichtes Modell) und nahe an den Branchenschätzungen für Anthropics Mythos 5 (rund acht Billionen, wobei Fable 5 auf fünf Billionen geschätzt wird). Das Modell befindet sich im Pre-Training, das üblicherweise drei bis sechs Monate dauert, und die endgültige Größe steht noch nicht fest.

Nachdem sie sich 2025 auf Effizienz konzentriert hatten, haben die chinesischen KI-Labore die Bitter Lesson nun vollständig verinnerlicht und setzen eher auf Skalierung als auf algorithmische Verbesserung. Nach der Veröffentlichung von Kimi K3 brachten auch Meituan und Alibaba Modelle mit über einer Billion Parametern heraus, allesamt größer als die größten amerikanischen Open-Weight-Modelle. Ob dieses Modell mit offenen Gewichten erscheint, ist bislang nicht bekannt, doch angesichts von Xi Jinpings jüngsten Bekenntnissen zum offenen Ökosystem würde es uns überraschen, wenn es geschlossen wäre.

Chinesische Unternehmen haben ihre Rechenleistung historisch stärker auf Geschäftsfelder jenseits von LLMs verteilt, etwa auf Empfehlungsalgorithmen, Modellinferenz und die Vermietung von Kapazität über Cloud-Dienste. Das scheint sich in den vergangenen Monaten geändert zu haben, mehr Rechenleistung wandert ins Pre-Training. ByteDance betreibt mit Doubao die populärste KI-Consumer-App, mit 324 Millionen monatlich aktiven Nutzern, und mit Seedance eines der weltweit fortschrittlichsten Videomodelle. Allein diese Nutzer zu bedienen bindet bereits eine große GPU-Flotte, und ein Pre-Training-Lauf mit zehn Billionen Parametern würde einen erheblichen Teil der Gesamtkapazität von ByteDance beanspruchen.

Eine Überschlagsrechnung. Ein Modell auf Mythos-Niveau wurde auf etwa 330.000 H100-Äquivalenten trainiert, die rund drei Monate liefen. ChinaTalk schätzt den Bestand Chinas auf 2,8 Millionen H100-Äquivalente, darunter heimische Chips, Fernzugriffe sowie geschmuggelte und legal erworbene Einheiten.

ByteDance ist Berichten zufolge Oracles größter GPU-Kunde. Die Nachfrage des Unternehmens hat mit dazu beigetragen, Johor zum zweitgrößten KI-Standort der Welt zu machen, und derzeit kommen über Aolani Cloud mit Unterstützung von Nvidia rund 36.000 B200-GPUs hinzu. Die exportrechtliche Konstruktion bedeutet, dass Kapazität im Ausland nur für Arbeiten außerhalb Chinas genutzt werden darf. Wie gut das durchgesetzt wird, ist uns nicht klar und bedarf weiterer Untersuchung.

Gesehen auf X

Weitere interessante Geschichten

• Bloomberg: Citadel Securities Says Bull Market Drivers Are ‘Firmly Intact’
• The New York Times: A.I. Designed These Viruses From Scratch
• AI Futures Project: How to pace the US frontier
• Reuters: Uber forecasts weak quarterly profit, doubles down on robotaxi investment plans
• The Verge: Texas orders an audit of data centers seeking grid connections