Weekly Digest 30

Themen, die wir verfolgen

OpenAI-Modelle brachen aus einem Test aus und hackten Hugging Face

Quelle: OpenAI — Hugging Face model evaluation security incident

Vergangene Woche legte Hugging Face offen, dass ein autonomes Agentensystem einen Teil seiner Produktionsinfrastruktur kompromittiert hatte. Diese Woche veröffentlichte OpenAI einen Beitrag, aus dem hervorgeht, dass der Angriff von OpenAI-Modellen ausging, die einen internen Test durchliefen.

GPT-5.6 Sol und ein nicht näher benanntes, leistungsfähigeres Pre-Release-Modell durchliefen ExploitGym, einen internen Benchmark für Cyber-Fähigkeiten, bei abgeschalteten Sicherheitsklassifikatoren, um die maximale Leistungsfähigkeit zu messen. Die Testumgebung sollte keinerlei Zugang zum Internet erlauben, doch die Modelle wendeten erhebliche Inferenz-Rechenleistung auf, um eine Zero-Day-Schwachstelle zu finden und auszunutzen, und gelangten so ins offene Internet. Sie folgerten, dass Hugging Face vermutlich Lösungen zu ExploitGym hoste, verketteten dann gestohlene Zugangsdaten mit weiteren Zero-Days zu Remote Code Execution auf Hugging-Face-Servern und lasen die Testantworten aus der Produktionsdatenbank aus. In OpenAIs eigener Darstellung waren die Modelle hyperfokussiert darauf, die Evaluation zu lösen, und gingen für ein eng gefasstes Testziel bis zum Äußersten.

Wer das Feld des KI-Alignments verfolgt hat, dem wird das sehr bekannt vorkommen — es deckt sich mit den Warnungen aus der KI-Sicherheitsforschung. Es ist vielleicht ein wenig ironisch, dass genau diese Art von Problem erstmals in dem Paper „Concrete Problems in AI Safety“ aus dem Jahr 2016 beschrieben wurde. Zu seinen Autoren zählten Dario Amodei und Chris Olah, beide damals bei Google Brain und später Mitgründer von Anthropic, sowie John Schulman, Teil des Gründungsteams von OpenAI und später Mitgründer von Thinking Machines. Die Menschen, die als Erste auf diese Möglichkeiten hingewiesen haben, führen heute die Unternehmen, die genau jene Maschinen bauen, vor denen sie gewarnt haben.

Nach Anthropics zahlreichen Warnungen vor Cyber-Fähigkeiten der Mythos-Klasse und dem gestaffelten Rollout von Project Glasswing schlug dem Unternehmen online viel Widerspruch entgegen — der Vorwurf lautete, es sei übervorsichtig und alarmistisch im Umgang mit diesen Modellen, verfolge eine Strategie der regulatorischen Abschottung und argumentiere dabei im eigenen Interesse. Ein Teil dieser Kritik war damals berechtigt. Ein Cyberangriff dieser Art gibt Anthropic jedoch recht. Er bestärkt uns in der Überzeugung, dass KI-Alignment eines der wichtigsten Themen dieses Jahrhunderts ist — noch vor dem Klimawandel oder der Pandemievorsorge. Nicht weil diese Themen unwichtig wären, sondern weil sie nicht so dringlich sind wie KI-Alignment.

Um den Angriff zu rekonstruieren, versuchte es Hugging Face mit gehosteten Frontier-Modellen, die die Anfragen jedoch ablehnten, weil ein Sicherheitsfilter nicht zwischen einem Incident Responder und einem Angreifer unterscheiden kann. Die Forensik lief stattdessen auf GLM 5.2, einem chinesischen Open-Weight-Modell, auf der eigenen Infrastruktur. Das heißt, der Sicherheitsfilter funktioniert — es heißt aber auch, dass angreifbar bleibt, wer von den Frontier-Labs keinen Zugang zu deren fortschrittlichsten Cyber-Modellen erhält, um die eigene Software zu patchen. Das wird zunehmend zum Problem, zumal Moonshot am Montag, dem 27. Juli, die vollständigen Gewichte von Kimi K3 mit 2,8 Billionen Parametern veröffentlichen soll. In den meisten Benchmarks liegt K3 mindestens auf Augenhöhe mit GPT-5.6, sodass jeder Akteur mit einer ausreichend großen GPU-Flotte das Modell herunterladen, verändern und für einen Angriff dieser Art einsetzen kann.

Hugging Face zählt zu den führenden europäischen Tech-Unternehmen, mit einer GPU-Flotte, die groß genug ist, um für die Forensik ein Open-Weight-Modell an der Frontier vor Ort zu betreiben, und mit eigenen Machine-Learning- und Security-Ingenieuren. Was passiert mit einer Organisation, die beides nicht hat? Die Verizons und Walmarts dieser Welt sind hier vermutlich weniger exponiert als mittelgroße Unternehmen innerhalb einer größeren Lieferkette, deren Kompromittierung weit über sie hinaus Wellen schlagen könnte.

Anthropic verpflichtet sich zu 2 GW an AMD-Helios-Racks

Quelle: AMD — AMD and Anthropic Announce Strategic Partnership to Deploy Up to 2 Gigawatts of AMD Instinct MI450 Series GPUs

Am Mittwoch gab AMD bekannt, dass Anthropic bis zu zwei Gigawatt an Instinct-MI450-GPUs in AMDs Helios-Racks einsetzen wird; das erste Gigawatt soll in der ersten Jahreshälfte 2027 an den Start gehen. AMD wird bis zu 5 Mrd. Dollar in Anthropic investieren, gekoppelt an Meilensteine beim Rollout, und Anthropic hat sich Berichten zufolge verpflichtet, über die Laufzeit Chips im Wert von zweistelligen Milliardenbeträgen abzunehmen. AMD hat zudem angekündigt, dass Microsoft Helios auf Azure für die Inferenz von Frontier-Modellen betreiben wird.

Ein Helios-Rack fasst 72 MI455X-GPUs mit EPYC-Venice-CPUs und Pensando-Networking. Der MI455X ist der fortschrittlichste Chip, der derzeit eine Fab verlässt, und der erste 2-nm-Chip für Rechenzentren, während die Wettbewerber noch auf 3 nm sind. Zwölf HBM4-Stacks ergeben 432 GB pro Package gegenüber 288 GB bei Nvidia und Google. Bei der Bandbreite bleibt Nvidia dicht dran, weil seine Pins 40 % schneller takten. Die Speicherhersteller mussten ihr HBM4 überarbeiten, um diese Spezifikation zu erreichen — ein Wagnis für Nvidia, das sich ausgezahlt hat.

AMD hat bei seinem Software-Ökosystem echte Fortschritte gemacht. Auf einem einzelnen Node stieg die Interaktivität von Kimi K2.5 auf das 18-Fache, MiniMax M3 erreicht inzwischen das Niveau der B200, und die Unterstützung für vLLM und SGLang ist deutlich besser und reagiert schneller auf neue Modellveröffentlichungen.

Die Trends in der Modellarchitektur begünstigen MoEs mit höherer Expertenzahl und MLA-artige Low-Rank-Designs für Attention, was mehr Sparsity, breitere Expert-Parallelität und eine höhere Empfindlichkeit gegenüber der Bandbreite bedeutet. Das treibt die Inferenz zunehmend in Richtung Multi-Node-Betrieb und disaggregiertes Serving, wo das ROCm-Ökosystem CUDA weiterhin hinterherhinkt. Open-Source-Stacks liefern Disaggregation mit breiter Expert-Parallelität auf CUDA bereits seit Anfang 2024 aus, während AMDs erste öffentliche Rezepte im Januar 2026 erschienen — überraschend ist das also nicht.

Das Software-Ökosystem scheint als Burggraben für Nvidia an Bedeutung zu verlieren, doch es schwindet sehr langsam, und die Frontier bewegt sich immer schneller, mit neuen Modellveröffentlichungen und Architekturanpassungen im Wochentakt. Jede neue Architektur bringt ihre eigene Attention-Variante, ihr eigenes Expert-Routing-Schema und ihr eigenes Quantisierungsformat mit, und jedes davon erfordert auf beiden Stacks neue Kernel, neue Parallelisierungsstrategien und neue Scheduling-Arbeit, bevor die Hardware es gut ausführt. Bei der Inferenz hält Nvidia mit Dynamo, seinem Framework für verteiltes Serving, und TensorRT-LLM weiterhin einen großen Vorsprung und berichtet von einem bis zu 2,28-fach höheren Output-Durchsatz je GPU allein durch breite Expert-Parallelität.

Im Gespräch mit Lisa Su bei Advancing AI am Mittwoch sagte Anthropic-Mitgründer und Chief Compute Officer Tom Brown, sein Team habe erwartet, dass die Portierung des eigenen Modells auf neue Hardware ein großes Projekt werden würde. Stattdessen setzte ein Ingenieur an einem Freitag Claude Code auf ein MI355X-Rack an und ließ es laufen. Bis Montag war die Leistungskurve für Anthropics Frontier-Modell das ganze Wochenende über gestiegen. Agenten können offensichtlich funktionierende Kernel schreiben. Ob sie auch optimierte schreiben, ist eine andere Frage.

Stripe verhandelt über den Kauf von OpenRouter für 10 Mrd. Dollar

Quelle: The Wall Street Journal — Stripe in Talks to Buy Buzzy AI Model Marketplace OpenRouter

Das Wall Street Journal berichtete, dass Stripe über den Kauf von OpenRouter für rund 10 Mrd. Dollar verhandelt. OpenRouter wurde 2023 gegründet. Das Unternehmen bündelt mehr als 400 Modelle von rund 70 Anbietern hinter einer einzigen API und nimmt einen prozentualen Aufschlag auf den Basispreis jedes Modells. Der annualisierte Umsatz lag im April bei rund 50 Mio. Dollar, wie The Information berichtet. Das wöchentliche Volumen wuchs in den sechs Monaten bis Mai von 5 auf 25 Billionen Tokens.

Auch Ramp hat diese Woche seinen internen Router für Kunden geöffnet. Ramp lässt darüber mehr als 100 KI-Anwendungsfälle laufen, verteilt über Produkte, die 70.000 Kunden bedienen, und gibt an, damit die eigene KI-Rechnung um 30 % gesenkt zu haben. Der Router testet jedes neue Modell an echter Arbeit und schickt jede Anfrage an das günstigste Modell, das die Qualitätsschwelle erreicht. Zwei Tage später brachte Runway einen Router für generative Medien an den Start, der Video-, Bild- und Audioanfragen für Kunden wie Adobe, ElevenLabs, Expedia und Shutterstock über verschiedene Modelle verteilt. Auch Cursor und Meta bauen Router.

Die offene Frage ist, wo der Router im Stack am besten sitzt. Ramp wettet darauf, dass Model Routing für sich allein tragfähig ist, und Stripe wettet auf dasselbe, nur mit bereits angeschlossener Abrechnungsinfrastruktur. Für einen Neueinsteiger ist es so oder so ein schwieriger Markt, denn alle Schichten darüber und darunter können bündeln: Hyperscaler, Inferenzanbieter und Datenbankunternehmen können Routing allesamt als Erweiterung dessen anbieten, was sie ohnehin verkaufen.

AWS brachte Intelligent Prompt Routing im Dezember 2024 als Preview in Bedrock und im April 2025 in die allgemeine Verfügbarkeit; eigene Tests wiesen Einsparungen von 60 % gegenüber dem durchgängigen Einsatz von Sonnet aus. Azure AI Foundry hat einen nativen Router mit den Modi Kosten, Qualität und ausgewogen. Beide haben dieselbe eingebaute Grenze: Bedrock routet innerhalb einer Modellfamilie, Azure routet zwischen auf Azure gehosteten Modellen. Ein Router, der demjenigen gehört, der die Modelle verkauft, optimiert für den Verkäufer.

Inferenzanbieter können nur Open-Weight-Modelle anbieten und nicht zu Claude, GPT oder anderen geschlossenen Modellen routen. Zudem mieten die meisten von ihnen ihre Rechenleistung. Fireworks arbeitet deshalb mit Bruttomargen von 30 % bis 40 %, und Lin Qiao hat erklärt, ein Schritt den Stack hinab in Rechenzentren sei irgendwann möglich, ein Schritt hinauf in die Anwendungsschicht dagegen ausgeschlossen.

Neoclouds verkaufen in eine sehr konzentrierte Käuferbasis. Die beiden größten Kunden von CoreWeave standen im ersten Quartal für rund 65 % des Umsatzes, nach einem Höchststand von 72 % ein Jahr zuvor. Lange Festlaufzeitverträge mit einer Handvoll sehr großer Abnehmer sind ein anderes Geschäft als der Verkauf von Routing an Unternehmen. Ob die Neoclouds sich überhaupt für Routing interessieren müssen, entscheiden die Diffusion offener Gewichte und das Rennen zwischen offenen und geschlossenen Modellen. Wenn offene Gewichte weiter an die Frontier heranrücken, wandert das Inferenzvolumen zu demjenigen, der sie hostet, und Routing wird strategisch. Halten die geschlossenen Labs einen dauerhaften Vorsprung, bleiben die Neoclouds Großhandelsanbieter von Kapazität, und Routing ist das Problem anderer.

Wir halten die Datenbank- und Ontologie-Unternehmen für am besten positioniert, um den qualitativ besten Router zu bauen. Gutes Routing setzt voraus, dass man weiß, wie schwer eine Aufgabe ist — und schwer wird eine Aufgabe durch die Daten und das Schema, die sie berührt. Databricks und Snowflake haben beide im Juni semantische Schichten ausgeliefert — Genie Ontology beziehungsweise Cortex Sense. Databricks' Unity AI Gateway verbindet intelligentes Routing mit durchgesetzten Ausgabenobergrenzen und einer Kostenzuordnung nach Nutzer, Team, Tool und Anwendungsfall. Palantir hat Ontologie zu einer kommerziellen Kategorie gemacht, und wir haben bereits früher darüber geschrieben, warum wir das Unternehmen für gut positioniert halten, diesen Markt zu erobern.

Model Routing wird meist unter dem Gesichtspunkt der Kostenersparnis und der Modellauswahl je Aufgabe diskutiert. Was dabei zu kurz kommt, ist Model Fusion. OpenRouter Fusion schickt einen Prompt parallel an ein Panel von Modellen, jedes mit denselben Werkzeugen, und lässt anschließend ein Judge-Modell die Ausgaben prüfen, Übereinstimmungen und Abweichungen markieren und eine einzige Antwort synthetisieren. Bei 100 Deep-Research-Aufgaben aus dem DRACO-Benchmark erreichte ein Panel aus Fable 5 und GPT-5.5 mit Opus 4.8 als Judge 69,0 %. Fable 5 allein kam auf 65,3 %, GPT-5.5 auf 60,0 % und Opus 4.8 auf 58,8 %.

A panel beats every model in it

69.0%

65.3%

60.0%

58.8%

PanelFable 5 + GPT-5.5, judged by Opus 4.8

Fable 5alone

GPT-5.5alone

Opus 4.8alone

Ein Router, der nur auf Kosten optimiert, landet am Ende auf der Ebene der Datenbanken oder der Hyperscaler. Model Fusion ist das interessantere Geschäft. Der Vorteil entsteht aus der Zusammensetzung des Panels, der Wahl des Judge-Modells und der Frage, wie man Uneinigkeit auflöst, statt sie zu mitteln. Ein Panel, das auch die feinabgestimmten Modelle des Kunden einschließt, eröffnet zudem eine neue Frontier.

Gesehen auf X

Weitere interessante Geschichten

• Financial Times: Samsung in talks to invest in Mistral at €20bn valuation
• Bloomberg: Retina Chip Designed to Restore Sight to Go on Sale in Europe
• The Argument: Bernie's bad bet on OpenAI
• Reuters: Google plans new chip to run Gemini models more efficiently, The Information reports
• The Information: Oracle Data Centers Face Multibillion-Dollar Cost Surprises