KI-Inference: Angebot, Nachfrage und die Compute-Bilanz

In einem kürzlich erschienenen Blogbeitrag hat Dwarkesh den Umsatzanstieg der Labs ihrem Compute-Wachstum gegenübergestellt. Sein Argument: Der Umsatz der führenden Labs wächst rund 10x pro Jahr, ihr Compute nur rund 3x — und weil das Chip-Angebot physisch nur begrenzt schnell reagieren kann, müssen die Compute-Preise zwangsläufig steigen. Wir haben das in unseren internen Modellen bereits untersucht und teilen unsere Methodik daher hier.

Die grundlegende Frage lautet, was geschieht, wenn die Nachfrage das Angebot übersteigt. Die logische Konsequenz ist ein steigender Preis — und zwar, um das klarzustellen, der Preis für Compute, nicht der Token-Preis. Der Preis einer H100 ist in den vergangenen Quartalen gestiegen, hervorragend nachverfolgt vom Mietpreisindex von SemiAnalysis: Eine Jahresmiete erreichte im Oktober 2025 mit 1,70 US-Dollar pro Stunde ihren Tiefpunkt und lag im März 2026 bei rund 2,35 US-Dollar — ein Plus von etwa 40 % für denselben Chip. Zugleich macht jede neue Generation eine Einheit Compute günstiger: Eine B200 kostet in der Miete rund das 1,3-Fache des H100-Stundensatzes, liefert aber mehr als die doppelte Rechenleistung. Je H100-Äquivalent ist der neuere Chip damit je nach Präzision rund 35 bis 65 % günstiger.

Das entspricht weitgehend den Erwartungen: Herrscht bei einem Gut mit begrenztem Angebot Überschussnachfrage, steigt der Preis. Die Token-Preise machen diese Dynamik komplizierter. Fortschrittlichere Chips liefern mehr FLOPs und mehr Speicherbandbreite, also mehr Tokens pro Sekunde. Inference-Frameworks wie vLLM, SGLang und Dynamo werden immer besser darin, Modelle auf derselben Hardware auszuliefern — auf die technischen Details gehen wir hier nicht ein, und die InferenceX-Arbeit von SemiAnalysis ist dafür eine hervorragende Quelle. Algorithmische Verbesserungen und interne Distillation erlauben es den Labs, intelligente Modelle günstiger anzubieten. Und das aktuelle Wettbewerbsumfeld verleitet die Labs dazu, Token-Preise stark zu subventionieren.

Daraus ergibt sich eine eigenartige Dynamik: Für die Labs steigen die Compute-Preise, während die Token-Preise fallen. Epoch misst, dass der Preis für ein festes Fähigkeitsniveau je nach Aufgabe um das 9- bis 900-Fache pro Jahr fällt — allerdings je Einheit Intelligenz. Fallende Token-Preise bringen zusätzlich das Jevons-Paradoxon ins Spiel: Wird ein Gut billiger, nutzen die Menschen so viel mehr davon, dass die Gesamtausgaben dafür steigen. Das aktuelle Wachstum der Token-Nachfrage stützt das deutlich.

In den vergangenen Jahren hat die Branche immer mehr aus den Chips herausgeholt, die sie ohnehin besitzt: bessere Serving-Software, Caching, Quantisierung. Die Nachfrage wächst dennoch sehr viel schneller als das physische Chip-Angebot.

Wir beginnen auf der Angebotsseite — wie viel Compute verfügbar ist und wie weit sich das Vorhandene strecken lässt —, wenden uns dann der Nachfrage zu, schätzen, wo sich beide kreuzen, und skizzieren einige Möglichkeiten, wie sich dieser Schnittpunkt auflösen könnte. Die Angebotsseite lässt sich leichter modellieren als die Nachfrageseite, doch in beiden stecken große Unsicherheiten, und jede Zahl hier sollte mit breiten Fehlerbalken gelesen werden. Wir bemühen uns, jede Annahme und ihre Herkunft offenzulegen.

1. Angebot: Installierte Basis und Ausbau

Wir beginnen diese Analyse mit einer Schätzung, wie viel Rechenleistung heute verfügbar ist und wie viel hinzukommt. Die Einheit, die wir durchgehend verwenden, ist das H100-Äquivalent (H100e): Jeder Beschleuniger wird anhand seiner dichten 8-Bit-Rechenleistung relativ zu einer Nvidia H100 gewichtet. Eine B300 zählt beispielsweise als rund 2,5 H100e.

Epoch AI pflegt hier die besten öffentlich verfügbaren Datensätze: ein Verkaufsregister für Chips und eine Standortdatenbank für Rechenzentren. Das Verkaufsregister zählt verkaufte beziehungsweise ausgelieferte Beschleuniger, da Umsatz bei Auslieferung realisiert wird — diese Chips sind also ausgeliefert, aber nicht zwangsläufig ans Netz gegangen und einsatzbereit. Der Datensatz beziffert den Bestand außerhalb Chinas auf 25,6 Millionen H100e, verkauft bis Q2 2026, mit einem Wachstum von 23 % pro Quartal.

Die Standortdatenbank erfasst Kapazität an Standorten, die Epoch über Satellitenbilder, Genehmigungen und Berichterstattung identifiziert hat. Epoch schätzt die eigene Abdeckung auf rund 27 % des weltweit ausgelieferten Compute im April 2026; unsere eigenen Schätzungen liegen näher bei 60 % der US-Chipverkäufe. Am nützlichsten ist die Standortdatenbank für die zeitliche Einordnung des Ausbaus. Epoch bewertet jede Bauphase jedes erfassten Standorts und hinterlegt für jede eine Fertigstellungswahrscheinlichkeit. Auf dieser Grundlage erstellen wir unseren Ausbauplan.

Wir haben beide Datensätze zusätzlich gegen Quellen außerhalb von Epoch geprüft: Nvidias eigene Auslieferungsangaben (rund 4 Millionen Hopper-Einheiten insgesamt, 6 Millionen Blackwell-Dies bis Oktober 2025), Stückzahlschätzungen von Omdia, Morgan Stanley, JP Morgan und TechInsights, Erhebungen zur TPU-Produktion sowie AMD- und Trainium-Volumina. Auf dieser Basis liegen die Schätzungen zwischen 22 und 26 Millionen H100e außerhalb Chinas bis Mitte 2026; Epochs Wert von 25,6 Millionen liegt gut innerhalb dieser Spanne. Keine unabhängige Quelle veröffentlicht einen kumulierten installierten Bestand, weshalb die Triangulation über diese Quellen die beste Schätzung ist, die wir liefern können.

2. Angebot: Zusammensetzung und Erneuerung der Flotte

Mit jedem neuen Beschleuniger, der ans Netz geht, verändert sich die Zusammensetzung der Flotte. Diese Zusammensetzung bestimmt, welche Spitzen-FLOPs und welche Speicherbandbreite die Flotte erreichen kann.

Die Rechenleistung je Chip verdoppelt sich alle 1,4 Jahre, die Speicherbandbreite alle 2,5 Jahre. Serving hängt an der Bandbreite, denn für jeden erzeugten Token müssen die Gewichte des Modells aus dem Speicher gelesen werden. Chips verbessern sich im Training also schneller als im Serving.

Epochs Verkaufsdaten liefern uns nur eine Ausgangsbasis für den Beschleuniger-Mix. Für die Fortschreibung nutzen wir die Roadmaps der Hersteller und Absatzprognosen. Je weiter wir in die Zukunft gehen, desto unsicherer werden die Projektionen. Ab 2029 etwa liegen für die meiste Hardware noch keine veröffentlichten Leistungsdaten vor, weshalb wir einen Zuwachs von 2,2x je Generation unterstellen; die über vergangene Generationswechsel beobachtete Spanne lag bei 1,9x bis 6,8x.

Je mehr spezialisierte und auf Inference optimierte Chips ans Netz gehen, desto wahrscheinlicher setzen wir das Angebot am langen Ende dieser Grafik zu niedrig an. Die meisten dieser Designs stehen noch am Anfang und brauchen Zeit, um hochzulaufen. Unser Fokus liegt auf der näheren Zukunft, in der sie eine sehr kleine Rolle spielen.

Außerdem mustern wir in unseren Berechnungen keine Hardware aus. Die wahrscheinlichsten Kandidaten dafür wären Chips der A100-Klasse und ein Teil der H100; angesichts ihres geringen Anteils an der Gesamtrechenleistung der Flotte wäre der Effekt vernachlässigbar. Solange sich der Output eines Chips für mehr verkaufen lässt, als sein Betrieb kostet, gibt es keinen Anreiz, ihn stillzulegen.

Weil Kennzahlen zur Rechenleistung für das Serving irreführend sind, messen wir zusätzlich, was jede Generation tatsächlich ausliefert — über Benchmark-Läufe bei angeglichenen Einstellungen. So gemessen liefert die B300 das 3,5-Fache einer H100, und die H200 liefert 43 % mehr als eine H100, obwohl beide dieselbe Kennzahl tragen.

3. Angebot: Effizienzgewinne im Serving-Stack

Eine der größten Entwicklungen der letzten 18 Monate ist, wie viel besser sich Modelle auf derselben Hardware ausliefern lassen. Inference-Engineering hat sich zu einem eigenen Feld entwickelt und Serving-Frameworks mit besserer Quantisierung, Speculative Decoding, Attention-Sparsity und intelligenterem Batching hervorgebracht.

Um das zu messen, verfolgen wir Benchmark-Konfigurationen, in denen sich die Hardware nie ändert: Hält man Chip, Modell, Präzision, Anfrageform und Chipanzahl konstant, gewinnt die mediane Konfiguration rund 87 % pro Jahr. Grundlage dafür ist InferenceX, ein hervorragendes Benchmarking-Werkzeug des Teams von SemiAnalysis.

Konfigurationen auf Chips, die 2025 auf den Markt kamen, gewinnen rund 144 % pro Jahr, solche auf ausgereiften Chips rund 3 %. Der größte Teil des gemessenen Gewinns entsteht im ersten Jahr eines Chips, während die Software zum neuen Silizium aufschließt. Ob die aggregierte Rate anhält, hängt davon ab, ob jede neue Generation ebenso unoptimiert startet wie die vorherige — und das ist offen.

4. Nachfrage: Globaler Token-Verbrauch und Wachstum

Auf der Nachfrageseite haben wir eine bewusste Entscheidung getroffen: In dieser Notiz vermessen wir das Angebot und übernehmen die Nachfrage aus veröffentlichten Schätzungen. Nachfrageprognosen sind eine eigene Disziplin, und andere haben diese Arbeit sorgfältig und gut geleistet.

Exponential View beziffert die weltweite Inference auf knapp 34 Billiarden Tokens pro Monat — gezählt über API, Abonnements und interne Nutzung, wobei jeder Token als Input oder Output zählt — bei einem Wachstum von rund 14x pro Jahr; die konservativeren Reihen implizieren etwa 10x. Zieht man China anhand des gemessenen nationalen Aggregats ab, bleiben 837 bis 977 Billionen Tokens pro Tag außerhalb Chinas. Exponential View hat einen hervorragenden Report vorgelegt, dessen Lektüre wir sehr empfehlen.

Die Nachfrageschätzung zählt jeden verarbeiteten Token. Unsere Angebotszahlen stammen dagegen aus Benchmarks, in denen jeder Token von Grund auf neu berechnet wird. Die meisten Input-Tokens sind jedoch Cache-Hits, und ein wiederholter Token wird aus dem Cache zu rund 5 % der Kosten eines frisch berechneten ausgeliefert. Chat-Verkehr verwendet rund 45 % seines Inputs wieder (gemessen 40 bis 60 %), Agenten-Verkehr rund 95 % (Coding-Agenten messen über 95 %).

InferenceX nutzt außerdem echte Agenten-Sitzungen mit Kontexten von 100.000 Tokens. Bei diesem Verkehr liefert ein Chip weniger als die Hälfte seiner Benchmark-Rate, vor allem weil der lange Kontext den Speicher des Chips füllt. Nimmt man Chat- und agentische Workloads zusammen, benötigt der durchschnittlich nachgefragte Token etwa die Hälfte der Rechenleistung, die die Benchmarks unterstellen.

Zusätzlich korrigieren wir die Zahlen um die interne Nutzung: 15 bis 40 % der Nachfrage entfallen auf die Eigenarbeit der Labs, etwa Reinforcement Learning und synthetische Daten. Diese Tokens müssen nicht in Chat-Geschwindigkeit ankommen, ein Chip kann sie also in großen Batches ausliefern und bis zu 2,5x mehr Tokens pro Sekunde erzeugen. Sie zählen weiterhin als Nachfrage — jeder einzelne beansprucht nur weniger von einem Chip.

Projektionen zur Token-Nachfrage sind wohl die wichtigste Kennzahl der KI-Branche überhaupt: Sie treiben den KI-Ausbau, und dieser Ausbau ist zu einem wesentlichen Treiber der Gesamtwirtschaft geworden. Bei der Diffusion dieser Technologie in die breitere Wirtschaft stehen wir noch am Anfang, und die heutige Nachfrage ist überwiegend textbasiert. Voice-, Bild- und Videomodelle (World Models) laufen erst hoch und sind deutlich rechen- und speicherintensiver. Mit der Skalierung dieser Modalitäten dürfte die Token-Nachfrage weiter steigen. Auch agentische Workflows dürften einen wachsenden Anteil der Token-Nachfrage ausmachen, womit jede Anfrage mehr Tokens verbraucht als eine klassische Chat-Interaktion. In dieser Notiz verwenden wir das Wachstumsband von 10 bis 14x, doch das könnte die Nachfrage durchaus unterschätzen.

5. Der Workload: Wie sich die Nachfrage auf die Modelle verteilt

Welche Modelle diese Nachfrage bedienen, ist der nächste wichtige Faktor: Derselbe Beschleuniger kann auf einem kleinen Modell 5- bis 8-mal mehr Tokens ausliefern als auf einem Frontier-Modell. Die Frontier-Labs veröffentlichen Token-Zahlen nur gelegentlich, und Router wie OpenRouter legen ihre zwar sehr detailliert offen, sind aber noch nicht repräsentativ für das breitere Ökosystem. Wir haben die Aufteilung deshalb aus einer Reihe unterschiedlicher Quellen zusammengetragen.

Google liefert Berichten zufolge rund 107 Billionen Tokens pro Tag aus, vieles davon standardmäßig über die Flash-Modelle (Gemini-App, AI Overviews, Gmail, Docs); auf das Flaggschiff der Pro-Klasse entfällt vielleicht ein Zehntel des Volumens. Der Router von OpenAI leitet rund zwei Drittel des ChatGPT-Verkehrs auf die schnellen Instant-Modelle, mit Reasoning bei 7 % der kostenlosen und 24 % der bezahlten Anfragen in der jüngsten Offenlegung. Der Hosting-Markt für Open-Weights-Modelle liefert rund 110 Billionen Tokens pro Tag aus, davon allein 40 Billionen bei Fireworks.

Zusammengenommen halten wir kleine proprietäre Modelle für rund die Hälfte der weltweiten Tokens, Open-Weights-Modelle für rund ein Viertel, die Frontier-Klasse für 13 % (Spanne 10 bis 18) und feinabgestimmte Open-Weights-Modelle für 12 %.

Zur Bepreisung jeder Klasse verwenden wir gemessene Serving-Raten von Open-Weights-Stellvertretern, weil geschlossene Modelle von außen nie gebenchmarkt werden. Die Frontier-Klasse wird über Kimi K3 bepreist, ein Modell mit 2,8 Billionen Parametern, das in der Größenordnung mit Opus oder GPT 5.6 Sol vergleichbar ist. Die Klasse der kleinen proprietären Modelle wird über Qwen 3.5 bepreist, das schnellste noch gebenchmarkte Modell. Unveränderte Open-Weights-Modelle werden über eine Mischung jener Modelle bepreist, die den Großteil des Verkehrs ausmachen (DeepSeek V4, MiniMax M3 und Qwen 3.5), gewichtet nach ihren Router-Volumina. Feinabgestimmte Open-Weights-Modelle werden ebenfalls über Qwen 3.5 bepreist, da nahezu das gesamte feinabgestimmte Serving auf kleinen Modellen läuft.

Zwischen Durchsatz und Geschwindigkeit besteht zudem ein grundsätzlicher Zielkonflikt. Ein Chip kann immer mehr Tokens ausliefern, indem er mehr Nutzer in einem Batch bündelt — was jeden einzelnen Nutzer verlangsamt. „Tokens pro Sekunde pro Chip“ bedeutet daher nichts, solange nicht festgelegt ist, wie schnell jeder Nutzer seine Antwort erhält. Diese Geschwindigkeit unterscheidet sich nach Klasse: Gemessen über 25 kommerzielle Dienste liefern Frontier-Modelle im Median 61 Tokens pro Sekunde und Nutzer, Modelle der Mittelklasse 102 und schnelle kleine Modelle 179. Wir setzen die Frontier-Klasse auf 60 Tokens pro Sekunde und Nutzer und jede andere Klasse auf 100, den Median der Mittelklasse, da die Klasse der kleinen proprietären Modelle von Sonnet-Klasse bis Flash-Klasse reicht und der Großteil ihres Volumens auf der mittleren Rate liegt.

6. Die Bilanz: Serving-Anteil und Schnittpunkte

Die Flotte außerhalb Chinas umfasst 25,6 Millionen H100e, verkauft bis Q2 2026. Chips sind etwa 66 % der Zeit mit Strom versorgt und in Betrieb, gestützt auf Cluster-Traces und Energiestudien zu Rechenzentren. Wir treffen keine Annahme darüber, wie sich die Flotte auf Serving und Training aufteilt. Wir berechnen, was die gesamte Flotte ausliefern könnte, und lassen die Nachfrage den Anteil bestimmen, den sie davon benötigt.

Bei diesen Geschwindigkeitsuntergrenzen und gewichtet mit dem Modell-Mix aus Abschnitt 5 könnte die Flotte rund 2.000 Billionen Tokens pro Tag ausliefern. Wir unterstellen, dass 70 % der Blackwell-Chips in vollständigen Rack-Systemen installiert sind. Getrennt davon rechnen wir einen Aufschlag für Speculative Decoding hinzu, den die Benchmark-Läufe auslassen: 1,4x bei Rack-Systemen und 1,3x bei Einzelmaschinen. Beide liegen innerhalb gemessener Spannen: Racks messen 1,2 bis 1,8, ausgelastete Einzelmaschinen 0,9 bis 2,0.

Die gesamte Nachfrage außerhalb Chinas zu bedienen, beansprucht 45 bis 55 % der Flotte und 16 bis 26 % nach den beiden Korrekturen aus Abschnitt 4: der Umrechnung für Cache und Auslieferung sowie der internen Nutzung der Labs, die zur vollen Batch-Rate bedient wird. Damit blieben 74 bis 84 % der Flotte für Training, Forschung und alles Übrige.

Die Spitzennachfrage nach Inference dürfte zwischen dem 1,7- und dem 2,8-Fachen des Durchschnitts liegen. Wegen der Zeitzonenunterschiede liegt die globale Spitze wahrscheinlich bei etwa dem 1,4-Fachen, was 23 bis 37 % des weltweiten Compute entspräche. OpenAI und Anthropic dürften deutlich über diesen Schwellen liegen, weil sie keine Kerngeschäftsfunktionen haben, die Compute binden — anders als Metas Ranking-Systeme oder Alphabets Modelle für Suche, Werbung und YouTube-Empfehlungen.

Das Angebot wächst um 46 % pro Quartal: Silizium +23 %, der Mix-Effekt +2 %, Serving-Software +17 %. Die Nachfrage wächst um 78 bis 93 % pro Quartal. Die Nachfrage verdoppelt sich alle drei Monate, das Angebot alle fünf. Bei diesen Raten überholt die Nachfrage das Bruttoangebot innerhalb von 2,5 bis 4,6 Quartalen. Fallen die Software-Gewinne auf ihre ausgereifte Rate zurück, sind es 1,7 bis 2,6.

Diese Linien werden sich zuerst in den Spitzenstunden kreuzen. Anthropic hat bereits Aktionen für Nebenzeiten durchgeführt, und weitere Off-Peak-Tarife und Rabatte dürften folgen. Auch die Labs und Hyperscaler werden sich gedrängt sehen, ihre eigenen internen Workloads in die ruhigen Stunden zu verlagern, wo die Arbeit es zulässt — etwa die Erzeugung synthetischer Daten.

7. Hebel: Wie eine Knappheit aufgefangen wird

Wir haben festgestellt, dass es früher oder später — abhängig von der Nachfrage — zu einer Angebotsknappheit kommen wird. Diese Knappheit wird jedoch kein Ausfall und kein Blackout sein. Den Labs und Hyperscalern steht eine Reihe von Hebeln zur Verfügung, um das Angebot zu rationieren oder die Nachfrage zu dämpfen. Wir skizzieren hier einige — keineswegs vollständig — und decken dabei bewusst sowohl die Produkt- und Preisseite als auch die technische Seite ab.

Kontingente und Preise. Die Abo-Stufen der Frontier-Labs waren bislang sehr großzügig. Das dürfte nicht so bleiben: Zu erwarten sind höhere Preise oder kleinere Kontingente sowie die Rückkehr von Off-Peak-Angeboten. Der aktuelle Unterbietungswettlauf nützt vor allem den Verbrauchern und erinnert an die frühen Jahre von Uber und Lyft. Die besten Open-Weights-Modelle (Kimi K3, GLM 5.2, Qwen 3.8) sind zu groß für die eigene Hardware der Nutzer und brauchen einen GPU-Cluster, um gut zu laufen. Inference-Anbieter können Intelligenz günstiger anbieten als OpenAI oder Anthropic, weil sie keinen Trainingslauf zu amortisieren haben. Doch die Compute-Preise steigen für alle, und kurzfristig geht das entweder zulasten der Marge oder treibt die Token-Preise — bei offenen wie geschlossenen Modellen. Die Frage ist, wer am meisten Kapital verbrennen kann, um Marktanteile zu gewinnen.

Routing. Modell-Router sind derzeit in aller Munde, und das wird so bleiben — wir haben darüber bereits mehrfach geschrieben. Ein Token, der von einem kleinen statt einem Frontier-Modell beantwortet wird, macht rund das 5-Fache an Rechenleistung frei. ChatGPT hat einen Großteil der Modellwahl bereits hinter der Oberfläche verborgen. Abonnenten neigen dazu, unabhängig von der Aufgabe das größte und fortschrittlichste Modell zu wählen — was zum vorherigen Punkt zurückführt: Solange die Nutzung stark subventioniert ist, gibt es keinen Anreiz, anders zu entscheiden.

Reaktionsgeschwindigkeit. Ein Chip kann immer mehr Tokens ausliefern, indem er jeden Nutzer verlangsamt. Lässt man die Geschwindigkeit für alle Nutzer auf 30 Tokens pro Sekunde sinken, bringt das im besten Fall bis zu 3x mehr Serving-Kapazität. Das dürfte allerdings auf die Nutzung durchschlagen: Anwender reagieren sehr empfindlich darauf, wie schnell der erste Token eintrifft, und auf Geschwindigkeit generell. Diese Balance zu finden, wird für die Labs eine schwierige Aufgabe.

Engineering. Serving mit Vier-Bit-Präzision erhöht die Serving-Kapazität dort, wo das Silizium es unterstützt, um 1,4 bis 1,9x. Die Auslastung der Flotte von 66 % auf 75 % anzuheben, bringt 14 %. Die größte Chance liegt beim Long-Context-Nachteil aus Abschnitt 4: Agenten-Verkehr erreicht weniger als die Hälfte der Benchmark-Rate eines Chips, und die Branche investiert hier stark — Sparse Attention, günstigere Kontextspeicherung, neue Modellarchitekturen, clusterweite Kontext-Pools, auf Agenten abgestimmtes Speculative Decoding. Daraus könnten Effizienzgewinne vom Zwei- bis zum Mehrfachen bei Agenten-Workloads entstehen.

Quellen

Jede Zahl in dieser Notiz lässt sich auf einen der folgenden Einträge zurückführen. Die Kennzeichnung sagt, um welche Art von Beleg es sich handelt: primär für eine Offenlegung oder ein Dokument aus erster Hand, gemessen für eine veröffentlichte Messung oder einen Datensatz, sekundär für Berichterstattung über eine Primärquelle, Anbieter für Zahlen des Verkäufers selbst und Einschätzung dort, wo wir eine Annahme treffen, die keine Quelle klärt.

Compute-Bestand und Ausbau

• Epoch AI Data Centers Database — das Verkaufsregister für Chips und der Standort-Tracker hinter dem Bestand von 25,6 Mio. H100e und dem Ausbauplan. Abbildungen 1, 2 und 5. gemessen
• Nvidias Auslieferungsangaben — rund 4 Mio. Hopper-Einheiten insgesamt und 6 Mio. Blackwell-Dies bis Oktober 2025; 1,3 Mio. Hopper an die vier größten Cloud-Anbieter im Jahr 2024. primär, über sekundäre Träger
• Stückzahlschätzungen von Analysten — TechInsights (3,76 Mio. Nvidia-Rechenzentrums-GPUs im Jahr 2023), Omdia-Käufertabellen, JP Morgan (5,2 Mio. Blackwell-Einheiten im Jahr 2025, danach 1,8 Mio. im Jahr 2026, während Rubin hochläuft), Morgan Stanley (27.300 NVL72-Racks im Jahr 2025, 70.000 bis 80.000 im Jahr 2026) sowie TPU-Volumina von Mizuho (4,3 Mio. im Jahr 2026, rund 35 Mio. bis 2028) und BofA (rund 2 Mio. im Jahr 2025, über 3 Mio. im Jahr 2026). Analystenschätzung, über sekundäre Träger
• Nvidia Q3 FY2026 Earnings Call — A100-Chips sind rund sechs Jahre nach Auslieferung noch voll ausgelastet, weshalb in unserem Zeitfenster nichts ausgemustert wird. primäres Transkript
• AI-2027-Compute-Prognose — ein unabhängiger Pfad, der für Mitte 2026 rund 27 Mio. H100e weltweit interpoliert, nah an unserem eigenen Wert. unabhängiges Modell
• Zählung nach Die statt nach Package — Nvidia zählt einzelne Dies, Analysten zählen Packages; bei Blackwell macht das einen Faktor zwei aus. methodische Anmerkung

Flottenzusammensetzung und Serving-Raten

• SemiAnalysis InferenceX und die Analyse Blackwell gegen MI355X — jede gemessene Serving-Rate in dieser Notiz. Abbildungen 6, 7, 9 und 11. gemessen
• Artificial Analysis — gelieferte Geschwindigkeit je Nutzer über 25 kommerzielle Dienste, Grundlage der Untergrenzen von 60 und 100 Tokens pro Sekunde. gemessen
• Rack-Anteil bei Blackwell — Morgan Stanleys NVL72-Zahlen gegen die kumulierte Package-Synthese; wir setzen rund 70 % des installierten Bestands als rack-installiert für Mitte 2026 an. Analystenschätzung
• Speculative Decoding — SGLang Multi-Token-Prediction über verschiedene Concurrency-Stufen und Produktionsläufe der Ant Group grenzen die von uns angesetzten 1,3 bis 1,4x ein, gegen eine gemessene Spanne von 0,9 bis 2,0, die von der Abstimmung des Draft-Modells getrieben wird. gemessen
• TPU- und Trainium-Serving — Dokumentation zu TPU-Pods und Anthropic zur eigenen Trainium-Flotte; weder Google noch AWS veröffentlichen Durchsatzwerte bei Produktions-Batchgrößen, und keiner der beiden hat je ein MLPerf-Ergebnis zum LLM-Serving eingereicht, weshalb dieser Teil zur Durchschnittsrate der gebenchmarkten Flotte bepreist wird. Einschätzung auf Basis dokumentierter Lücken

Compute-Preise

• SemiAnalysis H100-Mietpreisindex und der laufende GPU-Index — vergleichbare Zwölfmonatsverträge für H100, 1,70 US-Dollar pro Stunde am Tiefpunkt im Oktober 2025 bis rund 2,35 US-Dollar im März 2026. gemessen
• Epoch AI zu Inference-Preistrends — der Preis bei festem Fähigkeitsniveau fällt je nach Aufgabe um das 9- bis 900-Fache pro Jahr. gemessen

Token-Nachfrage

• Exponential View, The State of the AI Economy (vollständiger Report) — die globale Erhebung, ihre Zählmethodik und die Jahresrate von 14x. Abbildung 8. primär
• Chinesische Nationale Datenbehörde — 140 Billionen Tokens pro Tag im März 2026, Grundlage für den Abzug Chinas. offengelegt
• Epoch AI, Is a compute crunch coming? — eine unabhängige Schätzung auf anderen Annahmen. sekundäre Analyse
• Belege zu Cache-Hits und Input-Anteilen — DeepSeeks Produktionsoffenlegung mit 56,3 % token-gewichtet, Alibabas KVCache in the Wild, Mooncake, die Splitwise-Azure-Traces sowie Traces von Coding-Agenten mit über 95 % für Claude Code und Codex. gemessen
• Cache-Bepreisung — Cache-Lesezugriffe zu einem Zehntel des frischen Inputs bei Anthropic, OpenAI, Google und Mistral und noch günstiger bei DeepSeek. primär
• Anteil der internen Nutzung, 15 bis 40 % — keine Quelle teilt die Erhebung auf; angrenzende Belege liefert Epochs Rekonstruktion der Compute-Ausgaben von OpenAI. Einschätzung

Der Modell-Mix

• Alphabet-Aktionärsbrief Q2 2026 und Google I/O 2026 — Googles Token-Volumina und die Flash-Voreinstellung. primär
• Anteile der Reasoning-Stufen bei ChatGPT — die einzige Offenlegung, 7 % der kostenlosen und 24 % der bezahlten Anfragen. primär
• OpenRouter und a16z, die 100-Billionen-Token-Studie — Router-Aggregate hinter den Input-Anteilen und der regionalen Verteilung. gemessen
• Anthropic Economic Index — Opus-Anteil an Claude-Code-Sitzungen gegenüber Chat. primär
• Fireworks — 40 Billionen Tokens pro Tag, nach 10 Billionen neun Monate zuvor. primär, Anbieter
• OpenRouter State of AI und State of Open Source — Volumenmix der Router. gemessen
• Vercel AI Gateway Production Index — Open Weights bei 29 % der Tokens, aber unter 4 % der Ausgaben. gemessen
• Menlo-Ventures-Unternehmensumfrage — offene Modelle bei rund 11 % der API-Nutzung in Unternehmen. gemessen

Spitzenlast, Auslastung und die Hebel

• Verhältnis von Spitze zu Mittel — DynamoLLM auf Azure-Traces mit 1,7x für Konversation und 2,8x für Coding, dazu die Tagesverläufe von BurstGPT und ServeGen. gemessen
• Mooncake — clusterweit gepoolter KV-Cache, der die Anfragekapazität auf Produktions-Workloads um rund 75 % hebt; die stärkste veröffentlichte Zahl zum Serving langer Kontexte. primär, in Produktion gemessen
• DeepSeek Sparse Attention — Sparse Attention im Produktivbetrieb, mit einer API-Preissenkung von mehr als der Hälfte zum Start. primär
• FP8-KV-Cache — eine flache Halbierung des Kontextspeichers bei jeder Länge, inzwischen Produktionsstandard. gemessen
• Kimi Delta Attention — konstante Zustandsgröße in drei von vier Schichten, bis zu 75 % weniger KV-Cache. primär
• SGLang HiCache — Cache-Trefferquote von 40 % auf 80 % bei einem Coding-Agenten-Workload. Anbieter, gemessen
• MiniMax über den Verzicht auf effiziente Attention — der Gegenfall, dokumentiert anhand der Qualität bei mehrstufigem Reasoning. primär
• Suffix Decoding für Agenten — amortisiert das Lesen des gesamten Kontexts über mehrere spekulativ erzeugte Tokens, 1,8 bis 4,5x Ende zu Ende bei agentischen Aufgaben. Anbieter
• Sparsity in DeepSeek V4 — 27 % der FLOPs je Einzeltoken und 10 % des KV-Cache bei 1 Mio. Token Kontext gegenüber V3.2. gemessen
• Aegaeon (SOSP 2025) — Multiplexing auf Token-Ebene, das eine Long-Tail-Serving-Flotte von 1.192 auf 213 GPUs verkleinert, wobei dieser Long Tail nur einen kleinen Teil des Ganzen ausmacht. primär
• RouteLLM — Kostensenkungen bei gehaltener Qualität, die veröffentlichte Grundlage für Routing-Gewinne. gemessen
• Prioritäts- und Batch-Stufen — Anthropic Service Tiers, OpenAI Priority Processing und Google-Preise. primär
• Auffüllen der Talstunden — Inference-Knoten werden nachts für die Forschung abgezogen; der Mechanismus ist veröffentlicht, die zurückgewonnenen Stunden nicht. primär, qualitativ
• Anthropic-Nutzungsgrenzen — die Abfolge von Kontingenten und Nebenzeiten aus Abschnitt 7. primär
• Effort-Steuerung und die Effort-API — erreicht die Bestleistung eines Vorgängermodells mit 76 % weniger Output-Tokens. Anbieter