Die passende KI-Infrastruktur lässt sich nicht allein aus der Modellgröße ableiten. Sie hängt davon ab, wie lang Prompts und Antworten sind, wie viele Anfragen gleichzeitig eintreffen und welche Latenz- und Verfügbarkeitsziele gelten. Erfassen Sie zuerst diese Last und messen Sie das bestehende System; optimieren Sie danach Modell, Serving und Infrastruktur jeweils gegen dieselben repräsentativen Anfragen.
1. Lastprofil und Serviceziele festlegen
Bevor Sie GPUs oder Serving-Software auswählen, beschreiben Sie, was der Produktionsdienst tatsächlich leisten muss. AWS weist darauf hin, dass zwei Deployments desselben Modells wegen unterschiedlicher Prompt- und Antwortlängen, Parallelität und Latenzziele deutlich unterschiedliche Infrastruktur benötigen können.
As an Amazon Associate I earn from qualifying purchases.
Erfassen Sie mindestens folgende Größen für typische Nutzung und Spitzenlast:
What’s actually slowing this PC down?
Pick the symptom - the matching free tool is one click away.
- Anfragen: Requests pro Sekunde, gleichzeitige Anfragen oder Nutzer sowie erwartete Lastspitzen.
- Tokenlängen: mittlere und maximale Eingabelänge sowie erwartete Ausgabelängen. Halten Sie typische und lange Fälle getrennt fest.
- Latenz: Time to First Token (TTFT), Zeit zwischen erzeugten Tokens und End-to-End-Latenz.
- Warteschlange: maximale tolerierbare Queueing-Zeit und Verhalten, wenn die Kapazität nicht ausreicht.
- Qualität und Betrieb: Qualitätsanforderung, Verfügbarkeit, Skalierungsverhalten und Kosten pro erfolgreicher Anfrage oder nützlichem Token.
Die AWS-Seite nennt als illustrative Ziele eine TTFT unter einer Sekunde, eine End-to-End-Latenz unter fünf Sekunden und Queueing unter 500 ms. Das sind Beispiele auf dieser Seite, keine allgemeinen Standards oder Empfehlungen für jeden Dienst. Legen Sie eigene Grenzwerte anhand des Produkts fest: Ein interaktiver Assistent kann eine kurze TTFT priorisieren, während eine nächtliche Datenverarbeitung eher Gesamtdurchsatz und Kosten gewichten kann.
#1 Best Overall
- NVIDIA Volta GV100 Architecture — 4,608 CUDA Cores, 640 1st-Gen Tensor Cores delivering 14 TFLOPS FP32 and 112 TFLOPS deep learning performance for AI training, inference, HPC, and scientific computing workloads
- 32GB HBM2 ECC Memory — 900 GB/s Bandwidth — High-bandwidth memory on a 4096-bit bus with ECC error correction provides the memory capacity and throughput required for the largest AI models, simulations, and datasets
- PCIe 3.0 x16 Interface — 250W TDP — Standard PCIe Gen3 connectivity with passive cooling designed for enterprise rack server deployment in HPE ProLiant, Dell PowerEdge, and Supermicro platforms with adequate chassis airflow
- NVLink — Scale to 96GB Unified Memory — Connect two V100 GPUs via NVLink at 300 GB/s bi-directional bandwidth to scale GPU memory from 32GB to 96GB for larger AI training and HPC workloads
- Multi-Precision Computing — Supports FP64 (7 TFLOPS), FP32 (14 TFLOPS), FP16 (112 TFLOPS) and INT8 precision modes for flexible deployment across training, inference, and scientific simulation workloads
2. Einen belastbaren Ausgangswert messen
Ein einzelner Benchmarkwert reicht nicht, um die Eignung eines Deployments zu beurteilen. Erstellen Sie einen repräsentativen Testsatz aus den tatsächlichen Anfrageformen und bilden Sie erwartete Eingabe- und Ausgabelängen, Parallelität, Serving-Backend und Quantisierungsstufe ab. Messen Sie dabei unter Last, nicht nur bei einer einzelnen Anfrage.
Erfassen Sie mindestens diese Ergebnisse zusammen:
| Messgröße | Was sie zeigt | Worauf beim Vergleich zu achten ist |
|---|---|---|
| TTFT | Wie lange es dauert, bis das erste Antwort-Token erscheint. | Relevant für wahrgenommene Reaktionsfähigkeit; besonders bei längeren Prompts die Prompt-Verarbeitung mitprüfen. |
| Zeit zwischen Tokens und Tokenrate | Wie gleichmäßig und schnell die Antwort nach dem ersten Token entsteht. | Nicht aus der TTFT ableiten: Eine schnelle erste Ausgabe bedeutet nicht automatisch flüssige oder schnelle Generierung. |
| End-to-End-Latenz | Gesamtdauer bis die Antwort vollständig vorliegt. | Mit realistischen Antwortlängen messen, denn kurze Ausgaben können längere Produktionsantworten nicht vertreten. |
| Aggregierter Durchsatz | Wie viele Anfragen oder Tokens das System bei erwarteter Parallelität verarbeitet. | Lastprofil und Erfolgsqualität mit angeben; ein Spitzenwert ohne zugehörige Latenz sagt wenig über den Dienst aus. |
| Speicherbedarf | Ob Gewichte, Laufzeit und KV-Cache unter der getesteten Last in den verfügbaren Speicher passen. | Kontextlänge und gleichzeitige Anfragen variieren, weil der KV-Cache mit der Last wächst. |
| Qualität und Kosten | Ob die Antworten nach Optimierungen weiterhin genügen und welche Kosten pro erfolgreicher Anfrage entstehen. | Qualitätsprüfungen mit denselben Aufgaben vor und nach Änderungen durchführen; erfolglose oder unbrauchbare Antworten nicht als Nutzen zählen. |
Halten Sie für jeden Lauf Modellversion, Präzision, Backend, Anfrageprofil, Parallelität und Messwerte fest. So lässt sich ein Leistungsunterschied einer konkreten Änderung zuordnen, statt ihn mit einer veränderten Testlast zu verwechseln.
3. Speicherbedarf nach Modell und Anfrageprofil dimensionieren
Der Speicherbedarf eines Inferenzsystems besteht nicht nur aus den Modellgewichten. AWS unterscheidet Gewichte und Aktivierungen, KV-Cache sowie Laufzeit-Overhead. Die Gewichte hängen von Modellgröße und numerischer Präzision ab; der KV-Cache wächst unter anderem mit Kontext- und Ausgabelänge sowie der Zahl gleichzeitig bearbeiteter Anfragen. Bei langen Sequenzen und großen Batches kann er laut AWS mehr Speicher als die Gewichte beanspruchen.
Als Näherung für die Gewichte eines 7B-Modells nennt AWS Prescriptive Guidance rund 14 GB bei FP16/BF16, 7 GB bei FP8 und 3,5 GB bei 4 Bit. Das sind keine Angaben zum vollständigen Speicherbedarf eines Deployments:
Rank #2
- Delivers 25 TFLOPS of AI inference performance using four MemryX MX3 accelerators in a compact M.2 2280 M-key module.
- Connects through PCI Express Gen 3 and above for straightforward integration into embedded and edge systems with an M.2 M-key slot.
- Includes 42 MB of distributed on-chip weight storage to support low-latency, batch-1 pipelined inference.
- Designed for low-power deployment with a 1 W–12 W operating range and host-managed airflow requirements.
- Supports ONNX, TensorFlow, Keras, and TFLite models through the MemryX software stack on Linux and Windows hosts.
| Präzision | Ungefähre Speichermenge für Gewichte eines 7B-Modells | Einordnung |
|---|---|---|
| FP16/BF16 | 14 GB | Näherungswert für Gewichte, AWS Prescriptive Guidance. |
| FP8 | 7 GB | Näherungswert für Gewichte, AWS Prescriptive Guidance. |
| 4 Bit | 3,5 GB | Näherungswert für Gewichte, AWS Prescriptive Guidance. |
Planen Sie zusätzlich Platz für Laufzeit und KV-Cache ein und testen Sie den Speicher bei den längsten relevanten Kontexten und der erwarteten Parallelität. Wenn Gewichte oder Cache auf mehrere GPUs verteilt werden, kann Sharding beziehungsweise Tensor-Parallelismus den Speicherbedarf pro GPU senken. AWS weist zugleich auf Kommunikationsaufwand zwischen GPUs hin, der Latenz und Durchsatz beeinflussen kann. Bewerten Sie die Verteilung deshalb mit dem eigenen Anfrageprofil und nicht allein anhand des verfügbaren Speichers.
4. Modelländerungen gegen Qualität und Effizienz prüfen
Quantisierung
Quantisierung senkt die numerische Präzision und kann dadurch Speicherbedarf und Speicherverkehr reduzieren. Niedrigere Präzision kann jedoch die Modellqualität beeinträchtigen. Kalibrierung und gemischte Präzision können den Effekt begrenzen, sind aber keine Garantie: Prüfen Sie jede Stufe mit den Aufgaben und Qualitätskriterien Ihres Produkts. Die genannten 7B-Werte beziehen sich auf Gewichte, nicht auf den Gesamtbedarf des laufenden Systems.
KV-Cache-Quantisierung ist ein separater Hebel zur Gewichtsquantisierung. Sie kann besonders dann relevant sein, wenn Cache-Speicher bei langen Sequenzen oder großen Batches zum Engpass wird. Prüfen Sie ihren Nutzen getrennt von einer Änderung der Gewichtspräzision, damit Qualitäts- und Speichereffekte nachvollziehbar bleiben.
Do these 3 things before closing this tab:
1Clear out junk files and repair common Windows errors2Scan for outdated or missing drivers - takes under a minute3Repair Windows errors before they cause bigger problemsKompilierung und optimierte Ausführung
Kompilierung und optimierte Ausführungspfade können ebenfalls zur Beschleunigung beitragen. Ob ein solcher Pfad passt, hängt vom konkreten Modell, Backend und Anfrageprofil ab. Nehmen Sie ihn daher als eigenständige Benchmark-Variante auf, statt einen möglichen Vorteil für jeden Stack vorauszusetzen.
Rank #3
- Professional AI & Creator Workstation: AMD Radeon AI PRO R9700 GPU with 32GB GDDR6 is engineered for AI development, professional content creation, and compute-intensive workloads.
- Massive 32GB Memory Capacity: 32GB of GDDR6 memory on a 256-bit bus provides ample bandwidth for large AI models, 8K video editing, and complex 3D rendering.
- Advanced RDNA 4 with AI Accelerators: 64 Compute Units with 3rd Gen Ray Tracing and dedicated 2nd Gen AI Accelerators for groundbreaking AI performance and visual computing.
- Professional Blower Cooling: Efficient single blower design exhausts heat directly out of the chassis, ideal for multi-GPU workstation and server configurations.
- Enterprise-Grade Thermal Solution: Vapor chamber heatsink with industrial Honeywell PTM7950 thermal interface material ensures reliable cooling under sustained professional loads.
5. Prefill und Decode getrennt betrachten
Die Inferenz einer Antwort enthält zwei unterschiedliche Phasen. Beim Prefill wird der Prompt verarbeitet und der KV-Cache aufgebaut; Google Cloud beschreibt diese Phase als rechenintensiv. Beim Decode entsteht die Antwort Token für Token, wobei laut Google Cloud die Speicherbandbreite zum Engpass werden kann. Ein System kann deshalb beim ersten Token gut abschneiden, aber beim fortlaufenden Generieren schwächeln – oder umgekehrt.
Nutzen Sie die Phasentrennung zur Diagnose: Eine ungünstige TTFT bei langen Prompts lenkt die Prüfung auf die Prompt-Verarbeitung; eine niedrige Tokenrate beim Generieren auf Decode-Verhalten und Speicherbandbreite. Beziehen Sie daneben Gesamtdurchsatz und End-to-End-Latenz ein, damit eine Verbesserung einer Phase nicht unbemerkt den Dienst als Ganzes verschlechtert.
6. Serving-Optimierungen passend zum Engpass einsetzen
Die folgenden Techniken adressieren unterschiedliche Probleme und sind keine pauschale Garantie für einen festen Performancegewinn. Testen Sie jede Änderung einzeln oder in klar dokumentierten Kombinationen unter dem vorgesehenen Lastprofil.
The Tool Desk
Outbyte PC Repair FREERepair Windows errors before they cause bigger problemsFix Now →Outbyte Driver Updater FREEFix the driver behind crashes, sound loss and screen glitchesFind Drivers →| Technik | Wofür sie eingesetzt wird | Was im Test sichtbar bleiben muss |
|---|---|---|
| Kontinuierliches Batching | Mehrere Anfragen während des laufenden Betriebs gemeinsam verarbeiten. | Durchsatz und Latenz bei erwarteter Parallelität; auch Queueing und TTFT prüfen. |
| Paged Attention | Eine Serving-Technik für die Verwaltung des Attention- und Cache-Verhaltens. | Speicherbedarf und Latenz mit realistischen Kontextlängen vergleichen. |
| Prefix-Caching | Wiederholte Prefill-Arbeit für gemeinsame lange Präfixe vermeiden. | Nur der Anteil tatsächlich wiederverwendeter Präfixe bildet den passenden Anwendungsfall ab. |
| Kontextbewusstes Routing | Anfragen unter Berücksichtigung vorhandenen Kontexts beziehungsweise Caches weiterleiten. | Cache-Wiederverwendung und Latenz im realen Routing prüfen. |
| Spekulatives Decoding | Eine alternative Technik zur Beschleunigung der Token-Erzeugung. | Tokenrate, End-to-End-Latenz und Qualität im konkreten Modell- und Serving-Setup messen. |
| Intelligentes Routing | Anfragen an geeignete Serving-Ressourcen verteilen. | Verteilung, Latenz und Verhalten unter Last beobachten. |
Google Cloud nennt für Prefix-Caching in dem dort beschriebenen Anwendungskontext eine TTFT-Reduktion von bis zu 85 Prozent. Das ist eine Anbieterangabe für diesen Kontext, kein allgemeiner oder unabhängiger Performancewert. Übertragen Sie sie nicht auf einen Dienst, ohne den Anteil gemeinsamer Präfixe und die eigenen Messergebnisse zu berücksichtigen.
Independent reader supportYour contribution helps us test, update, and keep practical guides available for everyone.7. Verteiltes Serving nur dann ergänzen, wenn es das Problem löst
NVIDIA beschreibt Dynamo als Open-Source-Framework für verteiltes Serving mit Ressourcenplanung, KV-bewusstem Routing, Speicherverwaltung und Datentransfer. Laut NVIDIA unterstützt es Serving-Engines wie SGLang, TensorRT-LLM und vLLM. Die dokumentierten Komponenten umfassen einen SLO Planner, einen KV-aware Router, die NIXL-Transferbibliothek, einen KV Block Manager, Grove für Kubernetes-Workloads und AI Perf für Benchmarks.
Das sind Herstellerangaben zu Produktmerkmalen, keine unabhängige Bewertung und keine Garantie, dass Dynamo für einen bestimmten Stack die beste Wahl ist. Prüfen Sie ein zusätzliches Framework daran, ob es einen belegten Engpass oder Betriebsbedarf adressiert, und messen Sie die Integration mit Ihrem bestehenden Backend, Anfrageprofil und SLO.
8. Interaktive Inferenz von asynchroner Arbeit trennen
Nicht jede Aufgabe braucht eine synchrone Antwort. Für Verarbeitung großer Volumen mit einer längeren Bearbeitungsfrist kann ein asynchroner Batch-Ansatz besser zur Aufgabe passen als ein interaktiver Dienst. Google dokumentiert die Gemini Batch API für solche Workloads, darunter umfangreiche Datenverarbeitung, Regressionstests und Generierung. Die am 1. September 2026 aktualisierte Dokumentation nennt einen Preis von 50 Prozent des Standardpreises pro Token und eine Zielbearbeitungszeit von 24 Stunden. Preis, Verfügbarkeit und Bedingungen können sich ändern; prüfen Sie die aktuelle Dokumentation vor einer Entscheidung.
Recommended Free Tools
Google beschreibt außerdem explizites Context Caching mit einer TTL für wiederverwendeten Kontext. Bei der Abwägung zählen daher nicht nur die Kosten pro verarbeiteten Token, sondern auch Bearbeitungsfrist, Wiederholungsbedarf, Cache-Lebensdauer und Preis des gespeicherten Kontexts. Für sofortige Interaktion und aufschiebbare Massenverarbeitung können unterschiedliche Pfade sinnvoll sein; vergleichen Sie sie anhand ihrer jeweiligen Ziele.
Best Value
- Memory Size: 16 GB GDDR6 ECC.
- Memory Bus Width: 128-bit.
- Memory Bandwidth: 200 GB/s.
- CUDA Cores: 1280.
- Peak Single Precision floating point performance: 18 Tflops (GPU Boost Clocks).
9. Energieeffizienz als Eigenschaft des gesamten Stacks bewerten
GPU-Stunden allein ergeben keine vollständige Effizienzbilanz. NVIDIA empfiehlt, Modellgröße, Präzision, Batching, Caching, Serving-Software, Auslastung und Rechenzentrumsbetrieb einschließlich Kühlung zusammen zu betrachten. Das Unternehmen beschreibt Max-Q als Profil für ein ausgewogenes Verhältnis von Leistung und Strombedarf und Max-P als Profil für maximale Leistung. Diese Einordnung stammt vom Anbieter und ist keine unabhängige Vergleichsstudie.
Für den Produktionsbetrieb ist entscheidend, wie viel Energie eine qualitativ ausreichende, erfolgreich abgeschlossene Anfrage unter der tatsächlichen Last benötigt. Betrachten Sie deshalb Auslastung, Durchsatz und Qualität gemeinsam: Eine Änderung, die den Energiebedarf pro Anfrage nur unter Lastspitzen senkt, aber die Qualität oder Latenz außerhalb dieser Bedingungen verschlechtert, ist nicht automatisch ein Gewinn.
10. Änderungen kontrolliert in den Betrieb überführen
Behandeln Sie Optimierung als wiederholbaren Vergleich gegen den Ausgangswert, nicht als einmalige Hardwareentscheidung:
- Profilieren: Erfassen Sie Modell, Präzision, Eingabe- und Ausgabelängen, Parallelität, Spitzenlast und vereinbarte SLOs.
- Referenz messen: Führen Sie den repräsentativen Testsatz mit dem aktuellen Serving-Backend aus und protokollieren Sie TTFT, Tokenrate, End-to-End-Latenz, Durchsatz, Speicherbedarf, Qualität und Kosten.
- Engpass bestimmen: Unterscheiden Sie Prompt-Verarbeitung, Decode, KV-Cache, Warteschlange und Auslastung, statt allein die GPU-Auslastung als Diagnose zu verwenden.
- Eine passende Änderung testen: Variieren Sie etwa Präzision, Batching, Caching, Routing oder Ausführungspfad so, dass ihr Effekt erkennbar bleibt.
- Gegen alle Ziele prüfen: Vergleichen Sie die neue Variante unter denselben Anfrageformen und Lastbedingungen mit dem Ausgangswert. Verwerfen Sie Änderungen, die einen Zielwert verbessern, aber Qualität oder ein anderes vereinbartes SLO verletzen.
- Schrittweise ausrollen: Beobachten Sie im Betrieb dieselben Kennzahlen, die im Benchmark wichtig waren, und skalieren oder rollen Sie zurück, wenn reales Lastverhalten davon abweicht.
So entsteht die Infrastrukturentscheidung aus gemessener Nachfrage: zuerst das Anfrageprofil, dann die passenden Modell- und Serving-Änderungen und schließlich die dafür nötige Kapazität.
Quick Recap
Product prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on Amazon at the time of purchase will apply.
