Rechenzentrums-Optimierung · Modelle passend zur Hardware
Mehr aus vorhandenen GPUs.
Viele Modelle laufen mit Standardeinstellungen. Die Empfehlungen der Hersteller gelten für jede Hardware gleich, und für die Abstimmung im Detail fehlt im Betrieb meist die Zeit. Wir stimmen Ihre laufenden Modelle genau auf Ihre GPUs ab und belegen das Ergebnis mit Rohdaten. Hardware verkaufen wir nicht.
- Antworten je GPU
- Wartende Anfragen
- Energie je Antwort
Standardeinstellung: Die GPUs sind ungleich ausgelastet, Anfragen stauen sich, und jede Antwort kostet viel Energie.
Beispielansicht zur Veranschaulichung, schematisch. Keine Messwerte und keine Zusage für Ihre Hardware.
Warum volle GPUs selten ausgereizt sind.
Die ersten KI-Anwendungen laufen, und sie werden genutzt. Mehr Nutzer, mehr Modelle, längere Anfragen. Irgendwann sind die GPUs ausgelastet, Anfragen warten, und die Antwortzeiten steigen.
Die naheliegende Antwort ist neue Hardware. Die ist teuer, hat lange Lieferzeiten und braucht noch mehr Strom und Kühlung. Und sie löst nicht, was eigentlich bremst.
Denn im Betrieb bleibt viel Leistung ungenutzt. Die Modelle laufen meist mit Standardeinstellungen, und die Empfehlungen der Hersteller gelten für jede Hardware gleich. Ob Serving-Engine, Quantisierung, Cache und Batching zu Ihren GPUs, Ihrem Modell und Ihrer Last passen, prüft im Alltag kaum jemand im Detail. Wie groß der Abstand bei Ihnen ist, zeigt erst eine Messung.
Genau hier setzen wir an. Wir messen auf Ihren GPUs, stimmen jedes laufende Modell im Detail auf genau diese Hardware ab und belegen das Ergebnis mit Rohdaten. Danach entscheiden Sie über neue Hardware auf Grundlage von Zahlen.
Trifft das auf Ihr Rechenzentrum zu?
Klicken Sie an, was auf Ihr Rechenzentrum zutrifft. Rechts sehen Sie, ob sich ein genauer Blick lohnt.
Finden Sie bessere Einstellungen als den Standard.
Sie haben drei Stellschrauben mit je fünf Stufen. Das Ziel sind mehr Antworten je GPU, ohne dass Antwortzeit oder Qualität leiden. Finden Sie die beste Kombination, oder sehen Sie, was unsere Optimierung daraus macht.
Rechengenauigkeit
Weniger Genauigkeit spart Speicher und Zeit, kann aber Qualität kosten.
Zwischenspeicher
Wie viel GPU-Speicher für wiederkehrende Textteile reserviert ist.
Batchgröße
Wie viele Anfragen eine GPU gleichzeitig rechnet.
ErgebnisBeispielansicht, schematisch
Das ist die Standardeinstellung. Drehen Sie an einer Stellschraube.
Hinweis: Dieses Spiel dient nur der Veranschaulichung. Alle Werte sind schematisch und frei gewählt. Sie sind keine Messergebnisse, keine Prognose und keine Zusage für Ihre Hardware oder Ihre Modelle. Welche Verbesserung bei Ihnen möglich ist, zeigt erst eine Messung auf Ihrer Hardware.
Was die Optimierung umfasst.
Statt Standardwerten bekommt jedes Modell die Einstellungen, die zu Ihrer Hardware und Ihrer Last passen. Wir arbeiten mit offenen Werkzeugen. Jede Änderung wird vorher und nachher gemessen, und die Ausgangskonfiguration bleibt gesichert, bis Sie das Ergebnis abnehmen.
- Messung auf Ihrer Hardware, Zielwert vorab vereinbart
- Qualität wird vorher und nachher geprüft
- Mit offenen Werkzeugen wie vLLM
- Rollback auf die Ausgangskonfiguration
Unabhängig von Hersteller und Modell.
Wir arbeiten herstellerneutral mit den Modellen, Engines und Beschleunigern, die bei Ihnen laufen. Zum Beispiel mit diesen:
Offene Modelle
Llama
Mistral
Mixtral
Qwen
DeepSeek
Gemma
gpt-oss
Phi
Granite
GLM
Kimi
Teuken
…
Serving-Engines
vLLM
SGLang
TensorRT-LLM
NVIDIA Dynamo
llm-d
llama.cpp
Ollama
…
GPUs und Beschleuniger
NVIDIA A100
NVIDIA H100
NVIDIA H200
NVIDIA B200
NVIDIA L40S
NVIDIA RTX PRO 6000
AMD Instinct MI300X
AMD Instinct MI325X
AMD Instinct MI355X
…
Stellschrauben
Quantisierung FP8 und INT4
KV-Cache
Prefix-Cache
Continuous Batching
Speculative Decoding
Tensor-Parallelität
Scheduling
…
Die Liste zeigt Beispiele. Welche Kombination bei Ihnen am meisten bringt, zeigt die Messung auf Ihrer Hardware. Alle genannten Namen sind Marken ihrer jeweiligen Inhaber.
So läuft die Optimierung ab.
01
Messen
Durchsatz, Antwortzeit, Qualität und Energie im Ist-Zustand erfassen. Dieser Ausgangswert wird gesichert.
02
Optimieren
Serving-Engine, Quantisierung, KV-Cache, Batching und Scheduling, abgestimmt auf Ihre Modelle, Ihre GPUs und Ihre Lastprofile.
03
Nachweisen
Vorher-nachher-Messung mit Rohdaten. Fällt die Qualität unter die vereinbarte Grenze, gilt der Schritt als nicht bestanden.
04
Betreiben
Monitoring, Regressionstests nach jedem Update und Nachmessungen in vereinbarten Abständen.
Was wir messen
- Durchsatz in Token pro Sekunde bei vereinbarter Latenzgrenze
- Zeit bis zum ersten Token und Abstand zwischen den Token, als Median und P95
- Energie je Million erzeugter Token, gemessen an der Stromzufuhr der Server
- Antwortqualität im gepaarten Vorher-nachher-Vergleich
Was Sie erhalten
- Messung auf Ihrer Hardware mit vorab vereinbarter Zielgröße
- Rollback auf die Ausgangskonfiguration, im Pilotprojekt getestet
- Rohdaten und Konfigurationsdateien erhalten Sie vollständig
Einstieg: Assessment auf Ihrer Hardware
Typische Aufgaben im Beispiel.
Typische Abläufe aus Rechenzentren und bei GPU-Betreibern, jeweils mit Ausgangslage, Vorgehen und Ergebnis. Es sind Beispiele, keine Kundenprojekte.
-
Engpass bei der GPU-Kapazität
Beispiel lesen: Engpass bei der GPU-KapazitätDie GPUs sind ausgelastet, neue Hardware kommt erst in Monaten. Wir messen und optimieren den Betrieb auf den vorhandenen GPUs und belegen das Ergebnis mit Rohdaten.
-
Energie je Token belegen
Beispiel lesen: Energie je Token belegenDer Gesamtverbrauch ist bekannt, die Energie je Token nicht. Wir messen an der Stromzufuhr, stimmen Takt und Auslastung ab und belegen den Effekt für Revision und Energiebericht.
-
Mehr Anfragen bei gleicher Antwortzeit
Beispiel lesen: Mehr Anfragen bei gleicher AntwortzeitZu Spitzenzeiten werden die Antwortzeiten zu lang, obwohl die GPUs im Mittel nicht voll sind. Wir messen die Ausbringung je Kunde und stimmen Batching, Cache und Scheduling darauf ab.
Häufige Fragen
Was bringt die Rechenzentrums-Optimierung konkret?
Das messen wir auf Ihrer Hardware, bevor wir etwas versprechen. Zielgröße und Qualitätsgrenze vereinbaren wir vorab, der Prüfbericht zeigt vorher und nachher. Typische Zielgrößen sind mehr Anfragen je GPU, kürzere Antwortzeiten unter Last oder weniger Energie je Antwort. Pauschale Prozentzahlen nennen wir bewusst nicht, weil der Unterschied stark von Modell, Hardware und Lastprofil abhängt.
Verkaufen Sie dafür Hardware?
Nein. Wir arbeiten mit der Hardware, die Sie haben, und mit offenen Werkzeugen wie vLLM. Weil wir keine Hardware verkaufen, haben wir kein Interesse daran, Ihnen neue zu empfehlen. Zeigt die Messung, dass zusätzliche Hardware sinnvoll ist, belegen wir das mit Zahlen, und Sie entscheiden, bei wem Sie kaufen.
Wie wird die Qualität gesichert?
Wir prüfen die Qualität vorher und nachher im gepaarten Vergleich. Dabei laufen dieselben Prüffragen unter denselben Bedingungen, einmal mit der alten und einmal mit der neuen Einstellung. Liegt sie unter der vereinbarten Grenze, gilt der Schritt als nicht bestanden und wird zurückgenommen. Die Prüffragen stimmen wir mit Ihnen ab, damit sie zu Ihrem Einsatz passen.
Wie starten wir?
Mit einem Assessment auf Ihrer Hardware. Dauer, Zielgröße und Qualitätsgrenze vereinbaren wir vorher. Zuerst messen wir den Ist-Zustand unter realistischer Last und sichern diese Ausgangskonfiguration. Im Bericht sehen Sie dann, wo Potenzial liegt, und entscheiden, ob wir die Optimierung umsetzen.
Ihr Ansprechpartner
Sebastian Kießling
Geschäftsführer
Er kommt selbst aus der technischen Entwicklung und sagt Ihnen ehrlich, was sich bei Ihnen lohnt.
Telefon: +49 30 34655640 · E-Mail: kontakt@
Worum geht es bei Ihnen?
Schildern Sie kurz die Aufgabe und welche Unterlagen oder welche Hardware es dazu gibt. Wir sagen Ihnen, ob sich eine digitale Fachassistenz oder eine Optimierung lohnt.