Mehr aus vorhandenen GPUs.
Viele Modelle laufen mit Standardeinstellungen. Die Empfehlungen der Hersteller gelten für jede Hardware gleich, und für die Abstimmung im Detail fehlt im Betrieb meist die Zeit. Wir stimmen Ihre laufenden Modelle genau auf Ihre GPUs ab und belegen das Ergebnis mit Rohdaten.
Warum volle GPUs selten ausgereizt sind.
Die ersten KI-Anwendungen laufen, und sie werden genutzt. Mehr Nutzer, mehr Modelle, längere Anfragen. Irgendwann sind die GPUs ausgelastet, Anfragen warten, und die Antwortzeiten steigen.
Die naheliegende Antwort ist neue Hardware. Die ist teuer, hat lange Lieferzeiten und braucht noch mehr Strom und Kühlung. Und sie löst nicht, was eigentlich bremst.
Ob Serving-Engine, Quantisierung, Cache und Batching zu Ihren GPUs, Ihrem Modell und Ihrer Last passen, prüft im Alltag kaum jemand im Detail. Wie groß der Abstand bei Ihnen ist, zeigt erst eine Messung.
So läuft die Optimierung ab.
Schritt 1
Messen
Durchsatz, Antwortzeit, Qualität und Energie im Ist-Zustand erfassen. Dieser Ausgangswert wird gesichert.
Schritt 2
Optimieren
Serving-Engine, Quantisierung, KV-Cache, Batching und Scheduling, abgestimmt auf Ihre Modelle, Ihre GPUs und Ihre Lastprofile.
Schritt 3
Nachweisen
Vorher-nachher-Messung mit Rohdaten. Fällt die Qualität unter die vereinbarte Grenze, gilt der Schritt als nicht bestanden.
Schritt 4
Betreiben
Monitoring, Regressionstests nach jedem Update und Nachmessungen in vereinbarten Abständen.
Was wir messen und was Sie erhalten.
Wir ändern nur, was wir vorher gemessen haben, und legen Ihnen die Rohdaten offen.
Reale Lastmessung
Wir messen mit Ihren Modellen und Lastprofilen auf Ihren GPUs, nicht mit Laborwerten.
- Durchsatz bei vereinbarter Latenzgrenze
- Zeit bis zum ersten Token, als Median und P95
- Antwortqualität im gepaarten Vorher-nachher-Vergleich
- Ausgangskonfiguration gesichert, bis Sie das Ergebnis abnehmen
Nachweis: Messprotokoll mit Rohdaten
Energie und Ressourcen
Sie sehen, wie viel Strom, GPU-Zeit und Speicher Ihre Modelle je Anfrage brauchen.
- Energie je Million Token, gemessen an der Stromzufuhr der Server
- Auslastung, Leerlauf und Teillast je GPU
- Messunsicherheit ausgewiesen
Nachweis: Energieprotokoll
Offene Architektur
Wir arbeiten mit offenen Werkzeugen und mit der Hardware, die bei Ihnen steht. Modell, Engine und Hersteller wählen weiter Sie.
- Offene Modelle und Serving-Engines wie vLLM
- Konfiguration vollständig dokumentiert und übergeben
- Kein Wechsel von Hersteller oder Plattform nötig
Nachweis: Konfigurationsregister
Unabhängig von Hersteller und Modell.
Offene Modelle
Llama, Mistral, Mixtral, Qwen, DeepSeek, Gemma, gpt-oss, Phi, Granite, GLM, Kimi, Teuken
Serving-Engines
vLLM, SGLang, TensorRT-LLM, NVIDIA Dynamo, llm-d, llama.cpp, Ollama
GPUs und Beschleuniger
NVIDIA A100, H100, H200, B200, L40S, RTX PRO 6000; AMD Instinct MI300X, MI325X, MI355X
Stellschrauben
Quantisierung FP8 und INT4, KV-Cache, Prefix-Cache, Continuous Batching, Speculative Decoding, Tensor-Parallelität, Scheduling
Die Liste zeigt Beispiele. Welche Kombination bei Ihnen am meisten bringt, zeigt die Messung auf Ihrer Hardware. Alle genannten Namen sind Marken ihrer jeweiligen Inhaber.
Typische Aufgaben im Beispiel.
Typische Abläufe aus Rechenzentren und bei GPU-Betreibern. Es sind Beispiele, keine Kundenprojekte.
Engpass bei der GPU-Kapazität
Die GPUs sind ausgelastet, neue Hardware kommt erst in Monaten. Wir messen und optimieren den Betrieb auf den vorhandenen GPUs und belegen das Ergebnis mit Rohdaten.
Energie je Token belegen
Der Gesamtverbrauch ist bekannt, die Energie je Token nicht. Wir messen an der Stromzufuhr, stimmen Takt und Auslastung ab und belegen den Effekt für Revision und Energiebericht.
Mehr Anfragen bei gleicher Antwortzeit
Zu Spitzenzeiten werden die Antwortzeiten zu lang, obwohl die GPUs im Mittel nicht voll sind. Wir messen die Ausbringung je Kunde und stimmen Batching, Cache und Scheduling darauf ab.
Häufige Fragen
Was bringt die Rechenzentrums-Optimierung konkret?
Das messen wir auf Ihrer Hardware, bevor wir etwas versprechen. Zielgröße und Qualitätsgrenze vereinbaren wir vorab, der Prüfbericht zeigt vorher und nachher. Pauschale Prozentzahlen nennen wir bewusst nicht, weil der Unterschied stark von Modell, Hardware und Lastprofil abhängt.
Wie wird die Qualität gesichert?
Wir prüfen die Qualität vorher und nachher im gepaarten Vergleich. Liegt sie unter der vereinbarten Grenze, gilt der Schritt als nicht bestanden und wird zurückgenommen.
Wie starten wir?
Mit einem Assessment auf Ihrer Hardware. Dauer, Zielgröße und Qualitätsgrenze vereinbaren wir vorher. Zuerst messen wir den Ist-Zustand unter realistischer Last und sichern diese Ausgangskonfiguration.
Sebastian Kießling
Er kommt selbst aus der technischen Entwicklung und sagt Ihnen ehrlich, was sich bei Ihnen lohnt.