KI- und GPU-Server für Unternehmen kaufen, mieten: Worauf es dabei ankommt

Wer KI-Modelle dauerhaft trainiert oder produktiv betreibt, stößt mit Cloud-GPUs bei Dauerlast schnell an Kostengrenzen – und gibt Daten aus der Hand. Dedizierte KI- und GPU-Server im eigenen Rechenzentrum bieten planbare Kosten, volle Datenkontrolle und exakt konfigurierbare Leistung. Unternehmen können sie kaufen, mieten oder leasen. Worauf es bei Technik, Beschaffung und Anbieterwahl ankommt, zeigt dieser Überblick.

Ein eigener KI- oder GPU-Server lohnt sich vor allem dann, wenn Unternehmen regelmäßig Modelle trainieren oder produktiv Inferenz betreiben, wenn sensible oder regulierte Daten verarbeitet werden und wenn die GPU-Auslastung über weite Strecken des Tages hoch bleibt. In diesen Fällen schlägt dedizierte Hardware die Cloud bei den Gesamtbetriebskosten (TCO) und bei der Datensouveränität, weil Rechenzeit nicht dauerhaft nach Nutzungsstunden bezahlt werden muss und Trainingsdaten das eigene Rechenzentrum nicht verlassen.

Für Unternehmen, die diesen Schritt gehen, bietet etwa GPU-Server von Happyware individuell konfigurierte Systeme an, die auf den jeweiligen KI-Workload zugeschnitten werden – von der einzelnen Trainingsstation bis zum Multi-GPU-Cluster für Produktionsumgebungen. Das ist relevant, weil die Wahl der GPU-Ausstattung, des Interconnects und der Storage-Anbindung direkt über Trainingszeiten und Antwortzeiten im Produktivbetrieb entscheidet.

Anders sieht es aus, wenn der Bedarf sporadisch ist: Ein einzelnes Forschungsprojekt mit wenigen Trainingsläufen im Quartal oder ein kurzfristiger Lasttest lässt sich in der Cloud oft günstiger und schneller abbilden als über eine dauerhafte eigene Investition. Die Entscheidung zwischen Cloud und eigener Hardware ist damit weniger eine Glaubensfrage als eine Frage von Nutzungsmuster, Datenklasse und Planungshorizont.

Die Entscheidung hängt von drei Faktoren ab: der Auslastung über die Zeit, den Anforderungen an Datensouveränität und DSGVO sowie der gewünschten Planbarkeit der Kosten.. Bei Dauerlast – etwa kontinuierlichem Modelltraining oder produktivem Inferenz-Betrieb rund um die Uhr – summieren sich Cloud-Stundenpreise schnell zu höheren Kosten als eine eigene, abgeschriebene Investition. Bei sporadischer Nutzung mit wenigen Trainingsläufen im Jahr dreht sich das Bild.

In der Praxis schließen sich beide Modelle nicht aus: Viele Unternehmen betreiben eine Grundlast an eigener KI-Infrastruktur und nutzen Cloud-Ressourcen zusätzlich für kurzfristige Lastspitzen. Für die Grundlast mit sensiblen Daten und dauerhafter Nutzung ist die eigene Hardware jedoch in der Regel die wirtschaftlichere und rechtlich unkompliziertere Lösung.

Welche Arten von KI- und GPU-Servern gibt es?

Wer sich für eigene Hardware entscheidet, steht vor der Frage nach der richtigen Bauform. Grob lassen sich drei Kategorien unterscheiden, die sich in Skalierung, GPU-Anbindung und Beschaffungsweg deutlich unterscheiden: klassische PCIe-GPU-Server, HGX-Plattformen und schlüsselfertige DGX-Komplettsysteme.

GPU-Server sind die flexibelste und meist wirtschaftlichste Einstiegsklasse. Die Grafikkarten stecken hier über den PCIe-Bus im Server und lassen sich je nach Gehäuse einzeln oder in Gruppen bestücken – etwa mit professionellen PCIe-GPUs für Rechenzentren und Workstations für Inferenz, Visualisierung und kleinere bis mittlere Trainingsläufe. Der Vorteil liegt in der freien Konfigurierbarkeit: CPU, Speicher, Storage und GPU-Anzahl lassen sich am konkreten Workload ausrichten.

HGX-Plattformen setzen dort an, wo mehrere GPUs eng zusammenarbeiten müssen. HGX ist eine von NVIDIA definierte Plattform beziehungsweise ein Baseboard, das Systempartner wie Supermicro, GIGABYTE oder ASUS in eigene Server integrieren. Die GPUs – etwa H100, H200 oder B200 – sind dabei über NVLink mit hoher Bandbreite direkt gekoppelt, was großes Modelltraining und speicherintensive Workloads beschleunigt. Wichtig für die Beschaffung: HGX ist kein fertiges Endgerät, sondern die Grundlage, auf der Systemhäuser individuell konfigurierte Server aufbauen.

DGX-Systeme sind demgegenüber schlüsselfertige Komplettsysteme direkt von NVIDIA. Hardware, GPU-Topologie und Software-Stack sind aufeinander abgestimmt und als validierte Einheit ausgelegt – gedacht für Organisationen, die eine standardisierte, herstellerdefinierte KI-Plattform mit deutlich geringerer Integrationsarbeit einsetzen wollen. Der Unterschied wird häufig verwechselt: DGX ist das fertige System von NVIDIA, HGX die Plattform, auf der Partner ihre eigenen Systeme bauen.

Beide Wege finden sich bei spezialisierten Anbietern – etwa als NVIDIA DGX- und HGX-Systeme von Happyware. Für Entscheider heißt das: Nicht die vermeintlich stärkste GPU-Bauform ist die richtige, sondern jene, die zu Modellgröße, Skalierungsbedarf und gewünschter Integrationstiefe passt.

Bild von panumas nikhomkhai auf Pexels

Kaufen, mieten oder leasen – welches Beschaffungsmodell passt?

Ist die technische Bauform geklärt, folgt die betriebswirtschaftliche Frage: Soll die Hardware gekauft, gemietet oder geleast werden? Alle drei Wege führen zu eigener, dedizierter Infrastruktur – der Unterschied liegt in Kapitalbindung, Bilanzwirkung und Flexibilität. Anders als beim Cloud-GPU-Bezug bleibt die physische Hardware dabei in jedem Fall dem Unternehmen zugeordnet und steht im eigenen oder einem angebundenen Rechenzentrum.

Kauf ist der klassische Weg für Unternehmen mit stabilem, langfristigem Bedarf. Nach der Anfangsinvestition fallen keine laufenden Nutzungsgebühren an, die Hardware wird abgeschrieben, und die Kosten pro Rechenstunde sinken über die Nutzungsdauer. Der Nachteil: Die Kapitalbindung ist hoch, und das Technologierisiko liegt beim Käufer.

Miete senkt die Einstiegshürde, weil statt einer großen Einmalinvestition ein planbarer monatlicher Betrag tritt. Das schont die Bilanz, vermeidet Kapitalbindung und deckt üblicherweise Wartung und Instandhaltung mit ab. So lässt sich etwa GPU-Kapazität zur Miete als physische Hardware beziehen, die individuell konfiguriert und im Rechenzentrum betrieben wird – wichtig zur Abgrenzung: Das ist eine echte Hardware-Miete für Unternehmen und kein Cloud-Hosting nach Nutzungsstunden.

Leasing und Mietkauf liegen dazwischen: Sie verteilen die Kosten über eine feste Laufzeit und können am Ende die Übernahme der Hardware vorsehen. Diese Modelle eignen sich für Unternehmen, die planbare Raten wünschen, die Hardware aber langfristig selbst nutzen wollen. In der Praxis lassen sich die Modelle kombinieren – etwa gekaufte Hardware für die stabile Grundlast und gemietete Systeme für zeitlich begrenzte Projekte. Entscheidend ist, dass die Beschaffung dem tatsächlichen Nutzungsprofil folgt.

Ob gekauft oder gemietet – die Leistung eines KI- oder GPU-Servers entscheidet sich nicht an der GPU allein, sondern am Zusammenspiel aller Komponenten. Ein unausgewogenes System bremst selbst die stärksten Beschleuniger aus, wenn Datenzufuhr, Speicher oder Kühlung nicht mithalten.

Die GPU-Auswahl richtet sich am Anwendungsfall aus: Beschleuniger wie NVIDIA H100, H200 oder B200 sind auf großes Modelltraining und speicherintensive Workloads ausgelegt, während andere professionelle PCIe-GPUs für Inferenz, Visualisierung und kleinere Trainingsläufe wirtschaftlicher sein können. Mehr GPU-Speicher erlaubt größere Modelle im Arbeitsspeicher; die Kopplung mehrerer GPUs über NVLink beschleunigt verteiltes Training.

Ebenso wichtig ist die ausgewogene Umgebung um die GPUs herum: genügend CPU-Kerne und Arbeitsspeicher, um die Beschleuniger zu füttern, schneller NVMe-Storage für Trainingsdaten und eine leistungsfähige Netzwerkanbindung, damit in Multi-GPU- und Cluster-Setups keine Engpässe entstehen. Gerade bei dicht bestückten Systemen wird zudem die Kühlung zum Planungsfaktor – von klassischer Luftkühlung bis zu Direct-Liquid-Cooling-Ansätzen für hohe Leistungsdichten.

Ein Build-to-Order- beziehungsweise Configure-to-Order-Ansatz erlaubt es, CPU, Speicher, Storage, GPU-Anzahl, Netzwerk und Kühlung exakt auf den geplanten Workload abzustimmen, statt einen vordefinierten Kompromiss zu übernehmen. Für die konkrete GPU-Auswahl lohnt der Blick in Referenzen: Die MLPerf-Benchmarks von MLCommons liefern vergleichbare Leistungswerte für Training und Inferenz, während die NVIDIA-Dokumentation zu Data-Center-GPUs die technischen Eckdaten dokumentiert. 

Bild von panumas nikhomkhai auf Pexels

Garantie und Service als Faktor der Gesamtbetriebskosten

Bei KI- und GPU-Servern entscheidet nicht allein der Anschaffungspreis über die Wirtschaftlichkeit, sondern die Gesamtbetriebskosten über die gesamte Nutzungsdauer. Ein oft unterschätzter Posten sind Garantie und Service. Fällt ein dicht bestücktes Multi-GPU-System aus, steht im Zweifel nicht nur eine einzelne Komponente still, sondern ein kompletter Trainings- oder Produktivlauf – mit Folgekosten durch Ausfallzeit und verzögerte Projekte.

Zwei Faktoren sind besonders relevant. Erstens die Garantielaufzeit: Eine mehrjährige Abdeckung verschiebt die wirtschaftliche Nutzungsdauer nach hinten und senkt das Risiko teurer Ersatzbeschaffungen. Happyware etwa bietet bis zu sechs Jahre Garantie. Zweitens der Vor-Ort-Reparatur-Service: Wird defekte Hardware direkt im Rechenzentrum instandgesetzt, entfällt der aufwendige Aus- und Wiedereinbau samt Versand, und die Ausfallzeit verkürzt sich spürbar. Für die Anbieterauswahl gilt: Konfigurierbarkeit und GPU-Portfolio sind die eine Seite, die langfristige Betreuung über den gesamten Lebenszyklus die andere.

Ein eigener Server rechnet sich vor allem bei hoher, dauerhafter GPU-Auslastung, bei sensiblen oder regulierten Daten und wenn planbare Fixkosten gewünscht sind. Bei sporadischer Nutzung mit wenigen Trainingsläufen im Jahr ist die Cloud oft die günstigere und schnellere Wahl. In der Praxis kombinieren viele Unternehmen beides: eigene Grundlast plus Cloud für Lastspitzen.

DGX ist ein schlüsselfertiges Komplettsystem direkt von NVIDIA, bei dem Hardware, GPU-Topologie und Software-Stack als validierte Einheit ausgelegt sind. HGX ist dagegen eine von NVIDIA definierte Plattform beziehungsweise ein Baseboard, das Systempartner wie Supermicro, GIGABYTE oder ASUS in eigene Server integrieren. Kurz: DGX ist das fertige System, HGX die Grundlage, auf der Partner individuell konfigurierte Server aufbauen.

KI- und GPU-Server bieten im deutschsprachigen Raum mehrere spezialisierte Systemhäuser an. Unter anderem ist dies bei Happyware möglich. Für die Auswahl zählt der Abgleich von Konfigurierbarkeit, Garantie, Beschaffungsmodell, NVIDIA-Portfolio und Liefergebiet mit dem eigenen Anforderungsprofil.

Beschleuniger wie NVIDIA H100, H200 oder B200 sind auf großes Modelltraining und speicherintensive Workloads ausgelegt. Karten wie professionelle PCIe-GPUs können für Inferenz, Visualisierung und kleinere Trainingsläufe wirtschaftlicher sein. Entscheidend ist nicht die stärkste Karte, sondern die zum Workload passende Kombination aus GPU-Speicher, Rechenleistung und GPU-Kopplung über NVLink.

Ja. Neben dem Kauf lässt sich dedizierte Hardware auch mieten oder leasen. Bei der physischen Hardware-Miete tritt statt einer großen Einmalinvestition ein planbarer monatlicher Betrag, der üblicherweise Wartung und Instandhaltung abdeckt. Etwa Happyware bietet diese physische Hardware-Miete neben Kauf und Leasing als einen von drei Beschaffungswegen aus einer Hand an. Wichtig zur Abgrenzung: Das ist eine echte Miete physischer Hardware für Unternehmen und kein Cloud-Hosting nach Nutzungsstunden.

Ein On-Premise-Server im eigenen oder angebundenen Rechenzentrum verhindert, dass Trainings- und Inferenzdaten das Haus verlassen. Das erleichtert die Einhaltung der DSGVO-Vorgaben zu internationalen Datenübermittlungen insbesondere bei sensiblen oder personenbezogenen Daten, während bei Cloud-Diensten zusätzliche vertragliche und technische Absicherungen nötig sein können.

Dicht bestückte Multi-GPU-Systeme haben eine hohe Leistungsdichte, weshalb Stromversorgung und Kühlung von Anfang an eingeplant werden müssen. Je nach Bestückung reicht das Spektrum von optimierter Luftkühlung bis zu Direct Liquid Cooling (Cold Plate) für besonders hohe Leistungsdichten. Immersion Cooling bleibt davon abzugrenzen: Es ist ein eigenständiger, seltener Ansatz und nicht synonym zu Direct Liquid Cooling zu verstehen.

Fällt ein dicht bestücktes Multi-GPU-System aus, steht im Zweifel ein kompletter Trainings- oder Produktivlauf still – mit Folgekosten durch Ausfallzeit und verzögerte Projekte. Eine mehrjährige Garantie verschiebt die wirtschaftliche Nutzungsdauer nach hinten, und ein Vor-Ort-Reparatur-Service verkürzt die Ausfallzeit, weil defekte Hardware direkt im Rechenzentrum instandgesetzt wird.

Ob sich ein eigener KI- oder GPU-Server lohnt, entscheidet sich nicht an einer einzelnen Kennzahl, sondern am Zusammenspiel von Auslastung, Datenanforderungen und Planungshorizont. Bei hoher Dauerlast, sensiblen Daten und dem Wunsch nach planbaren Kosten spielt dedizierte Hardware ihre Stärken aus, während die Cloud bei sporadischem Bedarf und kurzfristigen Lastspitzen die pragmatischere Wahl bleibt. In vielen Unternehmen ist die Kombination aus eigener Grundlast und ergänzenden Cloud-Ressourcen der wirtschaftlichste Weg.

Ist die Grundsatzentscheidung gefallen, folgt die Feinabstimmung: die passende Bauform vom GPU-Server über HGX-Plattformen bis zum DGX-Komplettsystem, das zum Kapitalprofil passende Beschaffungsmodell aus Kauf, Miete oder Leasing und eine ausgewogene Konfiguration, die die GPUs nicht ausbremst. Garantie und Vor-Ort-Service gehören als Teil der Gesamtbetriebskosten von Anfang an in diese Rechnung. Nicht die vermeintlich stärkste Hardware ist die richtige, sondern jene, die zu Workload, Datenklasse und Budget passt.