News
ZurückNeue GPUs – doppeltes VRAM, mehr Power
Die GPU-Server von cloudscale stemmen deine KI-Workloads. In Ergänzung zu den dedizierten CPU-Cores sorgen 1 bis 4 GPUs pro virtuellem Server für die nötige Leistung, um auch anspruchsvolle Anwendungen zu betreiben. Nun zünden wir die nächste Stufe: Ab sofort bieten wir dir statt der L40S die NVIDIA RTX PRO 6000 Max-Q GPUs an. Aber wir belassen es nicht einfach bei stärkeren GPUs: Die neuen "GPU2" Flavors bringen auch mehr Memory mit – und sind dabei sogar günstiger.
Die nächste Generation
Die NVIDIA L40S in unseren bisherigen GPU-Servern brachte 48 GB VRAM mit, und bis zu vier der GPUs liessen sich in einem virtuellen Server parallel nutzen. Die neue NVIDIA RTX PRO 6000 Max-Q trumpft gleich mit dem Doppelten auf: 96 GB VRAM pro GPU, und auch hier kannst du in einem einzelnen Server die Power von bis zu vier GPUs anzapfen. Die physischen GPUs werden dir dabei ungeteilt in den virtuellen Server durchgereicht, so dass dir die volle Leistung dediziert zur Verfügung steht.
Apropos Leistung: Die RTX PRO 6000 bietet nicht nur mehr VRAM, sondern auch deutlich mehr Rechenpower als die L40S, und bei der "Max-Q"-Variante hat uns zudem das Verhältnis von Performance zu Energieverbrauch überzeugt. Passend zum grösseren VRAM statten wir unsere neuen GPU2 Flavors auch mit mehr Memory aus, welches du in verschiedenen Verhältnissen mit 16 bis 96 dedizierten CPU-Cores kombinieren kannst. Nichts geändert hat sich bei der Scratch Disk: Bis zu 1'600 GB blitzschneller NVMe-SSD-Speicher stehen dir lokal zur Verfügung, um die Latenz zu minimieren.
Kontrollierter Wechsel
Um von einem GPU1-Server mit L40S zu einem GPU2-Server mit RTX PRO 6000 Max-Q zu wechseln, reicht es im Prinzip aus, den Server via Cloud Control Panel oder API auf einen der neuen Flavors zu skalieren. Das Skalieren von GPU-Servern kann einen Moment dauern, da bei einem Umzug auf andere physische Hardware auch der Inhalt deiner Scratch Disk übertragen werden muss.
Wir empfehlen dir jedoch, vorsichtshalber einen zweiten, neuen Server zu erstellen und zuerst sicherzugehen, dass alles wie gewünscht funktioniert (inkl. dem Open-Source GPU Kernel Module, das für die Blackwell-Architektur benötigt wird, bei Debian/Ubuntu etwa das Paket nvidia-open). Danach kannst du die Workload auf den neuen Server migrieren – mit einer Floating IP und/oder einem Load-Balancer bleibt dabei für deine Nutzer auch die IP-Adresse gleich.
Die neuen, teils deutlich günstigeren GPU2 Flavors mit NVIDIA RTX PRO 6000 Max-Q GPUs sind seit einigen Tagen verfügbar, und gemäss erstem Kundenfeedback zu "echten" Workloads ist eine markant bessere Performance messbar. Wir sind überzeugt, dass auch deine Applikation von unseren GPU-Servern profitiert – probiere es am besten gleich selbst aus!
Legt einen drauf,
Dein cloudscale-Team