Pobór mocy: jedno GPU kontra wiele GPU

lekki spadek wykorzystania w konfiguracji z wieloma GPU

TLDR #

Pobór mocy i wykorzystanie GPU różnią się między modelami na jednym GPU a modelami na wielu GPU. Trzeba się z tym pogodzić.

Moje najnowsze spostrzeżenie jest takie, że obciążenie pojedynczego GPU w Ollama/Gemma czy Automatic1111/StableDiffusion jest wyższe niż obciążenie wielu GPU w Ollamie, gdy model nie mieści się w pamięci jednego GPU. Spójrz. Wykorzystanie GPU przez Stable Diffusion wynosi 100%, przy obrotach wentylatora 90 – 100% i temperaturze powyżej 80 stopni C.

Porównaj to z obciążeniem rozłożonym na dwa GPU. Wyraźnie widać, że wykorzystanie GPU jest dużo niższe, podobnie jak obroty wentylatorów; temperatury również są niższe. Łącznie pobór mocy jest wyższy w porównaniu z modelami na jednym GPU.

Co to oznacza? Ollama używa tylko tylu GPU, ile jest potrzebne, a nie całego sprzętu przez cały czas, więc nie jest to coś, co możemy bezpośrednio porównać. Może to jednak sugerować lekki spadek wykorzystania w konfiguracji z wieloma GPU.