Uruchamianie DeepSeek-R1:70b na CPU i RAM
Przetłumaczone automatycznie z angielskiego. Przeczytaj oryginał
Wykorzystaj zasoby obliczeniowe CPU, RAM i GPU
Z Ollamą do uruchamiania modeli LLM, takich jak DeepSeek-R1:70b, możesz używać nie tylko GPU, ale też CPU ze zwykłym RAM-em. Oczywiście potrzebujesz szybkiego CPU i RAM-u, i to w dużej ilości. Moje środowisko Lab ma 24 vCPU (2 x 6 rdzeni * 2 wątki) i od 128 do 384 GB RAM. Po uruchomieniu Ollama alokuje 22.4GB w RAM (RES) i 119GB pamięci wirtualnej. Zajmuje 1200% CPU, przez co load systemu rośnie do 12. Łączne wykorzystanie CPU wynosi jednak tylko 50%.
Ładuje ponad 20GB do RAM, obciąża system #
Po stronie GPU alokuje 2 x 10GB VRAM, ale same rdzenie pozostają praktycznie bezczynne.
Myślenie… #
DeepSeek-R1 zaczyna od części „Thinking”, w której prowadzi rozmowę sam ze sobą na temat swojej wiedzy i próbuje na głos lepiej zrozumieć pytania. Mógłby zadać te pytania mnie, ale woli tego nie robić i stara się wybrać to, co w danej chwili uważa za najlepsze. W tym momencie działa w pełni na CPU, bez intensywnego wykorzystania GPU.
Generuje ten etap „Thinking” przez wiele minut… i po mniej więcej godzinie udzielił pełnej odpowiedzi:
Czyli działa. Tylko bardzo, bardzo wolno.