NVIDIA CC 7.0+: jak uruchomić Ollama/moondream:1.8b

Cóż, w jednym z poprzednich artykułów opisałem, jak wywołać Ollama/moondream:1.8b za pomocą cURL, ale zapomniałem napisać, jak w ogóle uruchomić go w kontenerze Docker. Proszę bardzo:

sudo docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
docker exec -it ollama ollama run moondream:1.8b

Możesz wskazać, czy dany model ma działać w tle (-d), czy na pierwszym planie (bez parametru -d). Możesz też zdefiniować równoległość i maksymalną długość kolejki w serwerze Ollama:

sudo docker run -d --gpus=all -v ollama:/root/.ollama -e OLLAMA_NUM_PARALLEL=8 -e OLLAMA_MAX_QUEUE=32 -p 11434:11434 --name ollama ollama/ollama

Jedna ważna uwaga dotycząca stabilności serwera Ollama. Gdy działa dłużej niż kilka godzin, może pojawić się problem ze sterownikiem GPU wymagający restartu, więc Ollamę trzeba monitorować pod kątem takiego scenariusza. Co więcej, po kilku minutach bezczynności model zostaje usunięty z VRAM, zwalniając ją. Pamiętaj więc, że jeśli przydzielisz tę VRAM do innych zadań, Ollama może się nie uruchomić z powodu braku pamięci.

Ostatnia uwaga: Ollama do działania wymaga NVIDIA Compute Capability 7.0 lub wyższej, czyli w praktyce TITAN V, Quadro GB100, Tesla V100 lub późniejszych kart konsumenckich z CC 7.5, takich jak GTX 1650. Na ten moment możesz więc traktować właśnie GTX 1650 jako minimum do uruchomienia Ollamy.