Ollama, WebUI, Automatic1111 – własna, osobista, lokalna AI od podstaw

Mój lokalny zestaw narzędzi był pusty, teraz jest pełny.

Ostatnio pisałem o Ollamie, WebUI i Stable Diffusion na Automatic1111. Złapałem się na tym, że trochę trudno mi nadążyć za wszystkimi informacjami o tym, jak uruchomić to w konkretnych środowiskach. Oto więc wyciąg z instalacji krok po kroku. Zaczynamy od sterownika NVIDIA i kilku podstawowych wymagań:

sudo apt install nvidia-driver-xxx
curl -fsSL https://ollama.com/install.sh | sh
sudo apt install tmux screen 
sudo apt install curl apt-transport-https ca-certificates software-properties-common

Następnie zajmujemy się Dockerem.

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg
echo "deb [arch=$(dpkg --print-architecture) signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | sudo tee /etc/apt/sources.list.d/docker.list > /dev/null
sudo apt update
sudo apt install docker-ce -y

Ollama, ale z plików binarnych zamiast kontenera Docker. Tak będzie znacznie prościej i nie wymaga to instalowania rozszerzeń Dockera do obsługi akceleracji GPU:

curl -fsSL https://ollama.com/install.sh | sh

Jeśli Ollama działa na innym serwerze, trzeba zmodyfikować plik usługi Ollamy, czyli /etc/systemd/system/ollama.service, i dodać odpowiednią zmienną środowiskową:

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

Następnie przeładuj definicję usługi i zrestartuj Ollamę:

systemctl daemon-reload
systemctl restart ollama

Aby zainstalować Open WebUI, po prostu uruchamiamy nowy kontener, przekazując URL Ollamy w następujący sposób:

sudo docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main

Automatic1111/Stable Diffusion zostanie zainstalowany natywnie z użyciem Pythona 3.10, więc w przypadku Ubuntu 24 musimy dodać odpowiednie repozytorium i zainstalować tę konkretną wersję Pythona.

sudo add-apt-repository ppa:deadsnakes/ppa -y
sudo apt install python3.10-venv -y
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui
cd stable-diffusion-webui
python3.10 -m venv .
./webui.sh --api --api-log --loglevel DEBUG

I w zasadzie to wszystko. Wszystkie elementy powinny być teraz zainstalowane i uruchomione, czyli:

• sterownik NVIDIA
• serwer Ollama
• Open WebUI w kontenerze Docker
• Automatic1111 / Stable Diffusion w Python venv

Minimalne wymaganie Ollamy co do NVIDIA Compute Capability to (na podstawie eksperymentów) 5.0+. Zadziała więc NVIDIA 940MX 2 GB, a także oczywiście RTX 3060 12 GB. WebUI nie stawia żadnych szczególnych wymagań. Automatic111 korzysta z Torcha:

„Obecne binaria PyTorch obsługują compute capability w wersji co najmniej 3.7”

W teorii zarówno Ollama, jak i Automatic1111 powinny więc działać przy CC w okolicach 5.0. Na moim 940MX oba się załadowały, ale domyślny model Stable Diffusion wymaga około 4 GB VRAM, więc się nie mieści. W praktyce preferowanym minimum jest GPU Turing z CC 7.5+, czyli RTX 20xx, ponieważ domyślnie obsługują one obliczenia 16-bitowe i mają wbudowane rdzenie tensorowe.