---
title: "Ollama z Open WebUI na 2 x RTX 3060 12 GB"
url: https://michalasobczak.pl/pl/posts/ollama-with-open-webui-on-2-x-rtx-3060-12-gb.html
author: "Michał Sobczak"
description: "Ollama z WebUI na 2 „mocnych” GPU daje wrażenie jak komercyjne GPT dostępne online. Myślałem, że Exo wykona zadanie i wykorzysta oba moje serwery laboratoryjne. Niestety nie działa na Linux/NVIDIA w mojej konfiguracji i według oficjalnej dokumentacji."
published: 2025-03-13T21:29:07.000Z
updated: 2025-03-13T21:29:07.000Z
language: pl
categories: ["AI/ML"]
tags: ["AI/ML", "GPU", "Ollama"]
license: CC BY-NC-ND 4.0 (https://creativecommons.org/licenses/by-nc-nd/4.0/)
---
# Ollama z Open WebUI na 2 x RTX 3060 12 GB

> Ollama z WebUI na 2 „mocnych” GPU daje wrażenie jak komercyjne GPT dostępne online

Myślałem, że Exo wykona zadanie i wykorzysta oba moje serwery laboratoryjne. Niestety nie działa na Linux/NVIDIA w mojej konfiguracji i według oficjalnej dokumentacji. **Wróciłem więc do Ollamy i uznałem ją za świetną**. Mam 2 x NVIDIA RTX 3060 z 12 GB VRAM każda, co daje łącznie 24 GB, pozwalające uruchomić Gemma3:27b lub DeepSeek-r1:32b.

-   Gemma3:27b zajmuje łącznie około 16 – 18 GB VRAM GPU
-   DeepSeek-r1:32b zajmuje łącznie około 19 GB VRAM GPU

![](https://michalasobczak.pl/wp-content/uploads/2025/03/image-37.png)

Ollama potrafi wykorzystać oba GPU w moim systemie, co widać w nvidia-smi. O tym, jak uruchomić Ollamę w Dockerze z akceleracją GPU, możesz przeczytać w moim [poprzednim artykule](https://michalasobczak.pl/pl/posts/nvidia-cc-7-0-how-to-run-ollama-moondream1-8b.html).

## Dlaczego więc uruchamianie na wielu GPU jest ważne?

Mając w systemie więcej dostępnego VRAM, możesz uruchamiać większe modele, ponieważ wymagają one załadowania danych do pamięci karty graficznej w celu przetwarzania. Jak wspomniałem wcześniej, próbowałem też z Exo oraz vLLM, ale tylko Ollama obsługuje to bezproblemowo i bez żadnych komplikacji. Niestety Ollama, o ile mi wiadomo, nie obsługuje rozproszonej inferencji. Prace nad tym trwały już w listopadzie 2024 roku, jednak nie jest jasne, czy trafi to do głównej dystrybucji.

[https://github.com/ollama/ollama/issues/7648](https://github.com/ollama/ollama/issues/7648)

![](https://michalasobczak.pl/wp-content/uploads/2025/03/image-39.png)

Uruchamianie więcej niż jednego CPU i GPU wymaga również mocnego zasilacza. Mój ma 1100 W i obsługuje 2 procesory Xeon, do 384 GB RAM oraz co najmniej 2 pełnowymiarowe, w pełni zasilane GPU. Na biegu jałowym pobiera około 250 – 300 W. Przy pełnym obciążeniu GPU pobiera 560 – 600 W.

## Czy mogę zainstalować więcej niż dwa GPU?

Tak, można. Jednak w moim komputerze laboratoryjnym nie mam więcej niż 2 wysokomocowe sloty PCI-E, więc kolejna karta może mieć zbyt małe zasilanie. Mimo to jest to dość ciekawa rzecz do sprawdzenia w najbliższej przyszłości.

## A co z Open WebUI?

Zamiast korzystać z wiersza poleceń Ollamy, pod względem produktywności lepiej użyć interfejsu webowego o nazwie Open WebUI. Można go uruchomić z kontenera Docker w następujący sposób:

```bash
sudo docker run -d --network=host -v open-webui:/app/backend/data -e OLLAMA_BASE_URL=http://127.0.0.1:11434 --name open-webui --restart always ghcr.io/open-webui/open-webui:main
```

Następnie WebUI jest dostępne pod adresem 127.0.0.1:8080.

![](https://michalasobczak.pl/wp-content/uploads/2025/03/image-38.png)

### Działanie side-by-side

Pozwala zadawać pytania modelom w trybie porównania side-by-side.

![](https://michalasobczak.pl/wp-content/uploads/2025/03/image-40.png)

### Parametryzacja

Za pomocą WebUI możesz modyfikować parametry inferencji (parametry zaawansowane).

![](https://michalasobczak.pl/wp-content/uploads/2025/03/image-41.png)

### Baza wiedzy/kontekst

Możesz zbudować własny kontekst wiedzy, do którego dodajesz wpisy wiedzy. Prawdopodobnie przydatne przy tworzeniu niestandardowych chatbotów.

![](https://michalasobczak.pl/wp-content/uploads/2025/03/image-42.png)

### Wyszukiwanie w sieci

Dostępna jest też funkcja wyszukiwania w sieci. Możesz zdefiniować preferowaną wyszukiwarkę.

![](https://michalasobczak.pl/wp-content/uploads/2025/03/image-43.png)

Po skonfigurowaniu rozpocznij nowy czat i włącz wyszukiwanie. Przeszuka internet w poszukiwaniu potrzebnych informacji. Choć wygląda to zabawnie:

![](https://michalasobczak.pl/wp-content/uploads/2025/03/image-44.png)

## Podsumowanie

**Możesz używać zwykłego, konsumenckiego sprzętu do uruchamiania lokalnych modeli LLM z Ollamą**, nawet tych znacznie bardziej zasobożernych, łącząc **wiele GPU w swojej maszynie**. Rozproszona inferencja z Ollamą i Exo wymaga jeszcze trochę pracy. Będę szukał kolejnych narzędzi w tym rozległym morzu możliwości.