Własny system prompt dla Gemma AI, czyli tworzenie własnego chatbota
Przetłumaczone automatycznie z angielskiego. Przeczytaj oryginał
Chcę stworzyć własnego chatbota. Chcę, żeby był oparty na dużych modelach językowych Gemma AI od Google. Uważam, że Gemma3, zwłaszcza w wersji 27b, świetnie radzi sobie z rozwiązywaniem problemów. Została wytrenowana na danych, które uważam za interesujące. Użyję Open WebUI, aby stworzyć własną „nakładkę na model” i zapewnić doświadczenie chatbota
TLDR #
Aby stworzyć własnego chatbota, wystarczą tylko 3 kroki:
- Pobierz model bazowy
- Zdefiniuj własną nakładkę na model bazowy
- Określ System Prompt i inne funkcje
Aby stworzyć własnego chatbota, mogę użyć funkcji System Prompt, która jest integralną częścią samego modelu. Uruchamiana w Ollamie Gemma3:27b to w rzeczywistości 4-bitowa wersja skwantyzowana pełnych, nieskwantyzowanych 16-bitowych wag modelu. Co więcej, oznacza to, że GPU bez obsługi FP16 wymuszą uruchomienie modelu w trybie 32-bitowym, co zwiększa zużycie pamięci. To błędne koło, bo starsze GPU bez FP16 mają mniej pamięci, a brak obsługi tylko pogłębi problem.
Efektywna liczba tokenów kontekstu w Gemma2 lub Gemma3 waha się od 8k do 128k. Ta wartość obejmuje miejsce na system prompt, prompt użytkownika i odpowiedź. Jeśli okno kontekstu zostanie przekroczone, silnik powinien je przyciąć.
Jak stworzyć własną nakładkę na model, która posłuży jako chatbot #
Aby stworzyć własną „nakładkę na model”, czyli w praktyce system prompt, możesz użyć Web UI. Przejdź do workspace – models.
Następnie możesz zdefiniować System Prompt i inne funkcje, takie jak filtry i akcje:
I gotowe.
Rozmowa #
Utworzyłem więc nowy czat, wybrałem nowo utworzony model i rozpocząłem rozmowę.
Napisałem, że nie mogę otworzyć pewnej strony. Odpowiedział kilkoma zdefiniowanymi wcześniej sugestiami, takimi jak otwarcie jej w nowej karcie przeglądarki, w trybie prywatnym albo w innej przeglądarce. Potem potwierdziłem, że rzeczywiście już tego próbowałem:
Mogę wyjść poza zdefiniowany scenariusz i zadać dodatkowe pytania. Tym razem korzystamy z nieskrępowanego potencjału Gemmy:
Na koniec, jeśli nie pozostają żadne inne opcje, sugerujemy kontakt z supportem przez e-mail:
Zwróć uwagę, że adres e-mail supportu zasugerowany przez Gemmę nie jest prawdziwy – został zmyślony.