Uruchom LLM Bielik od SpeakLeash za pomocą LM Studio na swoim komputerze
Przetłumaczone automatycznie z angielskiego. Przeczytaj oryginał
Czy wiesz, że polskiego LLM Bielik od SpeakLeash możesz używać lokalnie, na prywatnym komputerze? Najprościej zrobić to w LM Studio (z lmstudio.ai).
- pobierz LM Studio
- pobierz model (np. Bielik-11B-v2.2-Instruct-GGUF)
- załaduj model
- otwórz nową rozmowę
- rozmawiaj…
Po co używać modelu lokalnie? Dla zabawy. Tam, gdzie nie mamy internetu. Bo nie chcemy udostępniać naszych danych, rozmów itp.…
Możesz go uruchomić na macOS, Windows i Linux. Wymaga obsługi instrukcji procesora AVX2, dużej ilości RAM i najlepiej dedykowanej, nowoczesnej karty graficznej.
Uwaga: na przykład na Thinkpadzie t460p z i5 6300HQ i dedykowaną kartą 940MX 2GB VRAM w zasadzie nie chce działać, ale na Dellu g15 z i5 10200h i RTX 3050Ti działa bez żadnego problemu. Podejrzewam, że chodzi o Compute Capability, a nie o ilość VRAM na karcie graficznej… bo na moich starych kartach serwerowych (Tesla, Quadro) te modele i biblioteki nie działają.