---
title: "Qwen LLM"
url: https://michalasobczak.pl/pl/posts/qwen-llm.html
author: "Michał Sobczak"
description: "Czym jest Qwen? To organizacja Qwen, czyli rodziny dużych modeli językowych stworzonej przez Alibaba Cloud. W ramach tej organizacji nieustannie publikujemy duże modele językowe (LLM), duże modele multimodalne (LMM) i inne projekty związane z AGI. Sprawdźcie je i miłej zabawy! Jakie modele udostępniają?"
published: 2025-03-10T06:27:19.000Z
updated: 2025-03-10T06:30:57.000Z
language: pl
categories: ["AI/ML"]
tags: ["AI/ML", "Cloud", "LLM"]
license: CC BY-NC-ND 4.0 (https://creativecommons.org/licenses/by-nc-nd/4.0/)
---
# Qwen LLM

## Czym jest Qwen?

> To organizacja Qwen, czyli rodziny dużych modeli językowych stworzonej przez Alibaba Cloud. W ramach tej organizacji nieustannie publikujemy duże modele językowe (LLM), duże modele multimodalne (LMM) i inne projekty związane z AGI. Sprawdźcie je i miłej zabawy!

## Jakie modele udostępniają?

Od 2023 roku udostępniają szeroką gamę modeli. Pierwotny model nazywał się po prostu Qwen i nadal można go znaleźć na [GitHubie](https://github.com/QwenLM/Qwen). Obecny model Qwen2.5 ma własne repozytorium, również na [GitHubie](https://github.com/QwenLM/Qwen2.5). [Modele](https://huggingface.co/collections/Qwen/qwen25-66e81a666513e518adb90d9e) ogólnego przeznaczenia to po prostu Qwen, ale są też [modele](https://huggingface.co/collections/Qwen/qwen25-coder-66eaa22e6f99801bf65b0c2f) wyspecjalizowane w kodzie. Są też wersje Math, Audio i kilka innych.

Uwaga od twórców:

> **Nie zalecamy używania bazowych modeli językowych do konwersacji.** Zamiast tego można zastosować na tym modelu post-training, np. SFT, RLHF, kontynuację pretrainingu itp., albo zadania typu fill-in-the-middle.

Mimo to wypróbowałem następujące modele, bo mogę:

-   Qwen/Qwen-7B: 15 GB modelu, 31 GB w RAM
-   Qwen/Qwen2-0.5B, 1 GB modelu, 4 GB w RAM
-   Qwen/Qwen2.5-Coder-1.5B, 3 GB modelu, 7 GB w RAM

Tak, te modele można uruchamiać wyłącznie w pamięci, a nie na GPU. Będzie to znacznie wolniejsze, ale działa.

## Jak uruchomić?

Żeby zweryfikować źródło danych użytych do treningu, możemy chyba zadać pytanie z konkretnej dziedziny:

```python
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Qwen/Qwen2.5-Coder-1.5B"

tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(model_name, trust_remote_code=True)

input_text = "How to install Proxmox on Hetzner bare-metal server?"
inputs = tokenizer(input_text, return_tensors="pt")

outputs = model.generate(**inputs, max_new_tokens=200)
generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)

print(generated_text)
```

Ten model korzysta z architektury Qwen2ForCausalLM i jest udostępniony na licencji Apache 2.0. Aby go uruchomić, potrzebujemy kilku dodatkowych pakietów Pythona:

```text
transformers>=4.32.0,<4.38.0
accelerate
tiktoken
einops
transformers_stream_generator==0.0.4
scipy
```

## Skąd wziął dane?

Oto odpowiedź na zadane pytanie „*How to install Proxmox on Hetzner bare-metal server?”*

```bash
wget https://enterprise.proxmox.com/debian/proxmox-ve-release-6.x.gpg -O /etc/apt/trusted.gpg.d/proxmox-ve-release-6.x.gpg
echo "deb http://enterprise.proxmox.com/debian/pve buster pve-no-subscription" > /etc/apt/sources.list.d/pve-enterprise.list
apt-get update
apt-get install proxmox-ve
```

Sugeruje instalację Proxmoxa 6, mimo że **w 2024 roku nawet Proxmox 7 jest już przestarzały**. Co więcej, sugeruje użycie Debiana Buster i konkretnej konfiguracji sprzętowej z 16 GB RAM i 2 dyskami HDD po 1TB. Wygląda to na coś z jakiegoś forum, StackExchange albo StackOverflow. Może to być też kompilacja lub tłumaczenie kilku innych źródeł, na co wskazuje niewielki rozmiar modelu.

```text
Reading package lists... Done
Building dependency tree
Reading state information... Done
E: Unable to locate package proxmox-ve
```

**To oczywiste: to rzecz działająca offline. Bardzo ciekawe, że mimo to wciąż próbuje odpowiedzieć, nawet jeśli nieprecyzyjnie.**