Wyjaśnienie parametrów trenowania LLM
Przetłumaczone automatycznie z angielskiego. Przeczytaj oryginał
Krótki przegląd parametrów trenowania LLM MLX LORA.
| weight_decay | Technika regularyzacji, która dodaje niewielką karę do wag podczas trenowania, aby zapobiec ich nadmiernemu wzrostowi, co pomaga ograniczyć overfitting. Często implementowana jako regularyzacja L2.przykłady: 0.00001 – 0.01 |
| grad_clip | Skrót od gradient clipping (przycinanie gradientów) — metoda, która ogranicza (przycina) wielkość gradientów podczas propagacji wstecznej, aby zapobiec eksplozji gradientów i ustabilizować trenowanie.przykłady: 0.1 – 1.0 |
| rank | Odnosi się do wymiarowości, czyli liczby niezależnych kierunków w macierzy lub tensorze. W modelach niskiego rzędu (low-rank) określa, w jakim stopniu model kompresuje lub aproksymuje oryginalne dane.przykłady: 4, 8, 16 lub 32 |
| scale | Mnożnik lub współczynnik służący do dostosowania wielkości wartości — na przykład skalowania aktywacji, gradientów lub learning rate w celu zachowania stabilności numerycznej lub normalizacji cech.przykłady: 0.5 – 2.0 |
| dropout | Metoda regularyzacji, która losowo „wyłącza” (zeruje) część neuronów podczas trenowania, zmuszając sieć do uczenia się bardziej odpornych i lepiej generalizujących wzorców.przykłady: 0.1 – 0.5 |