Detekcja obiektów i opis sceny: różne biblioteki/frameworki testowane ostatnio
Przetłumaczone automatycznie z angielskiego. Przeczytaj oryginał
Nie, nie da się użyć Tesli K20xm z 6GB VRAM do nowoczesnych obliczeń, bo ma parametr Compute Capability niższy niż wymagane 7.0. Oto tabela moich ustaleń dotyczących bibliotek/frameworków, wymaganego sprzętu i ich przeznaczenia.
Zacząłem od DeepStack, gdzie udało mi się uruchomić serwer API do detekcji obiektów – Frigate go obsługuje. Później, z TensorRT na GPU NVIDIA, mogę uruchomić model Yolov7x-640, również do detekcji obiektów – Frigate dobrze z nim współpracuje. Z modułem Google Coral TPU USB możemy uruchamiać modele SSD MobileNet lub EfficientDet ze świetną efektywnością energetyczną za dobrą cenę. Ollama z moondream jest zarówno narzędziem ogólnego przeznaczenia, jak i do opisu obrazu w wizji komputerowej, jeśli uruchomi się ją z modelem moondream – świetnie współpracuje z Frigate przy opisie sceny. Ostatnią rzeczą, którą wypróbowałem, jest OpenVINO, które umożliwia wykorzystanie urządzeń Intela do detekcji obiektów – świetnie działa z modelem ssdlite_mobilenet_v2.
| Biblioteka/framework | Typ | Wymagania | Przeznaczenie |
|---|---|---|---|
| DeepStack | serwer API AI | NVIDIA CC 5.0 (3.5/3.7?) | Detekcja obiektów |
| TensorRT | SDK do inferencji deep learningu | NVIDIA CC 5.0 (3.0/3.5?) | Detekcja obiektów |
| Google Coral TPU | akcelerator sieci neuronowych | n/a | Detekcja obiektów |
| Ollama/moondream:1.8b | wizyjny model językowy | NVIDIA CC 7.0 (5.0?) | Wizja komputerowa |
| Exo/Llama | równoległa inferencja potokowa | NVIDIA CC 7.0 (5.0?) | Ogólnego przeznaczenia |
| OpenVINO Intel iGPU + CPU | zestaw narzędzi deep learningu | Intel iGPU, CPU 6. generacji | Ogólnego przeznaczenia |
ResortRT: weryfikacja wymagań #
Nie jest do końca prawdą, że TensorRT jest wspierane przy CC 3.5, bo testowałem na Tesli K20xm i dostaję błąd. Powiedziałbym raczej, że może być wspierane przy pewnych specjalnych ograniczeniach i niekoniecznie z modelem Yolov7x-640 generowanym przy starcie Frigate.
Exo: na Linuksie/NVIDIA w ogóle nie działa #
Z Exo mam problemy – nie mam pojęcia, dlaczego nie działa na Linuksie/NVIDIA, daje bezsensowne wyniki i jest całkowicie niestabilne, z masą mniejszych i większych błędów. Llama uruchomiona na tym samym systemie i sprzęcie na serwerze Ollama działa bez zarzutu. Spróbuję jeszcze raz później, może na innym wydaniu, sprzęcie i z jakimiś wskazówkami od Exo Labs, jak to właściwie uruchomić.
Moja rekomendacja #
Do zastosowań na powszechnie dostępnym, konsumenckim sprzęcie polecam OpenVINO i TensorRT, które pozwalają wykorzystać już posiadany sprzęt. Kup Coral TPU, jeśli brakuje Ci mocy obliczeniowej. Nie widzę powodu, by uruchamiać DeepStack, skoro wcześniej wymienione rozwiązania są dostępne od ręki.