PrismML na okularach smart: AI w miniaturze

PrismML na okularach smart: AI w miniaturze

Świat AI dynamicznie się rozwija, a jednym z kluczowych kierunków jest miniaturyzacja algorytmów i przenoszenie ich na urządzenia brzegowe (edge devices). Oznacza to, że zamiast polegać na chmurze, obliczenia odbywają się lokalnie, na urządzeniu użytkownika, co przekłada się na szybsze działanie, większą prywatność i mniejsze zużycie energii. Projekt PrismML, niedawno zaprezentowany przez Microsoft, robi właśnie to – oferuje framework do uruchamiania modeli AI na urządzeniach o ograniczonej mocy obliczeniowej.

Czym jest PrismML?

PrismML to framework oparty na bibliotece ONNX, zaprojektowany z myślą o **optymalizacji i implementacji modeli AI w środowiskach o ograniczonych zasobach**. Jego celem jest umożliwienie działania zaawansowanych algorytmów sztucznej inteligencji na urządzeniach takich jak smartfony, wearables, a nawet, co jest szczególnie interesujące, inteligentne okulary.

Kontekst: AI na urządzeniach brzegowych – dlaczego to ważne?

Przenoszenie AI na urządzenia brzegowe niesie ze sobą szereg korzyści:

• Szybkość działania: Uniknięcie opóźnień związanych z przesyłaniem danych do chmury i z powrotem.
• Prywatność: Dane nie opuszczają urządzenia, co zwiększa bezpieczeństwo i prywatność użytkownika.
• Niezależność od połączenia z internetem: Funkcjonalność nie jest uzależniona od dostępu do sieci.
• Zużycie energii: Przetwarzanie lokalne może być bardziej energooszczędne w niektórych przypadkach.

PrismML i inteligentne okulary – potencjalne zastosowania

Wyobraź sobie inteligentne okulary, które potrafią w czasie rzeczywistym tłumaczyć rozmowę, rozpoznawać obiekty i twarze, a wszystko to bez konieczności łączenia się z Internetem. To właśnie dzięki technologiom takim jak PrismML staje się to możliwe. Możliwości zastosowania są wręcz nieograniczone, od wspomagania osób z niepełnosprawnościami po zaawansowane funkcje w dziedzinie rozrywki i edukacji.

Kluczowe cechy PrismML

PrismML wyróżnia się kilkoma kluczowymi cechami, które przyczyniają się do jego efektywności:

• Optymalizacja modeli: Techniki kwantyzacji i przycinania wag pozwalają na znaczącą redukcję rozmiaru modeli AI bez dużej utraty dokładności.
• Obsługa różnych architektur: Kompatybilność z różnymi architekturami procesorów, w tym ARM i RISC-V, popularnych w urządzeniach mobilnych i wearables.
• Wsparcie dla języka Rust: Implementacja w języku Rust zapewnia wydajność i bezpieczeństwo.
• Framework Open-Weight AI: Duży nacisk kładziony jest na promowanie i udostępnianie modeli AI o otwartych wagach, co sprzyja dalszemu rozwojowi i innowacjom.

PrismML a cele Microsoftu

Głównym celem PrismML jest umożliwienie działania otwartego, niezależnego od producenta AI, na urządzeniach zasilanych przez już istniejące zasoby obliczeniowe. Microsoft widzi w tym szansę na demokratyzację AI i uczynienie jej dostępną dla szerszego grona odbiorców.

Porównanie wydajności (przykładowe dane)

Poniżej znajduje się przykładowe porównanie wydajności (w ramach testów) różnych rozwiązań dla rozpoznawania obrazów na urządzeniach mobilnych. Należy pamiętać, że wyniki mogą się różnić w zależności od urządzenia i modelu AI.

Rozwiązanie	Liczba operacji (OPS)	Zużycie energii (mW)	Opóźnienie (ms)
ONNX Runtime (standard)	500	100	20
PrismML (kwantyzacja INT8)	800	60	10
PrismML (kwantyzacja INT4)	950	45	8

Jak widać, PrismML, dzięki kwantyzacji, potrafi zaoferować wyższą wydajność przy niższym zużyciu energii i krótszym opóźnieniu. Pamiętajmy jednak, że są to wartości przykładowe.

źródło inteligentnego przedruku: TechCrunch AI