Planowanie wątków GPU & Rozłączny Przepływ Sterowania SIMD

SIMT: Jedna instrukcja, wiele wątków

Kartki graficzne osiągają swoją ogromną przepustowość obliczeniową dzięki masowej paralelizacji, która jest ekonomiczna. Kluczowy trick polega na tym, że pojedyncze polecenie może sterować wieloma ścieżkami wykonania jednocześnie, ponieważ wszystkie wątki w grupie (warp) na poziomie hardeelowym wykonywają identyczne polecenie w tej samej chwili i program counter, ale przeciwko różnym danych przechowywanym w rejestrowych ścieżkach każdego wątku. Jest to podstawowo SIMD (Single Instruction Multiple Data), ale NVIDIA nazywa swoją wersję SIMT, aby podkreślić, że z punktu widzenia programisty każdy wątek wydaje się mieć własny niezależny tok interpretacji, swój własny program counter i stos wywołań w modelu programowania abstrakcyjnym. Choć podstawowe hardeelowo wymusza wykonanie w lockstep (w rytmie zgodnym) na całej grupie (warp), ta abstrakcja pozwala, aby modele programowania CUDA i podobne czuły się jak zwykłe kod wielowątkowy. Napisz/kernel opisujesz pracę jednego wątku, a hardeelowo uruchamia tysiące jego instancji. Zysk efektywności jest ogromny: pojedynczy harmonogram grup (warp), zestaw polecen fetch i decode oraz dostęp do pamięci cache instrukcji steruje 32 lub 64 ścieżkami wykonania, co oznacza, że koszt zarządzania tokiem jest tylko małą częścią tego, co byłoby wymagane przez równie wiele niezależnych jądra stylu CPU. Ale ten zysk efektywności całkowicie zależy od tego, aby wszystkie ścieżki w grupie (warp) chciały wykonać to samo polecenie jednocześnie, co jest dokładnie tym, czym mogą naruszać warunkowe ramy wykonania.

Co się dzieje, gdy wątki są niezgodne

Zastanówmy się nad jądra z instrukcją if/else, gdzie warunek zależy od indeksu lub danych własnego wątku. W takim przypadku niektóre wątki w grupie wątkowej oceniają warunek jako prawdziwy, a inne jako fałszywy, co nazywa się divergencją w grupie wątkowej lub rozgałęzieniem. Ponieważ sprzęt może wykonać tylko jeden strumień instrukcji dla grupy wątkowej podczas dowolnej cykle, nie może po prostu mieć niektórych ścieżek wykonujących instrukcje if-branch, a inne jednocześnie wykonujące instrukcje else-branch. Zamiast tego, planer wątkowy serializuje dwie ścieżki: najpierw emituje instrukcje if-branch dla całej grupy wątkowej, ale z maską aktywną, która dezaktywuje lub predykcyjnie wyłącza każdą ścieżkę, której wątek rzeczywiście chciałby była else-branch. Te ścieżki wykonują instrukcje jako operacje bez zmian, które nie modyfikują żadnego stanu. Następnie grupa wątkowa wykonuje instrukcje else-branch, tym razem z odwróconą maską aktywną, aktywną dokładnie dla tych ścieżek, które były dezaktywowane wcześniej, a dezaktywanych są te, które były aktywne. Tylko po tym, jak obie ścieżki zostaną emitowane, grupa wątkowa ponownie konverguje, co oznacza, że każda ścieżka ponownie staje się aktywna dla kodu, który następuje po if/else. Krytyczne konsekwencje polegają na tym, że całkowity czas wykonania regionu z divergencją jest około sumy kosztów obu ścieżek, a nie maksimum z dwóch jak w prawdziwym paralelnym wykonaniu, ponieważ sprzęt spędza rzeczywiste cykle na uruchamianiu dezaktywowanych, bezużytecznych cykli ścieżek podczas każdej fazy.

Ocena Karry Walnej Serializacji

Koszt wydajnościowy spowodowany divergencją skaluje się z równomiernością podziału wątków na gałęzie oraz ilością pracy zawartą na każdej gałęzi. W najlepszym przypadku, wszystkie 32 wątki w wątku (warpie) zgadzają się na tę samą gałąź, nie ma żadnej divergencji i wątek pomija całkowicie drugą ścieżkę instrukcji, płacąc zero dodatkowego kosztu. W najgorszym rzeczywistym przypadku dokładnie połowa wątków bierze udział na każdej ścieżce z gałęzi o podobnej ilości pracy, a wątek trafia teraz około dwukrotnie dłużej przez warunek niż pełnowykonujący się wątek konvergentny, ponieważ musi pełno wykonać instrukcje obu ścieżek if-branch i else-branch, co spowoduje utratę 16 kanałów na cykle i drugą 16 kanałów na cykle. Jeśli gałęzie są bardzo nierównomiernie kosztowne, np. jedna ścieżka wykonuje sto operacji a druga tylko jedną, karra dominuje przez ta drobnomieszcząca się ścieżkę, niezależnie od tego, ile wątków bierze udział na tej ścieżce, ponieważ cały wątek musi czekać przez wszystkie sto operacji nawet jeśli potrzebne były tylko jednej kanałowi. To dlaczego porady dotyczące programowania dla GPU zawsze polecają organizowanie danych i przypisania wątków do pracy tak, aby wątki w tym samym wątku tendencjami bierły tę samą gałąź razem, a nie rozpraszająca divergenckie warunki na losowe indeksy wątków. Sortowanie lub grupowanie danych według gałęzi, która ich spowoduje, przed uruchomieniem kerneła, jest powszechnym i skutecznym techniką rzeczywistym światem specjalnie do minimalizacji tego kosztu serializacyjnego.

Rekonwergencja i włożone odchyle

Obsługa pojedynczego warunku if/else jest koncepcyjnie prosta, ale rzeczywiste kernele często zawierają włożone warunki, pętle z warunkami wyjściowymi zależnymi od danych oraz wywołania funkcji, które same się ramkują wewnątrz, co tworzy bardziej skomplikowane wzory odchyleń, na które sprzęt musi nadzorować i ostatecznie zrekonwergować. GPU zachowują koncepcyjnie stos rekonwergencji lub podobny mechanizm, który notuje dla każdego punktu, w którym wałpada odchodzi, jakie ścieżki poszły w jakim kierunku oraz gdzie te ścieżki są oczekiwane na połączenie się ponownie, tak aby sprzęt mógł poprawnie zresetować pełny aktywny maskotek po tym, gdy każda odchylona ścieżka zostanie zakończona. Pętle stanowią szczególnie ciekawą sytuację: jeśli różne wątki w wałpacie potrzebują różnej liczby iteracji, być może dlatego, że przeszukują listy skojarzonych różnych długości lub docierają do rozwiązania na innych etapach, całe wałpate muszą kontynuować iterację aż do momentu, gdy spełni się warunek pętli dla każdego z wątków indywidualnie, z już zakończonymi wątkami maskowanymi podczas pozostałych iteracji, co ponownie spowoduje stratę cykli lane. Nowoczesne architektury GPU, zaczynając od generacji Volta firmy NVIDIA, wprowadziły niezależną harmonizację wątków, która pozwala na bardziej detaliczne łączenie się ścieżek odchylonych i może pomóc w pewnych schematach synchronizacji między odchylonymi wątkami, ale nie eliminują one podstawowego kosztu przepustowości spowodowanego odchyleniem, czyli wykonanie dwóch różnych strumieni instrukcji sekwencyjnie na tej samej grupie kanałów wykonywania jest naturalnie droższe niż wykonanie jednego strumienia, na którym wszystkie kanały są zgodne.

Projektowanie wokół rozbieżności w praktyce

Ponieważ rozbieżność warpa jest zjawiskiem fizjologicznym, nie widocznym na poziomie źródła kodu kernela, poprawność nigdy nie jest zagrożona, ale wydajność może drastycznie i niewidocznie spadnąć, co sprawia, że stała celę stanowią narzędzia profilowania GPU, takie jak NVIDIA Nsight Compute, które wyraźnie zgłaszają metryki efektywności rozgałęzień pokazujące, jaki procent wykonanych instrukcji było rzeczywiście użyteczne, a nie zmaskowane jako stracone cykle lane. Popularne strategie redukcji obejmują zmianę warunków tak, aby decyzja o rozgałęzieniu zależała od granic wyrównanych warpa, np. rozgałęzianie na indeks bloku lub warpa zamiast wartości obliczonej dla każdego wątku, sortowanie lub podział danych wejściowych tak, aby wątki prawdopodobnie biorące tę samą ścieżkę były grupowane do tego samego wyrównanego wypłynku przed uruchomieniem kernela, a w niektórych przypadkach zastąpienie rzeczywistego rozgałęzienia arytmetyką predykatowana bez rozgałężeń, która oblicza zarówno możliwe wyniki i wybiera między nimi przy użyciu maski, wymieniając niektóre stracone obliczenia na eliminację całkowitego kosztu rozbieżności. Technika ta jest koncepcyjnie podobna do programowania bez rozgałężeń w procesorach CPU, ale motywowana wykonywaniem na poziomie warpa zamiast błąd przewidywania łańcucha. Przeglądarka promieniowa i renderowanie oparte na fizyce są znane z powodowania ciężkiej rozbieżności, ponieważ sasiednie promienie lub piksele często bierzą różne ścieżki kodu, co jest jednym z powodów, dla których sprzęt GPU do przeglądarki promieniowej obejmuje dedykowane jednostki do obsługi tego rodzaju niezawodnego przepływu sterowania bardziej łagodnie. Zrozumienie rozbieżności jako pierwszy klasy problemu wydajności, a nie tylko implementacyjnej szczegóły, jest jednym z najwyraźniejszych sposobów, w jaki programowanie na GPU rzeczywiście się różni od pisania równoległego kodu dla CPU.

Często zadawane pytania