Rozdział 4: Projektowanie systemu pamięci GPU

                                    Przełącznik adresowy
                                          |
                                          v
                        Tablica danych (Konfigurowalny jako pamięć podręczna lub pamięć)
                                          |
                                          v  
                                    Przełącznik danych
                                          |
                                          v
                                 Jednostka ładowania/przechowywania
```Tutaj jest polski przekład pliku Markdown. Dla kodu, nie tłumaczono kodu, tylko komentarze.

Rysunek 4.1: Zjednoczona organizacja pamięci podręcznej L1 i pamięci scratchpad.

Kluczowe komponenty tego projektu to:

1. **Tablica danych**: Wysoce podzielona struktura SRAM, która może być skonfigurowana jako pamięć scratchpad lub pamięć podręczna L1 danych. Każdy bank ma szerokość 32 bity i ma własny dekoder do niezależnego dostępu.

2. **Przełącznik adresowy**: Rozprowadza adresy pamięci z jednostki ładowania/przechowywania do odpowiednich banków w tablicy danych.

3. **Przełącznik danych**: Przekierowuje dane z banków do jednostki ładowania/przechowywania, która następnie zapisuje dane do rejestru.

4. **Jednostka ładowania/przechowywania**: Oblicza adresy pamięci, stosuje reguły koalescencji i dzieli dostępy do pamięci na pojedyncze scalone dostępy.

Dostępy do pamięci scratchpad omijają etap wyszukiwania znaczników, ponieważ pamięć jest bezpośrednio mapowana. Konflikty banków są obsługiwane przez podzielenie konfliktowych dostępów na wiele cykli, przy czym konfliktujące części są powtarzane w kolejnych cyklach.

Pamięć podręczna L1 danych służy do przechowywania podzbioru globalnej przestrzeni adresowej pamięci. Dostępy do pamięci podręcznej L1 danych wymagają wyszukiwania znaczników, aby określić, czy żądane dane są obecne. Rozmiar bloku pamięci podręcznej wynosi zwykle 128 bajtów, który może być dodatkowo podzielony na sektory 32-bajtowe, aby dopasować się do minimalnego rozmiaru danych, który można odczytać z graficznej pamięci DRAM (np. GDDR5) w pojedynczym dostępie.

### Pamięć podręczna tekstur L1

Pamięć tekstur to przestrzeń pamięci tylko do odczytu, zoptymalizowana pod kątem lokalności przestrzennej i powszechnie używana w obciążeniach graficznych. Pamięć podręczna tekstur L1 jest zaprojektowana w celu wykorzystania lokalności przestrzennej 2D obecnej w dostępach do tekstur.

Rysunek 4.2 pokazuje typową organizację pamięci podręcznej tekstur L1.Oto polski przekład pliku w formacie markdown:

rray
                                  |
                                  v
                           Filtrowanie tekstur
                                  |
                                  v
                           Przefiltrowane tekstele

                                Żądania pamięci
                                       |
                                       v
                                 Kontroler pamięci podręcznej
                                /             \
                               /               \
                              /                 \
                             v                   v
                     Partycja pamięci podręcznej danych   Partycja pamięci podręcznej tekstur
                             |Oto tłumaczenie pliku Markdown na język polski. Komentarze w kodzie zostały przetłumaczone, a sam kod pozostał niezmieniony.

|      |
        Rdzeń   Rdzeń   Rdzeń   Rdzeń
         |      |      |      |
        ——     ——     ——     ——  
         |      |      |      |
        Rdzeń   Rdzeń   Rdzeń   Rdzeń
         |      |      |      |
        ——     ——     ——     ——
         |      |      |      |  
        Pamięć Pamięć Pamięć Pamięć
        Część. Część. Część. Część.

                            Żądania Pamięci
                                   |
                                   v
                         Kontroler Pamięci Podręcznej L2
                                   |
                                   v
                              Tablica Tagów
                                   |
                                   v
                              Tablica Danych
                                   |
                                   v
                             Harmonogram Pamięci
```Poniżej znajduje się tłumaczenie pliku Markdown na język polski. Komentarze w kodzie zostały przetłumaczone, a sam kod pozostał niezmieniony.

                            Żądania atomowe
                                   |
                                   v
                          Jednostka Operacji Atomowych
                                   |
                                   v
                            Pamięć podręczna L2/DRAM

Żądania pamięci do zewnętrznej pamięci DRAM. Jego głównym celem jest maksymalizacja wykorzystania przepustowości pamięci DRAM, jednocześnie minimalizując opóźnienie dostępu do pamięci.

Planisty pamięci GPU wykorzystują różne algorytmy planowania i optymalizacje, aby osiągnąć wysoką wydajność. Niektóre powszechne techniki obejmują:

1. **Planowanie poza kolejnością**: Ponowne porządkowanie żądań pamięci w celu maksymalizacji trafień w buforze wiersza i minimalizacji narzutu przełączania banków i aktywacji pamięci DRAM.

2. **Równoległość na poziomie banku**: Wykorzystywanie równoległości dostępnej w wielu bankach pamięci DRAM, aby umożliwić równoczesny dostęp do różnych regionów pamięci.

3. **Optymalizacja przełączania między zapisem a odczytem**: Minimalizacja kary opóźnienia poniesionej podczas przełączania między operacjami zapisu i odczytu w pamięci DRAM.

4. **Rozpraszanie adresów**: Rozdzielanie dostępów do pamięci między różne kanały, rangi i banki, aby maksymalizować równoległość i unikać konfliktów.

Rysunek 4.7 ilustruje ogólny widok planisty dostępu do pamięci w partycji pamięci GPU.

Rysunek 4.7: Planista dostępu do pamięci w partycji pamięci GPU.

Planista pamięci otrzymuje żądania pamięci z pamięci podręcznej L2 i jednostek operacji atomowych, a następnie decyduje, kiedy i w jakiej kolejności wysyłać te żądania do pamięci DRAM. Dzięki starannego planowania dostępów do pamięci, planista może znacznie poprawić wykorzystanie przepustowości pamięci DRAM i zmniejszyć średnie opóźnienie dostępu do pamięci.

## BadaniaKierunki badań nad systemami pamięci GPU

Wraz z ewolucją architektur GPU i rosnącymi wymaganiami obciążeń równoległych, istnieje kilka kierunków badawczych mających na celu poprawę wydajności i efektywności systemów pamięci GPU. Niektóre z kluczowych obszarów badawczych obejmują:

### Planowanie dostępu do pamięci i projektowanie sieci połączeń
Wraz ze wzrostem liczby rdzeni i partycji pamięci w GPU, projektowanie planisty dostępu do pamięci i sieci połączeń staje się kluczowe dla osiągnięcia wysokiej wydajności. Badania w tej dziedzinie koncentrują się na opracowywaniu nowych algorytmów planowania i topologii połączeń, które mogą efektywnie obsługiwać masową równoległość i złożone wzorce dostępu do pamięci w obciążeniach GPU.

Na przykład Jia i in. [2012] proponują algorytm planowania pamięci o nazwie "Staged Memory Scheduling" (SMS), który ma na celu poprawę równoległości na poziomie banków DRAM i zmniejszenie opóźnienia dostępu do pamięci. SMS dzieli kolejkę żądań pamięci na dwa etapy: tworzenie partii i planowanie partii. W etapie tworzenia partii, żądania są grupowane w partie na podstawie ich adresów banków i wierszy, aby wykorzystać lokalność wierszy. W etapie planowania partii, partie są priorytetyzowane na podstawie ich wieku i krytyczności, aby zapewnić sprawiedliwość i zmniejszyć przestoje.

Innym przykładem jest praca Kim i in. [2012], która proponuje architekturę pamięci o wysokiej przepustowości (HBM) dla GPU. HBM układa wiele warstw pamięci DRAM jedna na drugiej i łączy je za pomocą otworów przez krzem (TSV), umożliwiając znacznie większą przepustowość i mniejsze opóźnienie w porównaniu z tradycyjnymi pamięciami GDDR. Autorzy proponują również nową konstrukcję kontrolera pamięci, który może efektywnie zarządzać zwiększoną równoległością i złożonością HBM.

### Efektywność pamięci podręcznej
GPU wykorzystują różne mechanizmy pamięci podręcznej, aby zmniejszyć liczbę dostępów do pamięci zewnętrznej i poprawić wydajność. Jednak skuteczność tych pamięci podręcznych może znacznie różnić się w zależności od charakterystyki obciążenia i projektu pamięci podręcznej.Oto tłumaczenie pliku Markdown na język polski. Komentarze w kodzie zostały przetłumaczone, ale sam kod pozostał niezmieniony.

Badania w tej dziedzinie mają na celu poprawę efektywności pamięci podręcznej GPU poprzez techniki takie jak omijanie pamięci podręcznej, kompresja pamięci podręcznej i adaptacyjne zarządzanie pamięcią podręczną.

Na przykład, Huangfu i Xie [2016] proponują dynamiczny schemat omijania pamięci podręcznej dla GPU, który używa prostej, ale skutecznej heurystyki, aby określić, czy żądanie pamięci powinno być buforowane czy pominięte na podstawie jego odległości ponownego użycia. Schemat dostosowuje się do zachowania aplikacji w czasie rzeczywistym i może znacznie zmniejszyć zanieczyszczenie pamięci podręcznej i poprawić wydajność.

Innym przykładem jest praca Vijaykumara i in. [2015], która proponuje architekturę skompresowanej pamięci podręcznej dla GPU. Autorzy zauważają, że wiele aplikacji GPU wykazuje znaczną redundancję danych, którą można wykorzystać, aby zwiększyć efektywną pojemność pamięci podręcznej. Proponują oni nowy schemat kompresji, który może osiągnąć wysokie współczynniki kompresji, jednocześnie powodując minimalny narzut opóźnienia.

### Priorytetyzacja żądań pamięci i omijanie pamięci podręcznej
W GPU, żądania pamięci z różnych warpi i wątków mogą mieć różne poziomy krytyczności i wpływ na ogólną wydajność. Priorytetyzacja krytycznych żądań i omijanie nieistotnych może pomóc w zmniejszeniu opóźnienia pamięci i poprawie wykorzystania zasobów.

Badania w tej dziedzinie badają techniki identyfikacji i priorytetyzacji krytycznych żądań pamięci, a także mechanizmy selektywnego omijania pamięci podręcznej.

Na przykład, Jog i in. [2013] proponują schemat priorytetyzacji żądań pamięci o nazwie "Critical-Aware Warp Acceleration" (CAWA). CAWA identyfikuje krytyczne warpy, które prawdopodobnie spowodują zablokowanie potoku, i priorytetyzuje ich żądania pamięci nad żądaniami warpów nieistotnych. Schemat wykorzystuje kombinację informacji statycznych i dynamicznych, takich jak liczba zależnych instrukcji i wiek warpu, aby określić krytyczność.

Lee i in. [2015] proponują schemat omijania pamięci podręcznej dla GPU, który ma na celu zmniejszenie zanieczyszczenia pamięci podręcznej i poprawę terminowości dostępów do pamięci. Schemat wykorzystuje oparty na PC schemat omijania pamięci podręcznej, który dynamicznie dostosowuje się do zachowania aplikacji.Oto tłumaczenie pliku Markdown na język polski. Komentarze w kodzie zostały przetłumaczone, a sam kod pozostał niezmieniony.

Mechanizm predykcji do identyfikacji żądań pamięci, które prawdopodobnie nie odniosą korzyści z pamięci podręcznej, i omijanie ich bezpośrednio do niższego poziomu hierarchii pamięci. Autorzy pokazują, że ich schemat może znacząco poprawić wydajność i efektywność energetyczną w porównaniu do podstawowej architektury GPU bez omijania.

### Wykorzystywanie heterogeniczności międzywątkowej
Procesory GPU wykonują jednocześnie dużą liczbę wątków, aby ukryć opóźnienia pamięci i osiągnąć wysoką przepustowość. Jednak różne wątki mogą wykazywać znaczną heterogeniczność pod względem wymagań zasobów, wzorców dostępu do pamięci i charakterystyki wydajności.

Badania w tej dziedzinie mają na celu wykorzystanie tej heterogeniczności międzywątkowej w celu poprawy alokacji zasobów, harmonogramowania i zarządzania pamięcią w procesorach GPU.

Na przykład Kayıran i in. [2014] proponują schemat zarządzania pamięcią podręczną świadomy rozbieżności na poziomie wątków, który dynamicznie dostosowuje polityki alokacji i wymiany pamięci podręcznej w oparciu o charakterystykę rozbieżności każdego wątku. Wątki o wysokiej rozbieżności otrzymują więcej zasobów pamięci podręcznej, aby zmniejszyć rozbieżność pamięci, podczas gdy wątki o niskiej rozbieżności otrzymują mniej zasobów, aby poprawić wykorzystanie pamięci podręcznej.

Innym przykładem jest praca Sethii i in. [2015], która proponuje projekt kontrolera pamięci wykorzystujący heterogeniczność międzywątkową w celu poprawy równoległości na poziomie banków pamięci DRAM. Autorzy zauważają, że różne wątki mogą mieć różne stopnie równoległości na poziomie banków, i proponują algorytm harmonogramowania pamięci świadomy wątków, który priorytetyzuje wątki o wysokiej równoległości banków, aby zmniejszyć rywalizację o pamięć i poprawić przepustowość systemu.

### Skoordynowane omijanie pamięci podręcznej
Omijanie pamięci podręcznej to technika, która pozwala żądaniom pamięci pominąć pamięć podręczną i bezpośrednio uzyskać dostęp do niższego poziomu hierarchii pamięci. Chociaż omijanie może pomóc w zmniejszeniu zanieczyszczenia pamięci podręcznej i poprawie terminowości dostępu do pamięci, nieskoordynowane decyzje o omijaniu między różnymi rdzeniami i sekcjami pamięci mogą prowadzić do suboptymalneOto polski przekład pliku w formacie Markdown. Dla kodu, nie tłumaczono kodu, tylko komentarze.

Wykorzystanie koordynacji decyzji o ominięciu pamięci podręcznej na GPU w celu poprawy ogólnej wydajności systemu i wykorzystania zasobów.

Na przykład Li i in. [2015] proponują skoordynowany schemat ominięcia pamięci podręcznej dla procesorów GPU, który wykorzystuje scentralizowany kontroler ominięcia do podejmowania globalnych decyzji o ominięciu. Kontroler zbiera informacje o czasie działania z każdego rdzenia, takie jak wskaźniki błędów pamięci podręcznej i wzorce dostępu do pamięci, i wykorzystuje te informacje do określenia optymalnej strategii ominięcia dla każdego rdzenia. Autorzy pokazują, że ich schemat może znacznie poprawić wydajność i efektywność energetyczną w porównaniu z nieskoordynowanym ominięciem.

### Adaptacyjne zarządzanie pamięcią podręczną
Optymalna konfiguracja pamięci podręcznej dla aplikacji GPU może znacznie różnić się w zależności od jej wzorców dostępu do pamięci, rozmiaru zestawu roboczego i wymagań dotyczących zasobów. Statyczne zasady zarządzania pamięcią podręczną, które są ustalone w czasie projektowania, mogą nie być w stanie dostosować się do różnorodnego i dynamicznego zachowania różnych aplikacji.

Badania w tej dziedzinie badają techniki dynamicznego dostosowywania konfiguracji i zasad zarządzania pamięcią podręczną w oparciu o zachowanie aplikacji w czasie działania.

Na przykład Wang i in. [2016] proponują adaptacyjny schemat zarządzania pamięcią podręczną dla procesorów GPU, który dynamicznie dostosowuje rozmiary partycji pamięci podręcznej i zasady zastępowania w oparciu o wzorce dostępu do pamięci aplikacji. Schemat wykorzystuje kombinację technik sprzętowych i programowych do monitorowania zachowania pamięci podręcznej i dokonywania dynamicznych dostosowań w celu poprawy wykorzystania i wydajności pamięci podręcznej.

Innym przykładem jest praca Dai i in. [2018], która proponuje oparty na uczeniu maszynowym podejście do adaptacyjnego zarządzania pamięcią podręczną w procesorach GPU. Autorzy wykorzystują uczenie ze wzmocnieniem do automatycznego uczenia optymalnej konfiguracji pamięci podręcznej dla każdej aplikacji w oparciu o jej zachowanie w czasie działania. Wyuczone zasady są następnie wdrażane przy użyciu rekonfigurowalnej architektury pamięci podręcznej, która może dostosować się do konkretnych potrzeb każdej aplikacji.

### Priorytetyzacja pamięci podręcznej
W procesorach GPU różne typyOto polski przekład pliku:

Żądania pamięci, takie jak ładowanie, przechowywanie i żądania tekstury, mogą mieć różne wymagania dotyczące opóźnień i przepustowości. Priorytetyzacja określonych typów żądań nad innymi może pomóc w poprawie ogólnej wydajności systemu i wykorzystania zasobów.

Badania w tej dziedzinie badają techniki priorytetyzacji różnych typów żądań pamięci w hierarchii pamięci podręcznej GPU.

Na przykład Zhao i in. [2018] proponują schemat priorytetyzacji pamięci podręcznej dla GPU, który przypisuje różne priorytety różnym typom żądań pamięci w oparciu o ich krytyczność i wrażliwość na opóźnienia. Schemat wykorzystuje kombinację statycznych i dynamicznych informacji, takich jak typ instrukcji i liczba zależnych instrukcji, aby określić priorytet każdego żądania. Autorzy pokazują, że ich schemat może znacząco poprawić wydajność i efektywność energetyczną w porównaniu do podstawowego GPU bez priorytetyzacji.

### Rozmieszczenie stron pamięci wirtualnej
Tradycyjnie GPU polegały na ręcznym zarządzaniu pamięcią, gdzie programista jest odpowiedzialny za jawne alokowanie i zwalnianie pamięci. Jednak najnowsze GPU zaczęły obsługiwać pamięć wirtualną, co pozwala systemowi operacyjnemu na automatyczne zarządzanie alokacją i rozmieszczeniem pamięci.

Badania w tej dziedzinie badają techniki optymalizacji rozmieszczenia stron pamięci wirtualnej w GPU w celu poprawy lokalności dostępu do pamięci i zmniejszenia narzutu tłumaczenia adresów.

Na przykład Zheng i in. [2016] proponują schemat rozmieszczania stron dla GPU, który ma na celu poprawę lokalności dostępu do pamięci poprzez umieszczanie stron, do których często się odwołuje, w tym samym kanale lub banku pamięci. Schemat wykorzystuje kombinację technik sprzętowych i programowych do monitorowania wzorców dostępu do pamięci aplikacji i podejmowania dynamicznych decyzji o rozmieszczeniu stron.

Innym przykładem jest praca Ganguly'ego i in. [2019], która proponuje schemat zarządzania pamięcią wirtualną dla GPU, mający na celu zmniejszenie narzutu tłumaczenia adresów. Schemat wykorzystuje kombinację technik sprzętowych i programowych.Proszę o dostarczenie polskiego tłumaczenia tego pliku Markdown. W przypadku kodu, nie tłumacz kodu, tylko tłumacz komentarze. Oto plik:

, takie jak buforowanie translacji adresów (TLB) i kompresja tabeli stron, w celu zmniejszenia opóźnienia i zużycia przepustowości podczas translacji adresów.

### Umieszczenie danych
Umieszczenie danych w hierarchii pamięci GPU może mieć znaczący wpływ na lokalność dostępu do pamięci i wydajność. Optymalizacja umieszczenia danych może pomóc w zmniejszeniu opóźnienia pamięci, poprawie wykorzystania pamięci podręcznej i zwiększeniu wykorzystania przepustowości pamięci.

Badania w tej dziedzinie badają techniki optymalizacji umieszczenia danych w GPU w oparciu o wzorce dostępu do pamięci i wymagania zasobów aplikacji.

Na przykład Agarwal i in. [2015] proponują schemat umieszczenia danych dla GPU, który ma na celu poprawę lokalności dostępu do pamięci poprzez umieszczanie danych, do których często się odwołuje, w tym samym kanale lub banku pamięci. Schemat wykorzystuje kombinację analizy statycznej i dynamicznej, aby określić optymalne umieszczenie danych dla każdej aplikacji.

Innym przykładem jest praca Tanga i in. [2017], która proponuje schemat umieszczenia danych dla GPU, mający na celu poprawę wykorzystania przepustowości pamięci poprzez umieszczanie danych w różnych kanałach pamięci w zależności od ich wzorców dostępu. Schemat wykorzystuje podejście oparte na uczeniu maszynowym do przewidywania wzorców dostępu do pamięci aplikacji i podejmowania dynamicznych decyzji o umieszczeniu danych.

### Wieloczipowe moduły GPU
Ponieważ wymagania dotyczące wydajności i mocy GPU stale rosną, tradycyjne projekty jednoczipowe mogą nie być w stanie nadążyć za tym zapotrzebowaniem. Projekty wieloczipowe (MCM), w których wiele układów GPU jest zintegrowanych w jednym pakiecie, wyłoniły się jako obiecujące rozwiązanie tego problemu.

Badania w tej dziedzinie badają projektowanie i optymalizację wieloczipowych modułów GPU, w tym architekturę systemu pamięci, projekt połączeń i zarządzanie zasobami.

Na przykład Arunkumar i in. [2017] proponują projekt GPU MCM, który wykorzystuje szybkie, niskooóźnione połączenie do łączenia wielu układów GPU. Autorzy proponują również architekturę systemu pamięci, która wykorzystujeProszę o polskie tłumaczenie tego pliku Markdown. W przypadku kodu, nie tłumacz kodu, tylko komentarze. Oto plik:

Wykorzystanie zwiększonej przepustowości i pojemności projektu MCM w celu poprawy wydajności i efektywności energetycznej.

Innym przykładem jest praca Milica i in. [2018], która proponuje schemat zarządzania zasobami dla kart graficznych MCM, mający na celu poprawę wykorzystania zasobów i zmniejszenie narzutu komunikacji międzychipowej. Schemat wykorzystuje kombinację technik sprzętowych i programowych do monitorowania wykorzystania zasobów i wzorców komunikacji aplikacji oraz podejmowania dynamicznych decyzji o alokacji zasobów.

## Wniosek
System pamięci jest kluczowym elementem nowoczesnych architektur kart graficznych, a jego projekt i optymalizacja mogą mieć znaczący wpływ na ogólną wydajność i efektywność systemu. Wraz ze wzrostem wymagań obciążeń równoległych, badacze eksplorują szeroką gamę technik mających na celu poprawę wydajności, skalowalności i adaptacyjności systemów pamięci kart graficznych.

Niektóre z kluczowych kierunków badawczych w tej dziedzinie obejmują: harmonogramowanie dostępu do pamięci i projektowanie połączeń, efektywność pamięci podręcznej, priorytetyzacja żądań pamięci i omijanie pamięci podręcznej, wykorzystywanie heterogeniczności międzywątków, skoordynowane omijanie pamięci podręcznej, adaptacyjne zarządzanie pamięcią podręczną, priorytetyzacja pamięci podręcznej, rozmieszczenie stron pamięci wirtualnej, rozmieszczenie danych oraz projekty modułów wieloczipowych.

Poprzez eksplorację tych i innych technik, badacze dążą do opracowania systemów pamięci kart graficznych, które będą w stanie sprostać rosnącym wymaganiom obciążeń równoległych, zachowując przy tym wysoką wydajność i efektywność energetyczną. Ponieważ karty graficzne nadal ewoluują i znajdują nowe zastosowania w takich obszarach, jak uczenie maszynowe, obliczenia naukowe i analityka danych, projektowanie i optymalizacja ich systemów pamięci pozostanie ważnym obszarem badań i innowacji.