Chương 4: Thiết kế Hệ thống Bộ nhớ GPU

                                    Bộ chuyển mạch địa chỉ
                                          |
                                          v
                        Mảng Dữ liệu (Có thể cấu hình thành Scratchpad hoặc Cache)
                                          |
                                          v  
                                    Bộ chuyển mạch Dữ liệu
                                          |
                                          v
                                 Đơn vị Tải/Lưu
```Hình 4.1: Tổ chức bộ nhớ cache dữ liệu L1 và bộ nhớ scratchpad thống nhất.

Các thành phần chính của thiết kế này là:

1. **Mảng Dữ Liệu**: Một cấu trúc SRAM được chia thành nhiều ngăn có thể được cấu hình thành bộ nhớ scratchpad hoặc cache dữ liệu L1. Mỗi ngăn có độ rộng 32-bit và có bộ giải mã riêng để truy cập độc lập.

2. **Crossbar Địa Chỉ**: Phân phối các địa chỉ bộ nhớ từ đơn vị tải/lưu trữ đến các ngăn thích hợp trong mảng dữ liệu.

3. **Crossbar Dữ Liệu**: Định tuyến dữ liệu từ các ngăn đến đơn vị tải/lưu trữ, sau đó ghi dữ liệu vào tệp thanh ghi.

4. **Đơn Vị Tải/Lưu Trữ**: Tính toán địa chỉ bộ nhớ, áp dụng các quy tắc kết hợp và chia các truy cập bộ nhớ thành các truy cập kết hợp riêng lẻ.

Các truy cập bộ nhớ scratchpad bỏ qua giai đoạn tra cứu thẻ, vì bộ nhớ được ánh xạ trực tiếp. Xung đột ngăn được xử lý bằng cách chia các truy cập xung đột thành nhiều chu kỳ, với các phần xung đột được phát lại trong các chu kỳ tiếp theo.

Cache dữ liệu L1 được sử dụng để lưu trữ một tập con của không gian địa chỉ bộ nhớ toàn cục. Các truy cập vào cache dữ liệu L1 liên quan đến việc tra cứu thẻ để xác định xem dữ liệu được yêu cầu có hiện diện hay không. Kích thước khối cache là thường 128 byte, có thể được chia thành các phân đoạn 32 byte để khớp với kích thước dữ liệu tối thiểu có thể được đọc từ DRAM đồ họa (ví dụ: GDDR5) trong một lần truy cập.

### Cache Texture L1

Bộ nhớ texture là một không gian bộ nhớ chỉ đọc được tối ưu hóa cho tính cục bộ không gian và thường được sử dụng trong các tải đồ họa. Cache texture L1 được thiết kế để khai thác tính cục bộ không gian 2D có trong các truy cập texture.

Hình 4.2 cho thấy một tổ chức cache texture L1 điển hình.Bộ lọc Texture
                                  |
                                  v
                           Các Texel đã được lọc

                                Yêu cầu Bộ nhớ
                                       |
                                       v
                                  Bộ điều khiển Cache
                                 /             \
                                /               \
                               /                 \
                              v                   v
                      Phân vùng Cache Dữ liệu   Phân vùng Cache Texture
                              |
```Đây là bản dịch tiếng Việt của tệp Markdown:

        Lõi   Lõi   Lõi   Lõi
         |      |      |      |
        ——     ——     ——     ——  
         |      |      |      |
        Lõi   Lõi   Lõi   Lõi
         |      |      |      |
        ——     ——     ——     ——
         |      |      |      |  
        Bộ    Bộ    Bộ    Bộ
        nhớ   nhớ   nhớ   nhớ
        phân  phân  phân  phân
        vùng  vùng  vùng  vùng

Hình 4.4: Mạng liên kết lưới trong một GPU.

Mạng liên kết lưới cho phép truyền dữ liệu hiệu quả giữa các lõi và các phân vùng bộ nhớ, đồng thời giảm thiểu diện tích và tiêu hao năng lượng. Các thuật toán định tuyến nâng cao và cơ chế điều khiển luồng được sử dụng để đảm bảo hiệu suất cao và tránh tắc nghẽn.

## Bộ phận Phân vùng Bộ nhớ

Bộ phận Phân vùng Bộ nhớ chịu trách nhiệm xử lý các yêu cầu bộ nhớ từ các lõi GPU và quản lý bộ nhớ DRAM ngoài chip. Mỗi phân vùng bộ nhớ thường bao gồm một bộ nhớ cache L2, hỗ trợ các thao tác nguyên tử và một bộ lập lịch truy cập bộ nhớ.

### Bộ nhớ Cache L2

Bộ nhớ cache L2 là một bộ nhớ cache được chia sẻ nằm giữa các lõi GPU và bộ nhớ DRAM ngoài chip. Mục đích chính của nó là giảm số lượng truy cập vào bộ nhớ DRAM có độ trễ cao và tiêu tốn năng lượng bằng cách lưu trữ dữ liệu được truy cập thường xuyên.

Bộ nhớ cache L2 của GPU thường được thiết kế dưới dạng bộ nhớ cache liên kết tập hợp, ghi ngược với dung lượng lớn (ví dụ: 2-4 MB) và băng thông cao. Bộ nhớ cache L2 được phân chia trên nhiều phân vùng bộ nhớ để cho phép truy cập song song và cải thiện hiệu suất.

Hình 4.5 minh họa cấu trúc của bộ nhớ cache L2 trong một phân vùng bộ nhớ GPU.

Hình 4.5: Tổ chức bộ nhớ cache L2 trong một phân vùng bộ nhớ GPU.

Bộ điều khiển bộ nhớ cache L2 nhận các yêu cầu bộ nhớ từ các lõi GPU và kiểm tra mảng tag để xác định xem dữ liệu được yêu cầu có hiện diện trong bộ nhớ cache hay không. Khi có hit cache, dữ liệu được lấy từ mảng dữ liệu và gửi trở lại lõi yêu cầu. Khi có miss cache, yêu cầu được chuyển tiếp đến bộ lập lịch bộ nhớ, sau đó lấy dữ liệu từ DRAM.

### Các thao tác nguyên tử

Các thao tác nguyên tử rất quan trọng cho việc đồng bộ hóa và giao tiếp giữa các luồng trong các tải công việc song song. GPU hỗ trợ nhiều loại thao tác nguyên tử khác nhau, như cộng, tối thiểu, tối đa và so sánh-và-hoán đổi, đảm bảo tính nguyên tử khi nhiều luồng truy cập cùng một vị trí bộ nhớ.

Các thao tác nguyên tử thường được thực hiện trong các đơn vị phân vùng bộ nhớ để đảm bảo thực hiện với độ trễ thấp và thông lượng cao. Các đơn vị phần cứng chuyên dụng, như các đơn vị thao tác nguyên tử (AOU), được sử dụng để xử lý các yêu cầu nguyên tử một cách hiệu quả.

Hình 4.6 cho thấy một ví dụ về đơn vị thao tác nguyên tử trong một phân vùng bộ nhớ GPU.

Hình 4.6: Đơn vị thao tác nguyên tử trong một phân vùng bộ nhớ GPU.

AOU nhận các yêu cầu nguyên tử từ các lõi GPU và thực hiện thao tác được yêu cầu trên vị trí bộ nhớ đích. Nếu vị trí bộ nhớ có trong bộ nhớ cache L2, AOU sẽ cập nhật trực tiếp dữ liệu cache. Nếu vị trí bộ nhớ không được lưu trong cache, AOU sẽ lấy dữ liệu từ DRAM, thực hiện thao tác nguyên tử, và sau đó ghi kết quả trở lại DRAM.

### Bộ lập lịch truy cập bộ nhớ

Bộ lập lịch truy cập bộ nhớ chịu trách nhiệm quản lý luồng
```Dưới đây là bản dịch tiếng Việt của tệp Markdown:

Các yêu cầu bộ nhớ đến DRAM ngoài chip. Mục tiêu chính của nó là tối đa hóa việc sử dụng băng thông DRAM trong khi giảm thiểu độ trễ của các truy cập bộ nhớ.

Các bộ lập lịch bộ nhớ GPU sử dụng các thuật toán lập lịch và tối ưu hóa khác nhau để đạt hiệu suất cao. Một số kỹ thuật phổ biến bao gồm:

1. **Lập lịch ngoài thứ tự**: Sắp xếp lại các yêu cầu bộ nhớ để tối đa hóa các lần trúng bộ đệm hàng và giảm thiểu chi phí khởi động và kích hoạt DRAM.

2. **Song song cấp ngân hàng**: Khai thác sự song song có sẵn trên nhiều ngân hàng DRAM để cho phép truy cập đồng thời vào các vùng bộ nhớ khác nhau.

3. **Tối ưu hóa chuyển đổi từ ghi sang đọc**: Giảm thiểu độ trễ phạt khi chuyển đổi giữa các hoạt động ghi và đọc trong DRAM.

4. **Phân tán địa chỉ**: Phân phối các truy cập bộ nhớ trên các kênh, hàng và ngân hàng khác nhau để tối đa hóa sự song song và tránh tranh chấp.

Hình 4.7 minh họa một cái nhìn tổng quan về bộ lập lịch truy cập bộ nhớ trong một phân vùng bộ nhớ GPU.

Hình 4.7: Bộ lập lịch truy cập bộ nhớ trong một phân vùng bộ nhớ GPU.

Bộ lập lịch bộ nhớ nhận các yêu cầu bộ nhớ từ bộ nhớ cache L2 và các đơn vị thao tác nguyên tử và quyết định khi nào và theo thứ tự nào để gửi các yêu cầu này đến DRAM. Bằng cách lập lịch cẩn thận các truy cập bộ nhớ, bộ lập lịch có thể cải thiện đáng kể việc sử dụng băng thông DRAM và giảm độ trễ truy cập bộ nhớ trung bình.

## Nghiên cứuHướng dẫn cho Hệ thống Bộ nhớ GPU

Khi kiến trúc GPU tiếp tục phát triển và nhu cầu của các tải công việc song song ngày càng tăng, có nhiều hướng nghiên cứu nhằm cải thiện hiệu suất và hiệu quả của các hệ thống bộ nhớ GPU. Một số lĩnh vực nghiên cứu chính bao gồm:

### Lập lịch Truy cập Bộ nhớ và Thiết kế Mạng Liên kết
Khi số lõi và phân vùng bộ nhớ trong GPU tiếp tục tăng, thiết kế bộ lập lịch truy cập bộ nhớ và mạng liên kết trở nên quan trọng để đạt được hiệu suất cao. Nghiên cứu trong lĩnh vực này tập trung vào việc phát triển các thuật toán lập lịch và topo-lô-gi liên kết mới có thể xử lý hiệu quả sự song song hóa và các mẫu truy cập bộ nhớ phức tạp của các tải công việc GPU.

Ví dụ, Jia và cộng sự [2012] đề xuất một thuật toán lập lịch bộ nhớ gọi là "Lập lịch Bộ nhớ Phân đoạn" (SMS) nhằm cải thiện sự song song cấp ngân hàng DRAM và giảm độ trễ truy cập bộ nhớ. SMS chia hàng đợi yêu cầu bộ nhớ thành hai giai đoạn: hình thành lô và lập lịch lô. Trong giai đoạn hình thành lô, các yêu cầu được nhóm thành các lô dựa trên địa chỉ ngân hàng và hàng của chúng để khai thác tính cục bộ hàng. Trong giai đoạn lập lịch lô, các lô được ưu tiên dựa trên độ tuổi và tính quan trọng của chúng để đảm bảo công bằng và giảm tình trạng tắc nghẽn.

Một ví dụ khác là công trình của Kim và cộng sự [2012], đề xuất một kiến trúc bộ nhớ băng thông cao (HBM) cho GPU. HBM xếp chồng nhiều die DRAM lên nhau và kết nối chúng bằng cách sử dụng các qua-silic (TSV), cho phép băng thông cao hơn nhiều và độ trễ thấp hơn so với các bộ nhớ GDDR truyền thống. Các tác giả cũng đề xuất một thiết kế bộ điều khiển bộ nhớ mới có thể quản lý hiệu quả sự song song hóa và độ phức tạp tăng lên của HBM.

### Hiệu quả của Bộ nhớ Cache
GPU sử dụng nhiều cơ chế bộ nhớ cache để giảm số lượng truy cập bộ nhớ ngoài chip và cải thiện hiệu suất. Tuy nhiên, hiệu quả của các bộ nhớ cache này có thể thay đổi đáng kể tùy thuộc vào đặc điểm của tải công việc và thiết kế bộ nhớ cache.Nghiên cứu trong lĩnh vực này nhằm mục đích cải thiện hiệu quả của bộ nhớ cache GPU thông qua các kỹ thuật như bỏ qua bộ nhớ cache, nén bộ nhớ cache và quản lý bộ nhớ cache thích ứng.

Ví dụ, Huangfu và Xie [2016] đề xuất một lược đồ bỏ qua bộ nhớ cache động cho GPU sử dụng một heuristic đơn giản nhưng hiệu quả để xác định xem một yêu cầu bộ nhớ có nên được lưu vào bộ nhớ cache hay bỏ qua dựa trên khoảng cách tái sử dụng của nó. Lược đồ này thích ứng với hành vi thời gian chạy của ứng dụng và có thể giảm đáng kể ô nhiễm bộ nhớ cache và cải thiện hiệu suất.

Một ví dụ khác là công trình của Vijaykumar và cộng sự [2015], đề xuất một kiến trúc bộ nhớ cache nén cho GPU. Các tác giả nhận thấy rằng nhiều ứng dụng GPU thể hiện sự d冀 thừa dữ liệu đáng kể, có thể được khai thác để tăng dung lượng hiệu quả của các bộ nhớ cache. Họ đề xuất một lược đồ nén mới có thể đạt được tỷ lệ nén cao trong khi chỉ gây ra ít chi phí về độ trễ.

### Ưu tiên yêu cầu bộ nhớ và bỏ qua bộ nhớ cache
Trên GPU, các yêu cầu bộ nhớ từ các warp và luồng khác nhau có thể có mức độ quan trọng và tác động đến hiệu suất tổng thể khác nhau. Ưu tiên các yêu cầu quan trọng và bỏ qua những yêu cầu không quan trọng có thể giúp giảm độ trễ bộ nhớ và cải thiện việc sử dụng tài nguyên.

Nghiên cứu trong lĩnh vực này khám phá các kỹ thuật để xác định và ưu tiên các yêu cầu bộ nhớ quan trọng, cũng như các cơ chế để chọn lọc bỏ qua bộ nhớ cache.

Ví dụ, Jog và cộng sự [2013] đề xuất một lược đồ ưu tiên yêu cầu bộ nhớ được gọi là "Gia tốc Warp Quan trọng-Nhận thức" (CAWA). CAWA xác định các warp quan trọng có khả năng làm tắc nghẽn đường ống và ưu tiên các yêu cầu bộ nhớ của chúng so với các warp không quan trọng. Lược đồ này sử dụng sự kết hợp của thông tin tĩnh và động, chẳng hạn như số lượng các chỉ thị phụ thuộc và tuổi của warp, để xác định mức độ quan trọng.

Lee và cộng sự [2015] đề xuất một lược đồ bỏ qua bộ nhớ cache cho GPU nhằm giảm ô nhiễm bộ nhớ cache và cải thiện tính kịp thời của các truy cập bộ nhớ. Lược đồ này sử dụng một lược đồ dựa trên PC đểĐây là bản dịch tiếng Việt của tệp Markdown này. Đối với mã, tôi không dịch mã, chỉ dịch các bình luận.

### Khai thác sự không đồng nhất giữa các warp
GPU thực hiện một số lượng lớn các warp đồng thời để ẩn độ trễ bộ nhớ và đạt được hiệu suất cao. Tuy nhiên, các warp khác nhau có thể có sự không đồng nhất đáng kể về yêu cầu tài nguyên, mẫu truy cập bộ nhớ và đặc điểm hiệu suất.

Nghiên cứu trong lĩnh vực này nhằm khai thác sự không đồng nhất này giữa các warp để cải thiện việc phân bổ tài nguyên, lập lịch và quản lý bộ nhớ trong GPU.

Ví dụ, Kayıran và cộng sự [2014] đề xuất một lược đồ quản lý bộ nhớ cache nhận thức về sự phân kỳ cấp warp, động thái điều chỉnh chính sách phân bổ và thay thế bộ nhớ cache dựa trên đặc điểm phân kỳ của từng warp. Các warp có mức phân kỳ cao được phân bổ nhiều tài nguyên bộ nhớ cache hơn để giảm sự phân kỳ bộ nhớ, trong khi các warp có mức phân kỳ thấp được phân bổ ít tài nguyên hơn để cải thiện việc sử dụng bộ nhớ cache.

Một ví dụ khác là công trình của Sethia và cộng sự [2015], đề xuất thiết kế bộ điều khiển bộ nhớ khai thác sự không đồng nhất giữa các warp để cải thiện song song cấp ngân hàng DRAM. Các tác giả nhận thấy rằng các warp khác nhau có thể có mức độ song song cấp ngân hàng khác nhau, và đề xuất một thuật toán lập lịch bộ nhớ nhận thức về warp, ưu tiên các warp có mức độ song song cấp ngân hàng cao để giảm tranh chấp bộ nhớ và cải thiện hiệu suất hệ thống.

### Bỏ qua bộ nhớ cache theo phối hợp
Bỏ qua bộ nhớ cache là một kỹ thuật cho phép các yêu cầu bộ nhớ bỏ qua bộ nhớ cache và truy cập trực tiếp vào hệ cấp bộ nhớ cấp thấp hơn. Mặc dù bỏ qua có thể giúp giảm ô nhiễm bộ nhớ cache và cải thiện tính kịp thời của các truy cập bộ nhớ, nhưng các quyết định bỏ qua không được phối hợp giữa các lõi khác nhau và các phân vùng bộ nhớ có thể dẫn đến hiệu suất không tối ưu.

Nghiên cứu trong lĩnh vực này khám phá các kỹ thuật...Đây là bản dịch tiếng Việt của tệp Markdown:

Sử dụng các kỹ thuật phối hợp để ra quyết định bỏ qua bộ nhớ cache trên GPU nhằm cải thiện hiệu suất hệ thống và sử dụng tài nguyên tổng thể.

Ví dụ, Li và cộng sự [2015] đề xuất một kế hoạch bỏ qua bộ nhớ cache phối hợp cho GPU sử dụng một bộ điều khiển bỏ qua tập trung để đưa ra các quyết định bỏ qua toàn cục. Bộ điều khiển này thu thập thông tin thời gian chạy từ mỗi lõi, như tỷ lệ trượt bộ nhớ cache và các mẫu truy cập bộ nhớ, và sử dụng thông tin này để xác định chiến lược bỏ qua tối ưu cho mỗi lõi. Các tác giả chỉ ra rằng kế hoạch của họ có thể cải thiện đáng kể hiệu suất và hiệu quả năng lượng so với việc bỏ qua không phối hợp.

### Quản lý bộ nhớ cache thích ứng
Cấu hình bộ nhớ cache tối ưu cho một ứng dụng GPU có thể thay đổi đáng kể tùy thuộc vào các mẫu truy cập bộ nhớ, kích thước tập làm việc và yêu cầu tài nguyên của nó. Các chính sách quản lý bộ nhớ cache tĩnh được cố định tại thời điểm thiết kế có thể không thể thích ứng với hành vi đa dạng và động của các ứng dụng khác nhau.

Nghiên cứu trong lĩnh vực này khám phá các kỹ thuật để động thích ứng cấu hình và chính sách quản lý bộ nhớ cache dựa trên hành vi thời gian chạy của ứng dụng.

Ví dụ, Wang và cộng sự [2016] đề xuất một kế hoạch quản lý bộ nhớ cache thích ứng cho GPU động điều chỉnh kích thước phân vùng bộ nhớ cache và chính sách thay thế dựa trên các mẫu truy cập bộ nhớ của ứng dụng. Kế hoạch này sử dụng sự kết hợp của các kỹ thuật phần cứng và phần mềm để theo dõi hành vi bộ nhớ cache và thực hiện các điều chỉnh động để cải thiện việc sử dụng và hiệu suất bộ nhớ cache.

Một ví dụ khác là công trình của Dai và cộng sự [2018], đề xuất một phương pháp dựa trên học máy để quản lý bộ nhớ cache thích ứng trên GPU. Các tác giả sử dụng học củng cố để tự động học cấu hình bộ nhớ cache tối ưu cho mỗi ứng dụng dựa trên hành vi thời gian chạy của nó. Các chính sách học được sau đó được triển khai bằng cách sử dụng một kiến trúc bộ nhớ cache có thể cấu hình lại để thích ứng với nhu cầu cụ thể của mỗi ứng dụng.

### Ưu tiên bộ nhớ cache
Trên GPU, các loạiYêu cầu bộ nhớ, như yêu cầu tải, lưu trữ và kết cấu, có thể có độ trễ và yêu cầu băng thông khác nhau. Ưu tiên một số loại yêu cầu hơn những loại khác có thể giúp cải thiện hiệu suất tổng thể của hệ thống và sử dụng tài nguyên.

Nghiên cứu trong lĩnh vực này khám phá các kỹ thuật để ưu tiên các loại yêu cầu bộ nhớ khác nhau trong hệ thống bộ nhớ cache của GPU.

Ví dụ, Zhao và cộng sự [2018] đề xuất một lược đồ ưu tiên bộ nhớ cache cho GPU, trong đó gán các mức độ ưu tiên khác nhau cho các loại yêu cầu bộ nhớ dựa trên tính quan trọng và độ nhạy cảm với độ trễ của chúng. Lược đồ này sử dụng sự kết hợp của thông tin tĩnh và động, như loại lệnh và số lượng lệnh phụ thuộc, để xác định mức độ ưu tiên của mỗi yêu cầu. Các tác giả cho thấy lược đồ của họ có thể cải thiện đáng kể hiệu suất và hiệu quả năng lượng so với GPU cơ bản không có ưu tiên.

### Đặt trang bộ nhớ ảo
GPU truyền thống đã dựa vào quản lý bộ nhớ thủ công, trong đó lập trình viên chịu trách nhiệm cấp phát và giải phóng bộ nhớ một cách rõ ràng. Tuy nhiên, các GPU gần đây đã bắt đầu hỗ trợ bộ nhớ ảo, cho phép hệ điều hành tự động quản lý cấp phát và đặt trang bộ nhớ.

Nghiên cứu trong lĩnh vực này khám phá các kỹ thuật để tối ưu hóa việc đặt trang bộ nhớ ảo trên GPU nhằm cải thiện tính cục bộ của truy cập bộ nhớ và giảm chi phí dịch địa chỉ.

Ví dụ, Zheng và cộng sự [2016] đề xuất một lược đồ đặt trang cho GPU nhằm cải thiện tính cục bộ của truy cập bộ nhớ bằng cách đặt các trang được truy cập thường xuyên cùng nhau trong cùng một kênh hoặc ngân hàng bộ nhớ. Lược đồ này sử dụng sự kết hợp của kỹ thuật phần cứng và phần mềm để theo dõi các mẫu truy cập bộ nhớ của ứng dụng và đưa ra các quyết định đặt trang động.

Một ví dụ khác là công trình của Ganguly và cộng sự [2019], đề xuất một lược đồ quản lý bộ nhớ ảo cho GPU nhằm giảm chi phí dịch địa chỉ. Lược đồ này sử dụng sự kết hợp của kỹ thuật phần cứng và phần mềm.Dưới đây là bản dịch tiếng Việt của tệp Markdown này. Đối với mã, không dịch mã, chỉ dịch các bình luận.

### Bố trí dữ liệu
Việc bố trí dữ liệu trong hệ thống bộ nhớ của GPU có thể ảnh hưởng đáng kể đến tính cục bộ của truy cập bộ nhớ và hiệu suất. Tối ưu hóa bố trí dữ liệu có thể giúp giảm độ trễ bộ nhớ, cải thiện việc sử dụng bộ nhớ cache và tăng cường sử dụng băng thông bộ nhớ.

Nghiên cứu trong lĩnh vực này khám phá các kỹ thuật để tối ưu hóa bố trí dữ liệu trên GPU dựa trên các mẫu truy cập bộ nhớ và yêu cầu về tài nguyên của ứng dụng.

Ví dụ, Agarwal và cộng sự [2015] đề xuất một lược đồ bố trí dữ liệu cho GPU nhằm cải thiện tính cục bộ của truy cập bộ nhớ bằng cách đặt dữ liệu được truy cập thường xuyên cùng nhau trong cùng một kênh hoặc ngân hàng bộ nhớ. Lược đồ này sử dụng sự kết hợp của phân tích tĩnh và động để xác định bố trí dữ liệu tối ưu cho mỗi ứng dụng.

Một ví dụ khác là công trình của Tang và cộng sự [2017], đề xuất một lược đồ bố trí dữ liệu cho GPU nhằm cải thiện việc sử dụng băng thông bộ nhớ bằng cách đặt dữ liệu vào các kênh bộ nhớ khác nhau dựa trên các mẫu truy cập của chúng. Lược đồ này sử dụng một phương pháp dựa trên học máy để dự đoán các mẫu truy cập bộ nhớ của ứng dụng và đưa ra các quyết định bố trí dữ liệu động.

### GPU đa chip
Khi hiệu suất và yêu cầu về năng lượng của GPU tiếp tục tăng, các thiết kế chip đơn truyền thống có thể không thể theo kịp nhu cầu này. Các thiết kế đa chip (MCM), nơi nhiều chip GPU được tích hợp vào một gói duy nhất, đã xuất hiện như một giải pháp hứa hẹn cho vấn đề này.

Nghiên cứu trong lĩnh vực này khám phá thiết kế và tối ưu hóa GPU MCM, bao gồm kiến trúc hệ thống bộ nhớ, thiết kế liên kết và quản lý tài nguyên.

Ví dụ, Arunkumar và cộng sự [2017] đề xuất một thiết kế GPU MCM sử dụng một liên kết băng thông cao, độ trễ thấp để kết nối nhiều chip GPU. Các tác giả cũng đề xuất một kiến trúc hệ thống bộ nhớ tận dụng các kỹ thuật như bộ đệm dịch chuyển địa chỉ (TLB) và nén bảng trang để giảm độ trễ và chi phí băng thông của việc dịch địa chỉ.Đây là bản dịch tiếng Việt của tệp Markdown:

Một ví dụ khác là công trình của Milic và cộng sự [2018], đề xuất một lược đồ quản lý tài nguyên cho GPU MCM nhằm cải thiện việc sử dụng tài nguyên và giảm chi phí giao tiếp liên chip. Lược đồ này sử dụng kết hợp các kỹ thuật phần cứng và phần mềm để theo dõi mức sử dụng tài nguyên và các mẫu giao tiếp của ứng dụng, từ đó đưa ra các quyết định phân bổ tài nguyên động.

## Kết luận
Hệ thống bộ nhớ là một thành phần quan trọng của kiến trúc GPU hiện đại, và thiết kế cũng như tối ưu hóa của nó có thể ảnh hưởng đáng kể đến hiệu suất và hiệu quả của toàn hệ thống. Khi nhu cầu của các tải công việc song song tiếp tục tăng lên, các nhà nghiên cứu đang khám phá một loạt các kỹ thuật để cải thiện hiệu suất, khả năng mở rộng và khả năng thích ứng của hệ thống bộ nhớ GPU.

Một số hướng nghiên cứu chính trong lĩnh vực này bao gồm lập lịch truy cập bộ nhớ và thiết kế liên kết, hiệu quả bộ nhớ cache, ưu tiên yêu cầu bộ nhớ và bỏ qua bộ nhớ cache, khai thác sự không đồng nhất giữa các warp, bỏ qua bộ nhớ cache phối hợp, quản lý bộ nhớ cache thích ứng, ưu tiên bộ nhớ cache, đặt trang bộ nhớ ảo, đặt dữ liệu và thiết kế mô-đun chip đa chip.

Bằng cách khám phá những kỹ thuật này và các kỹ thuật khác, các nhà nghiên cứu nhằm phát triển các hệ thống bộ nhớ GPU có thể theo kịp nhu cầu ngày càng tăng của các tải công việc song song, đồng thời vẫn duy trì hiệu suất và hiệu quả năng lượng cao. Khi GPU tiếp tục phát triển và tìm thấy các ứng dụng mới trong các lĩnh vực như học máy, tính toán khoa học và phân tích dữ liệu, thiết kế và tối ưu hóa hệ thống bộ nhớ của chúng sẽ vẫn là một lĩnh vực nghiên cứu và đổi mới quan trọng.