深入理解 GPU 计算: CUDA 编程指南

本课程介绍NVIDIA GPU 计算的基本知识, 例如 NVIDIA GPU 计算核心架构, 内存架构, 内存模型和执行模型. 在接下来的课程, 将讲述CUDA编程的技术细节, 特别在最后本课程将详细介绍规约操作. 规约是很重要的操作, 并且实现难度大. 通过本课程, 希望学生可以掌握CUDA编程的基本知识.

-- GPU 计算基本概念
-- CUDA 编程基本概念
-- 网格, 线程块, 线程多层次结构
-- 网格, 线程块与线程到实际问题如何映射
-- 硬件处理器多层次结构
-- GPU 多层次内存: 寄存器, 高速缓存, 共享内存, 全局内存
-- 线程块与线程块如何调度
-- warp 如何划分与调度
-- 全局内存如何管理
-- 共享内存如何使用
-- 如何实现 CUDA 多层次同步: 核函数, 线程块, warp
-- 什么是规约算法
-- 如何设计高效规约算法
-- 如何在warp内构造更小的线程组
-- 如何在warp内实现通信
-- 合作组 (Cooperative Groups)
-- 如何优化CUDA 程序