Paul G.
2020-12-15 19:24:06
在CUDA中，线程ID在每个所谓的线程块中都是唯一的，这意味着你的示例内核仅在一个块工作的情况下才做正确的事情。可以在早期示例中完成此操作，以使你容易理解，但就性能而言，通常这是一件非常糟糕的事情：
对于一个块，你只能利用GPU中的多个流式多处理器（SM）之一，即使SM在等待时有足够的并行工作要做时也只能隐藏内存访问等待时间。
如果你的内核不包含循环，则单个线程块还限制了线程数，因此也限制了问题的大小，因此每个线程可以计算多个元素。
内核执行在层次结构上看得很清楚：为简单起见，我们将自己限制为一维索引，内核在所谓的gridDim.x线程块网格上执行，每个线程块包含的blockDim.x线程数由threadIdx.x每个块编号，而每个块的编号均由编号blockIdx.x。
要获取线程的唯一ID（最好使用硬件从数组中加载元素的方式），你必须采用blockIdx.x * blockDim.x + threadIdx.x。如果每个线程都要计算一个以上的元素，则使用以下形式的循环
for (int i = blockIdx.x * blockDim.x + threadIdx.x; i < InputSize; i += gridDim.x * blockDim.x) {
/* ... */
}
这称为网格跨度循环，因为它gridDim.x * blockDim.x是内核上所有工作线程的数量。不同的步幅（特别是让一个线程在连续元素上工作：步幅= 1）可能有效，但是由于非理想的内存访问模式，速度会慢得多。
热门帖子
热门github
1
2
4
The Python Risk Identification Tool for generative AI (PyRIT) is an open access automation framework to empower security professionals and machine learning engineers to proactively find risks in their generative AI systems.
(翻译：用于生成式 AI 的 Python 风险识别工具 (PyRIT) 是一个开放式访问自动化框架，使安全专业人员和机器学习工程师能够主动发现其生成式 AI 系统中的风险。)
5
7
8
9
Mamba is a new state space model architecture showing promising performance on information-dense data such as language modeling, where previous subquadratic models fall short of Transformers. It is based on the line of progress on structured state space models, with an efficient hardware-aware design and implementation in the spirit of FlashAttention.
(翻译：Mamba 是一种新的状态空间模型架构，在信息密集型数据（例如语言建模）上显示出良好的性能，而之前的二次模型在 Transformers 方面存在不足。它基于结构化状态空间模型的进展，并本着FlashAttention的精神进行高效的硬件感知设计和实现。)
10
11
13