cuda
CUDA Branch Divergence
Background CUDA 的 SIMT(Single Instruction, Multiple Thread)模型为程序员提供了“每个 Thread 独立执行标量程序”的语义。在实际执行时,为了提高效率,硬件会尽量让同一个 Warp 内的 32 个 Lanes 执行相同的指令。 当同一个 Warp 内的 Threads 进入不同的控制流路径时,就会发生 Branch Divergence。CUDA 通过编译器与硬件配合,利用 Active Mask、Predication、Reconvergence 等机制处理这一问题。 可以将 CUDA 的 SIMT 理解为:在 SIMD 硬件的基础上,模拟出每个 Thread 都拥有独立控制流的执行效果。 传统