Jim Cownie
2020-12-07 18:13:18
“能 ...？” ：不，它不能；否则将在手册中:-)
“……？”：可能不会；编译主要是遍历数据结构，不执行并行算术运算，除了非常高级之外，显然不是并行的。一遍需要由上一遍创建的状态，因此有严格的顺序，并且你不能轻易地并行执行多个遍。（每次通过都更新代码的单个表示形式）。
当前的方法是使用make -j8或类似方法同时编译多个文件，但是即使在那里，你也不大可能拥有足够的并行度来保持GPU繁忙。
热门帖子
热门github
1
2
3
5
6
7
8
11
13
14
15
Mamba is a new state space model architecture showing promising performance on information-dense data such as language modeling, where previous subquadratic models fall short of Transformers. It is based on the line of progress on structured state space models, with an efficient hardware-aware design and implementation in the spirit of FlashAttention.
(翻译：Mamba 是一种新的状态空间模型架构，在信息密集型数据（例如语言建模）上显示出良好的性能，而之前的二次模型在 Transformers 方面存在不足。它基于结构化状态空间模型的进展，并本着FlashAttention的精神进行高效的硬件感知设计和实现。)