Mark Aufflick
2009-10-19 11:59:45
你可以在Erlang中非常轻松地对类型并行性进行流水线操作。以下是我在2008年1月发布的博文中的无耻复制/粘贴内容。
另外，格拉斯哥Parallel Haskell允许并行函数组合，这相当于同一件事，为你提供隐式并行化。
你已经在管道方面进行了思考-“ gzcat foo.tar.gz | tar xf-”如何？你可能还不知道，但是shell并行运行unzip和untar-读入tar的stdin只会阻塞，直到gzcat将数据发送到stdout为止。
好吧，很多任务可以用流水线来表达，如果可以做到的话，那么使用David King的帮助程序代码（甚至跨erlang节点，即机器）就可以达到一定程度的并行化：
pipeline:run([pipeline:generator(BigList), {filter,fun some_filter/1}, {map,fun_some_map/1}, {generic,fun some_complex_function/2}, fun some_more_complicated_function/1, fun pipeline:collect/1]).因此，基本上，他在这里要做的是列出步骤列表-每个步骤都以有趣的方式实现，可以接受任何先前步骤的输出作为输入（当然，这些有趣的内容甚至可以内联定义）。请查看David的博客条目以获取代码和更详细的说明。
热门帖子
热门github
1
2
3
5
6
7
8
11
13
14
15
Mamba is a new state space model architecture showing promising performance on information-dense data such as language modeling, where previous subquadratic models fall short of Transformers. It is based on the line of progress on structured state space models, with an efficient hardware-aware design and implementation in the spirit of FlashAttention.
(翻译：Mamba 是一种新的状态空间模型架构，在信息密集型数据（例如语言建模）上显示出良好的性能，而之前的二次模型在 Transformers 方面存在不足。它基于结构化状态空间模型的进展，并本着FlashAttention的精神进行高效的硬件感知设计和实现。)
这非常符合我的想法。明天喝咖啡后，我需要再研究一点！
我接受了这个答案，因为这是我看到的最优雅的解决方案，在上面的评论中，Mark将我指向了Hartmann管道，这使我进入了基于Flow的编程。