我有一个用C编写的算法。
我想使用Spark在节点集群上运行它。如何在Spark上运行C可执行文件?我已经阅读了有关执行我的二进制文件的JNI和Java Process的信息。
这是databricks上的一篇不错的文章,内容涉及如何在apache spark中运行c和c ++代码。
https://kb.databricks.com/_static/notebooks/scala/run-c-plus-plus-scala.html
将c / c ++代码移动到基础分布式文件系统后,你可以编译代码并在spark worker节点上运行。
谢谢你,伙计!现在,我了解了Spark,因为我是Spark生态系统的新手。当我完成时,我会尝试的。您提供的文章似乎正是我想要的。如果您发现类似的文章,请发布它。再次感谢你!
当然..如果这可以澄清您的问题-您能将其标记为答案吗?
当然,当我尝试它时,是否可行。