看来很基本,但根据我在databricks网站上看到的信息,我这边没有任何作用
我已经在集群上安装了koalas软件包,但是当我尝试在Scala笔记本中导入该软件包时,出现了问题。
command-3313152839336470:1: error: not found: value databricks
import databricks.koalas
如果我用Python完成,一切正常
感谢您的帮助,马特
Koalas是一个Python程序包,它模仿了Pandas(另一个Python程序包)接口。尽管该项目可能包含某些Scala代码,但目前尚未发布任何Scala版本。Koalas的目标是提供 pandas 的直接替代品,以利用Apache Spark的分布式特性。由于Pandas仅在Python上可用,因此我不希望直接在Scala上直接移植。
https://github.com/databricks/koalas
斯卡拉你最好的选择是使用星火的DataSet和数据帧的API: https://spark.apache.org/docs/latest/api/java/org/apache/spark/sql/Dataset.html https://开头databricks .com / blog / 2016/01/04 / introducing-apache-spark-datasets.html
感谢您的输入,Spark Summit的演讲让我感到困惑,该演讲提到了Scala代码:)