温馨提示:本文翻译自stackoverflow.com,查看原文请点击:databricks - Impossible to import koalas in scala notebook
azure-databricks databricks scala spark-koalas

databricks - 无法在Scala笔记本电脑中导入考拉

发布于 2020-04-29 22:18:56

看来很基本,但根据我在databricks网站上看到的信息,我这边没有任何作用

我已经在集群上安装了koalas软件包,但是当我尝试在Scala笔记本中导入该软件包时,出现了问题。

command-3313152839336470:1: error: not found: value databricks
import databricks.koalas

如果我用Python完成,一切正常

详细信息集群和笔记本

感谢您的帮助,马特

查看更多

提问者
Matthieu K
被浏览
6
nathan_gs 2020-02-11 18:49

Koalas是一个Python程序包,它模仿了Pandas(另一个Python程序包)接口。尽管该项目可能包含某些Scala代码,但目前尚未发布任何Scala版本。Koalas的目标是提供 pandas 的直接替代品,以利用Apache Spark的分布式特性。由于Pandas仅在Python上可用,因此我不希望直接在Scala上直接移植。

https://github.com/databricks/koalas

斯卡拉你最好的选择是使用星火的DataSet和数据帧的API: https://spark.apache.org/docs/latest/api/java/org/apache/spark/sql/Dataset.html https://开头databricks .com / blog / 2016/01/04 / introducing-apache-spark-datasets.html