Eva
2019-02-25 20:57
我有使用DBFS的经验，它是一个很好的存储设备，可以保存您可以使用DBFS CLI从本地计算机上载的数据！该CLI设置有点复杂，但是当你管理，你可以很容易地围绕在这个环境中移动整个文件夹（记得使用-overwrite！）
- 创建文件夹
- 上传文件
- 修改，删除文件和文件夹
使用Scala，您可以使用以下代码轻松提取存储在该存储中的数据：
val df1 = spark
.read
.format("csv")
.option("header", "true")
.option("inferSchema", "true")
.load("dbfs:/foldername/test.csv")
.select(some_column_name)
或读入整个文件夹以处理所有csv可用文件：
val df1 = spark
.read
.format("csv")
.option("header", "true")
.option("inferSchema", "true")
.load("dbfs:/foldername/*.csv")
.select(some_column_name)
我认为它易于使用和学习，希望此信息对您有所帮助！
热门帖子
相关问题
热门github
1
2
4
The Python Risk Identification Tool for generative AI (PyRIT) is an open access automation framework to empower security professionals and machine learning engineers to proactively find risks in their generative AI systems.
(翻译：用于生成式 AI 的 Python 风险识别工具 (PyRIT) 是一个开放式访问自动化框架，使安全专业人员和机器学习工程师能够主动发现其生成式 AI 系统中的风险。)
5
7
8
9
Mamba is a new state space model architecture showing promising performance on information-dense data such as language modeling, where previous subquadratic models fall short of Transformers. It is based on the line of progress on structured state space models, with an efficient hardware-aware design and implementation in the spirit of FlashAttention.
(翻译：Mamba 是一种新的状态空间模型架构，在信息密集型数据（例如语言建模）上显示出良好的性能，而之前的二次模型在 Transformers 方面存在不足。它基于结构化状态空间模型的进展，并本着FlashAttention的精神进行高效的硬件感知设计和实现。)
10
11
13
感谢您提供的Eva，它非常有帮助，感谢您花费大量时间和精力进行详细说明