Raphael K
2020-12-08 03:47:34
对于第一个问题：
是的，你可以使用Databricks上的Hive Metastore并查询其中的任何表，而无需先创建DataFrames。有关数据库和表的文档是一个不错的起点。
作为一个简单的例子，你可以使用SQL或Python创建一个表：
# SQL
CREATE TABLE <example-table>(id STRING, value STRING)
# Python
dataframe.write.saveAsTable("<example-table>")
通过这种方式创建或保存表后，无需创建DataFrame或临时视图，就可以直接在SQL中对其进行访问。
# SQL
SELECT * FROM <example-table>
# Python
spark.sql("SELECT * FROM <example-table>")
对于第二个问题：
性能取决于多个因素，但总的来说，这里有一些技巧。
- 如果表很大（至少几十，几百GB），则可以按分析人员常用的谓词进行分区以过滤数据。例如，如果你通常包括一个WHERE子句，该子句包含一个日期范围或状态，则可以按这些列之一对表进行分区。这里的关键概念是数据跳过。
- 使用Delta Lake来利用
OPTIMIZE和ZORDER。OPTIMIZE帮助为Spark调整大小合适的文件，并ZORDER改善数据跳过。 - 为你的分析师将要使用的群集选择Delta Cache Accelrated instace类型。
我知道你说过没有必要在笔记本之外进行持久化，但是你可以通过创建持久化表并利用数据跳过，缓存等来提高性能。
热门帖子
热门github
1
2
4
The Python Risk Identification Tool for generative AI (PyRIT) is an open access automation framework to empower security professionals and machine learning engineers to proactively find risks in their generative AI systems.
(翻译：用于生成式 AI 的 Python 风险识别工具 (PyRIT) 是一个开放式访问自动化框架，使安全专业人员和机器学习工程师能够主动发现其生成式 AI 系统中的风险。)
5
7
8
9
Mamba is a new state space model architecture showing promising performance on information-dense data such as language modeling, where previous subquadratic models fall short of Transformers. It is based on the line of progress on structured state space models, with an efficient hardware-aware design and implementation in the spirit of FlashAttention.
(翻译：Mamba 是一种新的状态空间模型架构，在信息密集型数据（例如语言建模）上显示出良好的性能，而之前的二次模型在 Transformers 方面存在不足。它基于结构化状态空间模型的进展，并本着FlashAttention的精神进行高效的硬件感知设计和实现。)
10
11
13