温馨提示:本文翻译自stackoverflow.com，查看原文请点击：apache spark - How to get the schema definition from a dataframe in PySpark?

apache-spark azure-databricks dataframe pyspark schema

apache spark - 如何从PySpark中的数据框获取架构定义？

发布于 2020-04-26 18:24:06

在PySpark中，您可以定义一个架构并使用此预定义的架构读取数据源，例如：

Schema = StructType([ StructField("temperature", DoubleType(), True),
                      StructField("temperature_unit", StringType(), True),
                      StructField("humidity", DoubleType(), True),
                      StructField("humidity_unit", StringType(), True),
                      StructField("pressure", DoubleType(), True),
                      StructField("pressure_unit", StringType(), True)
                    ])

对于某些数据源，可以从数据源推断模式并使用此模式定义获取数据框。

是否可以从以前推断过数据的数据帧中获得模式定义（以上述形式）？

df.printSchema() 将模式打印为树，但是我需要重用该模式（如上定义），因此我可以从以前从另一个数据源推断出的该模式读取一个数据源。

提问者

Hauke Mallow

被浏览

19

查看英文版

查看原文

community wiki 2019-02-03 21:06

是的，有可能。采用DataFrame.schema property

schema

以pyspark.sql.types.StructType的形式返回此DataFrame的架构。
>>> df.schema
StructType(List(StructField(age,IntegerType,true),StructField(name,StringType,true)))
1.3版的新功能。

架构也可以导出为JSON，并在需要时导入回来。

热门帖子

1

海外服务器该怎么选择

2

v 友们帮推荐最便宜的国外服务器。用来做币安量化交易的。跑 node，性能没有要求。

3

收一些硬盘或者 NAS 的发票

4

分手了，求 v 友把我骂醒

5

M3Max 日常开发重度用，体验如何？

6

轻量级主机及 Docker 容器监控工具 Amprobe 已更新至 v1.3.1 版本

7

零基础轻松入门前端，适合在校生、前端初学、后端开发者， V 友专属 7 折优惠，盖楼抽奖再送 3 个人

8

这样的看板你喜欢吗？

9

如何动态的去继承一个类，而不是去写一个类文件去 extends 继承

10

一个审美不错的图片转动漫风格的 AI 网站

相关问题

1

SQL插入是否影响列顺序

2

建议的将数据库字段名称编码为XML标记的方法

3

指定用于初始化的未知版本：3.1.0 schemaTool失败

4

如何出于SEO目的将JSON-LD面包屑架构添加到我的网站导航

5

我可以在JSON模式中使用$ ref来引用另一个对象中的对象吗？

6

使用pyspark使用新架构从另一个实木复合地板中写入实木复合地板

7

验证和清理来自REST API的JSON响应的正确方法是什么？

8

验证日期，然后将其传输到iso字符串 React

9

如何在Python中验证字典的结构（或架构）？

10

在laravel模式中为价格创建一个列

热门github

1

Implementation of paper - YOLOv9: Learning What You Want to Learn Using Programmable Gradient Information (翻译：论文实现——YOLOv9: Learning What You Want to Learn using Programmable Gradient Information（利用可编程梯度信息学习您想学的内容）)

2

A Windows and Office activator using HWID / Ohook / KMS38 / Online KMS activation methods, with a focus on open-source code and fewer antivirus detections. (翻译：使用 HWID / KMS38 / Online KMS 激活方法激活 Microsoft 产品的脚本集合，重点是开源代码、较少的防病毒检测和用户友好性。)

3

Get up and running with Llama 2, Mistral, Gemma, and other large language models. (翻译：启动并运行 Llama 2、Mistral、Gemma 和其他大型语言模型。)

4

该项目可以让你通过订阅的方式使用Cloudflare WARP+，自动获取流量。This project enables you to use Cloudflare WARP+ through subscription, automatically acquiring traffic.

5

Multi functional app to find duplicates, empty folders, similar images etc. (翻译：多功能应用程序可查找重复项、空文件夹、相似图像等。)

6

Xray panel supporting multi-protocol multi-user expire day & traffic & ip limit (Vmess & Vless & Trojan & ShadowSocks & Wireguard) (翻译：Xray面板支持多协议多用户到期日&流量&IP限制（Vmess & Vless & Trojan & ShadowSocks & Wireguard)

7

The Free Software Media System (翻译：Jellyfin 是一个免费软件媒体系统，可让您控制管理和流式传输您的媒体。它是专有 Emby 和 Plex 的替代方案，通过多个应用程序从专用服务器向最终用户设备提供媒体。)

8

lightweight, standalone C++ inference engine for Google's Gemma models. (翻译：适用于 Google Gemma 模型的轻量级独立 C++ 推理引擎。)

9

📚 Freely available programming books (翻译：📚 免费提供的编程书籍)

10

A collective list of free APIs (翻译：免费 API 的集合列表)

11

1️⃣🐝🏎️ The One Billion Row Challenge -- A fun exploration of how quickly 1B rows from a text file can be aggregated with Java (翻译：十亿行挑战 —— 使用 Java 对文本文件中的 10 亿行数据进行聚合的有趣探索)

12

🎓 Path to a free self-taught education in Computer Science! (翻译：🎓计算机科学免费自学教程！)

13

Curso para aprender el lenguaje de programación Python desde cero y para principiantes. 75 clases, 37 horas en vídeo, código, proyectos y grupo de chat. Fundamentos, frontend, backend, testing, IA... (翻译：从零开始学习 Python 编程语言的课程，适合初学者)

14

This repository contains System Design resources which are useful while preparing for interviews and learning Distributed Systems (翻译：该存储库包含系统设计资源，在准备面试和学习分布式系统时非常有用)

15

Mamba is a new state space model architecture showing promising performance on information-dense data such as language modeling, where previous subquadratic models fall short of Transformers. It is based on the line of progress on structured state space models, with an efficient hardware-aware design and implementation in the spirit of FlashAttention. (翻译：Mamba 是一种新的状态空间模型架构，在信息密集型数据（例如语言建模）上显示出良好的性能，而之前的二次模型在 Transformers 方面存在不足。它基于结构化状态空间模型的进展，并本着FlashAttention的精神进行高效的硬件感知设计和实现。)