Warm tip: This article is reproduced from serverfault.com, please click
apache-spark apache-spark-sql aws-glue pyspark python

python-在检索pyspark数据框中的最大值时遇到麻烦

(python - Having trouble on retrieving max values in a pyspark dataframe)

发布于 2020-06-18 16:41:00

在我通过使用窗口并在一组列上划分来计算pyspark数据帧中每行5行内的数量平均值之后

from pyspark.sql import functions as F
prep_df = ...
window = Window.partitionBy([F.col(x) for x in group_list]).rowsBetween(Window.currentRow, Window.currentRow + 4)
consecutive_df = prep_df.withColumn('aveg', F.avg(prep_df['quantity']).over(window))

我正在尝试按同一组进行分组，然后选择平均值的最大值，如下所示：

grouped_consecutive_df = consecutive_df.groupBy(group_column_list).agg(F.max(consecutive_df['aveg']).alias('aveg'))

但是，当我调试时，我发现计算出的最大值是错误的。对于特定的实例，我看到检索到的最大数量甚至不在“ aveg”列中。

我想问一下我是在采取错误的方法还是错过了一些琐碎的事情。任何意见表示赞赏。

Questioner
berkin
Viewed
0
分享
berkin 2020-12-04 07:25:21

我可以通过类似的解决方法来解决此问题：在聚合之前，我将数量平均值的最大值映射到另一个新列，然后选择了组中的某行。

热门帖子

1
BT 真的死了吗
2
MES给制造业带来看得见的效益
3
Casvisor：带 Web UI 的开源堡垒机，支持 RDP、VNC、SSH 远程桌面、主机和数据库管理、批量执行命令、单点登录
4
App Store (iOS) 能不能赠送“内购项目”给别人？
5
移动芒果卡 59 月租升到 79，到处都不能办？！
6
电信千兆宽带快到期了， 1000M 价格从 139 涨到了 199，有没有什么方法转到更便宜的套餐？
7
深圳这不考虑通勤的情况下，哪里租金最便宜呢。
8
杭州余杭这边除了三甲求安利洗牙的私立牙科
9
安装一个 2 年前老版本的微信。iphone13 体验大增。十分后悔升级 ios 版本
10
在知乎做号月入 2 万的经验分享

热门github

1
Implementation of paper - YOLOv9: Learning What You Want to Learn Using Programmable Gradient Information (翻译：论文实现——YOLOv9: Learning What You Want to Learn using Programmable Gradient Information（利用可编程梯度信息学习您想学的内容）)
2
A Windows and Office activator using HWID / Ohook / KMS38 / Online KMS activation methods, with a focus on open-source code and fewer antivirus detections. (翻译：使用 HWID / KMS38 / Online KMS 激活方法激活 Microsoft 产品的脚本集合，重点是开源代码、较少的防病毒检测和用户友好性。)
3
Get up and running with Llama 2, Mistral, Gemma, and other large language models. (翻译：启动并运行 Llama 2、Mistral、Gemma 和其他大型语言模型。)
4
该项目可以让你通过订阅的方式使用Cloudflare WARP+，自动获取流量。This project enables you to use Cloudflare WARP+ through subscription, automatically acquiring traffic.
5
Multi functional app to find duplicates, empty folders, similar images etc. (翻译：多功能应用程序可查找重复项、空文件夹、相似图像等。)
6
Xray panel supporting multi-protocol multi-user expire day & traffic & ip limit (Vmess & Vless & Trojan & ShadowSocks & Wireguard) (翻译：Xray面板支持多协议多用户到期日&流量&IP限制（Vmess & Vless & Trojan & ShadowSocks & Wireguard)
7
The Free Software Media System (翻译：Jellyfin 是一个免费软件媒体系统，可让您控制管理和流式传输您的媒体。它是专有 Emby 和 Plex 的替代方案，通过多个应用程序从专用服务器向最终用户设备提供媒体。)
8
lightweight, standalone C++ inference engine for Google's Gemma models. (翻译：适用于 Google Gemma 模型的轻量级独立 C++ 推理引擎。)
9
📚 Freely available programming books (翻译：📚 免费提供的编程书籍)
10
A collective list of free APIs (翻译：免费 API 的集合列表)
11
1️⃣🐝🏎️ The One Billion Row Challenge -- A fun exploration of how quickly 1B rows from a text file can be aggregated with Java (翻译：十亿行挑战 —— 使用 Java 对文本文件中的 10 亿行数据进行聚合的有趣探索)
12
🎓 Path to a free self-taught education in Computer Science! (翻译：🎓计算机科学免费自学教程！)
13
Curso para aprender el lenguaje de programación Python desde cero y para principiantes. 75 clases, 37 horas en vídeo, código, proyectos y grupo de chat. Fundamentos, frontend, backend, testing, IA... (翻译：从零开始学习 Python 编程语言的课程，适合初学者)
14
This repository contains System Design resources which are useful while preparing for interviews and learning Distributed Systems (翻译：该存储库包含系统设计资源，在准备面试和学习分布式系统时非常有用)
15
Mamba is a new state space model architecture showing promising performance on information-dense data such as language modeling, where previous subquadratic models fall short of Transformers. It is based on the line of progress on structured state space models, with an efficient hardware-aware design and implementation in the spirit of FlashAttention. (翻译：Mamba 是一种新的状态空间模型架构，在信息密集型数据（例如语言建模）上显示出良好的性能，而之前的二次模型在 Transformers 方面存在不足。它基于结构化状态空间模型的进展，并本着FlashAttention的精神进行高效的硬件感知设计和实现。)