好久没有写 Spark 相关的代码了，结果写了一个如下类似的代码，在 drive 端 new 了一个 arrayList，然后再 Executor 端进行 ad...

想通过 spark sql 查询 hive 表然后将相应的字段组装成 sql，类似于 json_object ，不过可惜的是 spark 3.1.x 并没有 j...

对于spark streaming而言，第三方jar包是一个值得探讨的问题，相信大部分都是打的源码包，然后提交jar，想通过–jars $(echo spark...

1.特别是对于SparkStreaming连接kafka仅仅checkpoints也会导致数据丢失，无法保证at only one。此处着重说明一下若是因为sp...

Huong Vuong, Senior Software Engineer, Grab

PySpark作为Apache Spark的Python API，融合Python易用性与Spark分布式计算能力，专为大规模数据处理设计。支持批处理、流计算...

Apache Spark是一种基于Hadoop和MapReduce技术的开源,支持各种计算技术，以实现快速高效的处理。Spark 以其内存中集群计算而闻名，这是...

为了更好地理解，这里我们使用HDFS上常见的HDFS实现：Hadoop RDD的实现。

Spark 提供了数据的核心抽象，称为弹性分布式数据集 （RDD）。此数据集的全部或部分可以缓存在内存中，并在多次计算期间重复使用。RDD实际上是一个分布在多个...

Apache Spark 是一个闪电般的开源数据处理引擎，用于机器学习和人工智能应用程序，由最大的大数据开源社区提供支持。

Spark 是一个高效的分布式计算框架，但想要更深入地学习它，就需要分析 Spark 的源代码，这不仅可以帮助更好地了解 Spark 的工作过程，还可以提高集群...

Apache Spark 于 2013 年开源，至今仍是最受欢迎且功能强大的计算引擎之一。然而，使用Spark也面临着挑战，诸如缩容、数据倾斜和内存溢出等问题。...

💬 https://wx.focussend.com/weComLink/mobileQrCodeLink/33412/2b42f

先前遇到过一个需求，需要基于HIVE统计近N周范围的数据，例如，统计近7周范围的数据指标。

3 月 13 日，StarRocks 社区在新加坡成功举办了第二场 Meetup 活动，主题为“Empowering Customer-Facing Analy...

你是否想过，未来的语音助手不仅能“说话”，还能根据你的需求调整音色、语速甚至情绪？近日，一项名为Spark-TTS的突破性技术横空出世，它基于大语言模型（LLM...

我们首先想到的是直接使用count(disitnct amount) 的方式来完成，注意：在hive中支持count(distinct amount)over(...

目前gluten支持两种backend：clickhouse和velox，本文实践基于gluten与clickhouse组合方式。

窗口函数（Window functions）又称分析函数或开窗函数，它允许你在不改变原始行的情况下，对一组相关的行（称为“窗口”）进行计算和分析。与普通的聚合函...