2回答
举例: 2020-01-30 每隔5分钟我们将获得数据，我们将使用spark append mode将数据保存为拼图文件。一小时12个文件，一天288个文件。因此每个文件夹包含大约288个拼图文件。我将使用spark读取数据。 读取这么多文件会导致性能问题吗？ 另外，如果我每天都维护一个文件。假设每一天只包含一个拼图文件，对于一月份，包含31拼图文件。 如果我这样做，性能会有什么提高吗？
浏览 41提问于2020-01-31得票数 1
2回答
我需要使用Spark在一列中保存一个Map(键-值对)。要求是其他人可以通过其他工具使用数据，如PIG，因此最好以通用格式保存Map，而不是使用特殊格式的字符串。= true)df.write.json(path)"cMap":{"1":"a","2":"b","3":"c"}
浏览 2提问于2017-05-28得票数 0
import org.apache.spark.sql.SaveModespark.sqlContext.sql("use db")dates.foreach { date =>
.sqlContext
.sql("select * from db.orig_parquet_0 wherenot match the declared bucket count (6) for partit
浏览 1提问于2018-08-20得票数 0
1回答
我使用spark structured来读取来自Kafka主题的传入消息，并根据传入消息写入多个镶嵌表，因此我创建了一个readStream，因为Kafka源很常见，并且为每个镶嵌表在循环中创建了单独的写入流这工作得很好，但是readstream正在造成一个瓶颈，因为它为每个writeStream创建了一个readStream，并且没有办法缓存已经读取的数据帧。val kafkaDf=spark.readStream
浏览 1提问于2018-10-10得票数 0
我有一个spark作业(用于1.4.1)接收kafka事件流。我想继续保存它们作为超光速粒子上的拼花。19998/persisted5$mil")
hiveContext.sql(s"CREATE TABLE IF NOT EXISTS persisted5$mil USING org.apache.spark.sql.parquetpersisted51440201600000/part-r-00000-ce990b1e-82cc-4feb-a162-ac3ddc275609.gz.parquet, 6553
浏览 3提问于2015-08-23得票数 9
回答已采纳
4回答
镶嵌如何提高性能？
、、、、
计算更多的顶点而不是仅仅从vram中读取更多的数据会更快，这似乎与直觉相反。但是，如果内存带宽是这个问题的关键，那么为什么像位移映射这样的东西会存在呢？在镶嵌着色器中，如果你从纹理中读取，你可以访问更多的vram。纹理查找比原始顶点更便宜吗？为什么泰斯凯斯速度快？
假设你有一个32的顶点放大和一个非常低的多边形模型。这是不是比说一个更高的多边形模型，只有8的镶嵌顶点放大什么的更快。或者换句话说，你是否通过更多的上诉来线性地获得性能？
浏览 8提问于2014-07-17得票数 10
回答已采纳
1回答
镶嵌的地形大约有6,000,000个三角形。我用两种方法尝试了这一点。第二种方法:我有三个程序。令我惊讶的是，第二种方法实际上要慢得多，直到我开始使用镶嵌阶段的分离来减少地形的频率。现在的方法大致相同，但在第二种方法中，地形网格更新的频率较低。在第一种方法中，数据将直接从镶嵌着色器传递到片段着色器。所以..。
直通式顶点着色器是直接使用转换反馈缓冲区数据，还是复制每个顶点(即使是相同的)并使用复制的数据？
浏览 0提问于2018-02-20得票数 0
回答已采纳
3回答
如果我使用以下Spark命令：sqlContext.setConf("spark.sql.parquet.filterPushdown", "true")
val df = sqlContext.sql("select * from tag_data where plant_name在蜂巢和Presto中，这需
浏览 2提问于2016-05-12得票数 19
2回答
完成此操作后，我想创建一个外部表，以使用Spark SQL查询拼图记录。 这个是可能的吗？我尝试过的所有实验都表明，Spark在查询时无法读取AvroParquetWriter创建的文件。
浏览 22提问于2019-05-08得票数 0
回答已采纳
1回答
每个图元镶嵌和vao顶点预加载在性能方面有什么区别？通过vao顶点预加载，我的意思是在vao中加载所有顶点数据并渲染它，同时将镶嵌曲面保留在RAM中，而不是通过着色器管道动态创建镶嵌曲面。
浏览 0提问于2012-07-03得票数 2
回答已采纳
1回答
我经常听说，由于性能原因，镶嵌着色器不是很好。一些类似的东西，如果你尝试使用镶嵌着色器，你会发现，你得到的数据是不够的，你将不得不重新做计算。或者这条路比另一条路效率低，而且没有很好地利用带宽？有谁能解释为什么镶嵌着色器不被建议，如果有什么例外的情况下，镶嵌是一件好事？
浏览 0提问于2018-08-23得票数 6
回答已采纳
1回答
在讨论中，这里说，应该避免在镶嵌阶段丢弃面孔。原因是什么？
现在，我正在渲染一个三维几何使用顶点，镶嵌和碎片着色器。有些面孔应该是，有些不应该渲染，从一个帧到一个帧变化。我的镶嵌评价着色器是相当复杂和一个大的性能下降时，所有的脸是计算。因此，我的想法是，在执行gl_TessLevelOuter和gl_TessLevelInner值为零之前，丢弃faces。当然，在碎片着色阶段很容易丢弃碎片，但是性能下降的计算是进行的。
浏览 0提问于2023-01-19得票数 0
回答已采纳
当我尝试使用sdf_collect()为Factor Analysis收集它时，它给出了这个内存错误：
Error : org.apache.spark.sql.execution.OutOfMemorySparkException: Total memory usage during row decode exceeds spark.driver.maxResultSize (4.0 GB).
浏览 4提问于2020-09-30得票数 0
1回答
我正在使用镶嵌着色阶段，以增加接近相机的三角形密度。因此，当摄像机离三角形太近时，当最大镶嵌度不够高时，就应该将像素部分存储到变换反馈缓冲器中。
浏览 0提问于2022-02-11得票数 2
回答已采纳
我正在使用com.microsoft.sqlserver.jdbc.SQLServerDriver在spark作业中从sql server读取数据。为了提高性能，需要并行读取数据。spark job建立的连接数是否等于spark-submit命令中的核心数？
浏览 0提问于2019-06-28得票数 1
我们在与Cassandra不同的一组节点上运行Spark/Hadoop。我们有10个Cassandra节点和多个spark内核，但Cassandra没有在Hadoop上运行。通过spark(在yarn客户端模式下)从Cassandra获取数据的性能不是很好，从HDFS读取批量数据的速度更快(在Cassandra中为6分钟，在HDFS中为2分钟)。更改Spark-Cassandra参数也没有多大帮助。
在Cassandra上部署Hadoop会解决这个问题并主要影响读取</
浏览 18提问于2018-07-27得票数 0
2回答
我正在写这段代码spark.conf.set("spark.sql.shuffle.partitions",outputData = inputData.sort($"colname")如果我想从HDFS中读取文件我使用的是Spark 2.0
浏览 1提问于2016-11-04得票数 3
2回答
Opengl地形和镶嵌着色器
、、、、
他们是将一个高度地图图像附加到一个纹理上，然后用它来设置每个顶点的位置，还是仅仅使用3D软件(比如Blender)创建一个包含这些顶点的文件，然后将其读取到VBO？如果我抓错了，请纠正我。镶嵌着色器对这个过程有多重要？它们只是节省了性能，还是也改变了观众的场景？
浏览 0提问于2015-01-06得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
