如何通过Hive中数组的和来归一化数组？
在Hive中，可以通过使用内置函数和表达式来计算数组的和，并将其用于归一化数组。下面是一种实现方法：
- 首先，使用Hive的内置函数
explode()将数组展开为多行数据。假设数组列名为array_col，可以使用以下语句将其展开为多行数据：
SELECT id, value
FROM your_table
LATERAL VIEW explode(array_col) exploded_table AS value这将生成一个包含id和value两列的结果集，其中value列包含了数组中的每个元素。
- 接下来，使用Hive的聚合函数
sum()计算数组的和。可以在上一步的结果集上进行聚合操作，如下所示：
SELECT id, sum(value) AS sum_value
FROM (
SELECT id, value
FROM your_table
LATERAL VIEW explode(array_col) exploded_table AS value
) subquery
GROUP BY id这将生成一个包含id和sum_value两列的结果集，其中sum_value列包含了每个id对应的数组的和。
- 最后，将每个数组元素除以数组的和，以实现归一化。可以使用Hive的表达式来计算归一化后的值，如下所示：
SELECT id, value / sum_value AS normalized_value
FROM (
SELECT id, value, sum_value
FROM (
SELECT id, value
FROM your_table
LATERAL VIEW explode(array_col) exploded_table AS value
) subquery
JOIN (
SELECT id, sum(value) AS sum_value
FROM (
SELECT id, value
FROM your_table
LATERAL VIEW explode(array_col) exploded_table AS value
) subquery
GROUP BY id
) sum_table
ON subquery.id = sum_table.id
) normalized_table这将生成一个包含id和normalized_value两列的结果集，其中normalized_value列包含了归一化后的数组元素值。
需要注意的是，以上示例中的your_table是指包含数组列的表名，array_col是指数组列的列名。根据实际情况，需要将这些名称替换为相应的表和列名。
关于Hive中数组的和归一化的更多信息，可以参考腾讯云的Hive文档：Hive文档
相关·内容
1回答
我有一个像这样的蜂箱表：1 | [1, 2, 3, 4]我希望通过数组的和来归一化value_array，这样我就可以得到以下结果：1 | [0.1, 0.2, 0.3, 0.4]我不知道如何编写SQL来实现这个目标。
浏览 33提问于2020-05-21得票数 1
回答已采纳
我需要用Hive中的数组((Struct)数据类型)掩盖列的某些属性。= {'name':'Rahul'，'age':20，‘性别’：‘male’}，{'name':'Kavita'，'age':25，‘性别’：‘女性’}
在这里，我需要屏蔽/加密'name‘属性并返回数组((Struct))如下：biodata = {'name'
浏览 3提问于2021-06-13得票数 1
1回答
我需要设置一个Ranger策略，以限制用户访问HIVE表中列中的某些数组结构。例如，我在一个Hive表中有一个名为“spousefirstname”的列，其中包含spousefirstname、spouselastname、spousebirthdate、spousessn、spouseaddress、spousebirthplace等数组结构。我需要限制用户访问数组结构- spousessn和spouseaddre
浏览 0提问于2018-12-12得票数 2
1回答
我正试图使数组在一个范围内正常化，例如10,100num = [1,2,3,4,5,6,7,8]
预期成果：
在num数组中，将1-5的值归一化为范围，在预期范围内将20映射到20，将6
浏览 2提问于2020-07-25得票数 1
回答已采纳
1回答
我正在寻找一个Hive函数和查询来从hive中的两个数组中获取不匹配的元素。假设数组是 A = ["Hello", "earth"]Expected output is ["earth", "mars"] or ["mars", &q
浏览 20提问于2021-03-31得票数 1
回答已采纳
我在hive上工作，通过hive查询从JSON字符串中读取一些字段。JSON string中的一个字段实际上是一个字符串数组，但像{... , 'arrText' : '["a","b","c"]',... }一样存储为字符串 我希望在配置单元查询本身中将此字符串读取为字符串数组hive (joshua)>
浏览 74提问于2020-06-20得票数 2
回答已采纳
1回答
我想使用均值减法和标准化作为我的CNN模型的归一化。我在做Keras的图像分类。 然而，我还没有完全理解使用均值减法，标准化和简单的过程之间的区别，比如重新缩放图像=/255。在本question中，提到了有三种方法： np.mean(x) # calculates the mean of the array x
x-np.mean(x) # this is equivalentsubtracting the mean of
浏览 37提问于2019-04-18得票数 0
我从上读到：
但是，我仍然不清楚这是如何运作的。如果我将sample_weight设置为只有两个可能值的数组( 1's和2's )，这是否意味着在进行包装时，2's<e
浏览 1提问于2015-12-21得票数 56
回答已采纳
2回答
嘿，我目前正在尝试开发一个使用C++和OpenGL的游戏。我已经开始使用菜单，并且有两个独立的文件。一个用c++编写的顶级状态机，并在正交视图中渲染5个框，以充当openGL中的菜单。如何将每个案例链接到矩形/“按钮”？我不知道该怎么做。(我读过一些关于屏幕上可点击位置的文章，尽管我的游戏能够缩放到任何大小的窗口，这使得以这种方式实现它很棘手。)
浏览 2提问于2011-03-03得票数 1
这些文件都是制表符分隔的。terminated by '09', lines terminted by '10'这工作得很好，除了所有额外的字段我可以添加一串“valuex string”(其中x是额外元素的增量)……但我不知道最终可能会有多少，而且这看起来很混乱。有没有办法告诉hive只将该行的所有剩余字段放到一个字段
浏览 0提问于2011-05-12得票数 0
回答已采纳
1回答
我有一个hive表，列如下： |-- id: string (nullable = true) |-- address_id|-- bay_id: string (nullable = true)对于一个id，有许多相关的地址和相关的间隔数组( hive拼接表格的数组</
浏览 23提问于2016-09-08得票数 0
回答已采纳
1回答
我有几个2D数组，它们以不同的组合出现，即其中一个定义了中心，另外八个逻辑上(而不是物理上)放置在左边、右边、顶部、右上等等。'new array‘是这样访问的:如果x和y索引在中心数组的边界内，则访问中心数组。如果索引超过边界(或者小于0或者大于with，height)，则访问适当的邻居数组(例如，对于x<0和y<0，访问左上角的数组)。
目前，我正在手动解
浏览 1提问于2016-09-16得票数 2
我实现了打靶法来数值求解无限位势容器的一维定态Schroedinger方程。现在我希望对波函数psi(x)的数值解进行归一化。这意味着居住密度的概率从0到1的积分rho(x)= |psi(x)|^2必须等于1，因为有100%的机会在0到1的区间内找到粒子。所以我有归一化条件int(0,1) rho(x) dx =1。我试图使用数值积分辛普森规则来实现归一化函数，但它不适用于更高的能
浏览 15提问于2021-01-07得票数 1
回答已采纳
假设有许多长度为12的数组，其中包含大约±100范围内的有符号整数，我如何才能以比简单加权平均更精确的方式将这些数组的“签名”或“调和内容”彼此进行比较？我是否必须研究神经网络(如果这可能适用，我不知道tbh)，还是有更直接的方法？在图表上，想象x轴上的索引和y轴上的值。如果归一化后图形的形状相似，则两个数组将非常相似。我发现很难找到合
浏览 0提问于2010-01-22得票数 0
回答已采纳
1回答
当我运行一个大约6000行的insert查询时，需要300秒，就好像我运行的只是选择查询一样，它在6秒内就完成了。为什么insert花费这么多时间？
浏览 5提问于2017-01-26得票数 2
1回答
我有一个Hive表，其中对于用户ID，我有一个ts列，它是一个时间序列，存储为数组。我想将时序作为最新的窗口来维护。
(a)如何在通过ID连接的另一个表中的每一列的末尾附加一个新数字？(b)如何去掉前导数字？
浏览 0提问于2012-07-07得票数 0
我已经开发了一个hive查询，它使用横向视图和get_json_object来解压一些json。使用jdbc客户端(dbvisualizer)对hive数据库执行查询已经足够好了，但是当在java应用程序中作为spark sql在相同的数据上运行时，它什么也不会返回。这个问题可以通过这种类型的查询来说明 select concat_ws( "|", get_json_object('{"product_offer
浏览 51提问于2019-09-03得票数 0
2回答
我正在尝试对图像集进行归一化，其中包括将常量添加到图像中的每个值。我尝试添加到整个数组，例如10。img = img + 10img2 = np.add(img, 10)print(np.min(img2))
我可以通过调用生成True值的0 in im
浏览 7提问于2019-11-15得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
