开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

KDB/Q:分组计算百分比

基础概念

KDB/Q（Kx Systems 的一种高性能时间序列数据库）是一种用于处理和分析时间序列数据的系统。它使用一种类似于 SQL 的查询语言 Q 来进行数据操作。KDB/Q 支持多种数据类型，包括时间戳、符号、浮点数等，并且具有高效的内存管理和数据压缩能力。

分组计算百分比

在 KDB/Q 中，分组计算百分比通常涉及以下几个步骤：

数据分组：将数据按照某个或多个字段进行分组。
计算每组的总数：对每个分组内的数据进行计数。
计算百分比：根据每组的总数计算其在总数据集中的百分比。

优势

高性能：KDB/Q 设计用于处理大量时间序列数据，具有极高的读写性能。
内存管理：KDB/Q 使用内存映射文件技术，能够高效地管理内存。
数据压缩：支持高效的数据压缩，减少存储空间。
丰富的函数库：Q 语言提供了丰富的函数库，便于进行复杂的数据分析和计算。

类型

时间序列数据：KDB/Q 最常用于处理时间序列数据，如股票价格、传感器数据等。
事件数据：可以用于记录和分析事件数据，如日志文件、交易记录等。

应用场景

金融分析：用于股票市场分析、交易数据分析等。
物联网数据分析：用于传感器数据的实时处理和分析。
日志分析：用于系统日志、安全日志等大数据的分析。

示例代码

假设我们有一个包含交易数据的表 trades，结构如下：

trades:
sym  | date       | price | volume
-----|------------|-------|-------
AAPL | 2023.01.01 | 150   | 1000
AAPL | 2023.01.02 | 155   | 1200
GOOG | 2023.01.01 | 2800  | 500
GOOG | 2023.01.02 | 2850  | 600

我们希望计算每个股票的总交易量占总交易量的百分比。

// 计算每个股票的总交易量
totalVolumeBySym: sum each group volume by sym

// 计算总交易量
totalVolume: sum totalVolumeBySym

// 计算每个股票的总交易量占总交易量的百分比
percentBySym: (totalVolumeBySym / totalVolume) * 100

// 显示结果
percentBySym

参考链接

常见问题及解决方法

问题：分组计算百分比时出现精度问题

原因：在进行浮点数计算时，可能会出现精度问题。

解决方法：使用 KDB/Q 提供的高精度计算函数，或者在计算百分比时进行适当的四舍五入。

// 使用高精度计算函数
percentBySym: (totalVolumeBySym / totalVolume) * 100f

// 或者进行四舍五入
percentBySym: round[(totalVolumeBySym / totalVolume) * 100, 2]

问题：数据量过大导致内存不足

原因：处理大量数据时，可能会超出系统内存限制。

解决方法：使用 KDB/Q 的内存映射文件技术，或者将数据分批处理。

// 使用内存映射文件
\l /path/to/database

// 分批处理数据
chunkSize: 100000
chunks: split into chunks[chunkSize] trades
percentBySym: 0f
foreach chunks [
    chunkPercentBySym: (sum each group volume by sym / sum volume) * 100
    percentBySym: percentBySym + chunkPercentBySym
]
percentBySym: percentBySym / count chunks

通过以上方法，可以有效解决 KDB/Q 中分组计算百分比时可能遇到的问题。

页面内容是否对你有帮助？

有帮助

没帮助

相关·内容

9个value_counts()的小技巧，提高Pandas 数据分析效率

数据科学家通常将大部分时间花在探索和预处理数据上。当谈到数据分析和理解数据结构时，Pandas value_counts() 是最受欢迎的函数之一。该函数返回一个包含唯一值计数的系列。生成的Series可以按降序或升序排序，通过参数控制包括或排除NA。

02

一场pandas与SQL的巅峰大战（五）

具体来讲，第一篇文章一场pandas与SQL的巅峰大战涉及到数据查看，去重计数，条件选择，合并连接，分组排序等操作。

01

9个value_counts()的小技巧，提高Pandas 数据分析效率

来源：DeepHub IMBA 本文约1800字，建议阅读5分钟我们将探讨 Pandas value_counts() 的不同用例。数据科学家通常将大部分时间花在探索和预处理数据上。当谈到数据分析和理解数据结构时，Pandas value_counts() 是最受欢迎的函数之一。该函数返回一个包含唯一值计数的系列。生成的Series可以按降序或升序排序，通过参数控制包括或排除NA。在本文中，我们将探讨 Pandas value_counts() 的不同用例。您将学习如何使用它来处理以下常见任务。默

02

9个value_counts()的小技巧，提高Pandas 数据分析效率

数据科学家通常将大部分时间花在探索和预处理数据上。当谈到数据分析和理解数据结构时，Pandas value_counts() 是最受欢迎的函数之一。该函数返回一个包含唯一值计数的系列。生成的Series可以按降序或升序排序，通过参数控制包括或排除NA。

06

TOP命令，隐藏的技巧！

Linux系统中，Top命令主要用于实时运行系统的监控，包括Linux内核管理的进程或者线程的资源占用情况。

01

【14】进大厂必须掌握的面试题-持续监控面试

我建议您遵循以下流程：连续监视可以及时发现问题或弱点，并采取快速纠正措施来帮助减少组织的费用。持续监控提供的解决方案可解决以下三个运营准则：

02

【Excel系列】Excel数据分析：数据整理

1. 直方图的功能 “直方图”分析工具可计算数据单元格区域和数据接收区间的单个和累积频率。此工具可用于统计数据集中某个数值出现的次数，其功能基本上相当于函数FREQUENCY。所不同的是可以添加累积百分比、百分比排序及插入图表等。需要注意的是，该工具只能对数值型标志进行统计，且各组频数是包含组上限的。如统计学生成绩，若组限确定为“60以下、60-70、70-80、80-90、90-100”则统计结果将60分划分为不及格组之中。因此可根据最小分值差确定上限，如“0-59.5,…”，更强大的数据整理工具可使用

07

【Java 进阶篇】深入理解 SQL 聚合函数

在 SQL 数据库中，聚合函数是一组强大的工具，用于处理和分析数据。它们可以帮助您对数据进行统计、计算总和、平均值、最大值、最小值等操作。无论您是数据库开发者、数据分析师还是希望更好地了解 SQL 数据库的用户，了解聚合函数都是非常重要的。

04

Elasticsearch如何聚合查询多个统计值，如何嵌套聚合？并相互引用，统计索引中某一个字段的空值率？语法是怎么样的？

Elasticsearch聚合查询是一种强大的工具，允许我们对索引中的数据进行复杂的统计分析和计算。本文将详细解释一个聚合查询示例，该查询用于统计满足特定条件的文档数量，并计算其占总文档数量的百分比。这里回会分享如何统计某个字段的空值率，然后扩展介绍ES的一些基础知识。

02

R语言之可视化（22）绘制堆积条形图

经过这张图，我们可以初步得到的信息是：（1）T1到T4各个分期的患者总数（2）T1期男性患者的数目，T1女性患者的数目（3）其他分期男性或者女性的患者数目。

02

论对 TOP 命令的入门总结

top: 动态查看进程变化，监控 linux 的系统状况，是 Linux 下常用的性能分析工具，能够实时显示系统中各个进程的资源占用状况，类似于 Windows 的任务管理器。

01

从零开始的异世界生信学习 GEO数据库数据挖掘--GEO背景知识简介

箱形图（Box-plot）又称为盒须图、盒式图或箱线图，是一种用作显示一组数据分散情况资料的统计图。因形状如箱子而得名。在各种领域也经常被使用，常见于品质管理。它主要用于反映原始数据分布的特征，还可以进行多组数据分布特征的比较。箱线图的绘制方法是：先找出一组数据的上边缘、下边缘、中位数和两个四分位数；然后，连接两个四分位数画出箱体；再将上边缘和下边缘与箱体相连接，中位数在箱体中间。

01

PowerBI 四象限动态"蝴蝶"分析法

这次我们将一起制作一张这样的分析模型，由于比较像蝴蝶，不如我们叫她：四象限动态蝴蝶分析法。

01

百分比问题，SQL给你答案

假如交易金额大于等于10万，认定为大单。统计产品ID，产品名称，大单数量，大单数量占比。

03

机器学习线性回归分析和预测棒球比赛数据

从散点图容易看出，有一个最小值82，但大部分散点在 85 以上，所以一支球队要在常规赛中获胜 85 场以上，进入季后赛的概率很大。

02

【精华总结】全文4000字、20个案例详解Pandas当中的数据统计分析与排序

大家好，我是俊欣，本篇文章应该算得上是2022年的第一篇原创了，抱歉，元旦期间小编有点偷懒。

01

数据分析36计(19)：美国生鲜配送平台【Instacart】如何实现按时配送——使用分位数回归

有80％的美国家庭能够使用Instacart。对于Instacart配送系统，为确保按时，有效的交付订单。需要解决具有时间窗（DCVRPTW）的动态容量车辆路径问题。Instacart的配送算法实时确定如何将采购者引导至杂货店地点以挑选杂货并将其在短短一小时内送到客户家门口。

02

pandas transform 数据转换的 4 个常用技巧！

本次给大家介绍一个功能超强的数据处理函数transform，相信很多朋友也用过，这里再次进行详细分享下。

02

sql常用语法合集

cast函数的作用是实现数据类型的转换,函数包括两个参数,元数据和新的数据类型示例:

02

Linux top命令详解 -- 罗小黑

第一行：系统时间 21：53：29、运行时间：up 8 day、当前连接数：1 user 、负载均衡（uptime）: load average:0.052,0.32,0.35 average后面的三个数分别是1分钟、5分钟、15分钟的负载情况。 load average数据是每隔5秒钟检查一次活跃的进程数，然后按特定算法计算出的数值。如果这个数除以逻辑CPU的数量，结果高于5的时候就表明系统在超负荷运转了第二行：Tasks — 任务（进程）总进程：115 total、运行；1 running、休眠：111 sleep 、停止: 0 stopped 、僵尸进程：1 zombie 第三行：CPU状态

01

Linux中top命令是如何使用的

负载均衡(uptime) load average: 0.00, 0.00, 0.00

00

Python-for-data-移动窗口函数

.dataframe tbody tr th:only-of-type { vertical-align: middle; }

.dataframe tbody tr th {     vertical-align: top; }  .dataframe thead th {     text-align: right; }

01

Linux任务管理器（top命令）

top命令是Linux下常用的性能分析工具，能够实时显示系统中各个进程的资源占用状况，类似于Windows的任务管理器

01

冷门布局方法 tabel-cell 的可行性研究

display:table-cell 属性简介 display：table-cell；会使元素表现的类似一个表格中的单元格 td，利用这个特性可以实现文字的垂直居中效果。同时它也会破坏一些 CSS 属性，使用 table-cell 时最好不要与 float 以及 position: absolute 一起使用，设置了 table-cell 的元素对高度和宽度高度敏感，对 margin 值无反应，可以响应 padding 的设置，表现几乎类似一个 td 元素。小结：不要与 float：left; posi

02

七步搞定一个综合案例，掌握pandas进阶用法！

本文从一个案例入手，综合运用pandas的各类操作实现对数据的处理，处理步骤如下所示。在公众号后台回复“case”即可获取本文全部数据，代码和文档。

04

PTA 数据结构与算法题目集（中文）7-7 六度空间 (30分) 题解

“六度空间”理论又称作“六度分隔（Six Degrees of Separation）”理论。这个理论可以通俗地阐述为：“你和任何一个陌生人之间所间隔的人不会超过六个，也就是说，最多通过五个人你就能够认识任何一个陌生人。” “六度空间”理论虽然得到广泛的认同，并且正在得到越来越多的应用。但是数十年来，试图验证这个理论始终是许多社会学家努力追求的目标。然而由于历史的原因，这样的研究具有太大的局限性和困难。随着当代人的联络主要依赖于电话、短信、微信以及因特网上即时通信等工具，能够体现社交网络关系的一手数据已经逐渐使得“六度空间”理论的验证成为可能。

02

Android ConstraintLayout百分比布局使用详解

Android ConstraintLayout是谷歌推出替代PrecentLayout的组件。支持相对布局、线性布局、帧布局，笔者看来更像是FrameLayout 、LinearLayout、RelativeLayout三者的结合体，并且比这三者更强大的是实现了百分比布局，大家都知道安卓碎片严重，使用百分比适配，那么将彻底解决适配问题。

01

Linux下top命令高级用法详解

好文推荐 Linux shell编程常用方法总结 C++基础知识精髓 Linux下AutoMake创建工程流程 Qt5.7.1添加支持openssl zynq平台移植python3.10.5 作为一名Linux软件攻城狮，top命令大家应该并不陌生。top命令是Linux下常用的性能分析工具，能够实时显示系统中各个进程的资源占用状况。top可以动态显示过程,不断刷新当前状态。top命令提供了实时的对系统处理器的状态监视。它将显示系统中的任务列表，内存使用和执行时间对任务进行排序。 1、top命令的使用方式

02

御水而行，点水成金

濒临秃头运维组萌新小运维小Q同学，数据中心暖通系统通常有哪些节能措施呢？小Q同学哈哈。常见的措施有提高冷冻水温度、降低冷却水温度、降低水泵和风机的运行频率等。萌新小运维以上的方法或多或少都听说过，但是大都是定性分析。至于每种方法具体可以节能多少？是否会按下葫芦起了瓢呢？小Q同学其实以上每一项措施背后都有强大的理论依据支撑。这样吧，今天我们通过定量分析来验证冷冻水泵变频运行的节能可行性吧。 ╮(￣▽￣"")╭ 01 水泵频率、流量、扬程、功

03

Elasticsearch bucket_script、bucket_selector、bucket_sort 区别和应用场景？

类似问题，样例数据单看计算不复杂，“beijing” 2 个，“上海” 2 个，“beijing”占比: 2/(2+2) = 50%; "shanghai"同样计算，占比 50%。

01

大数据分析工具Power BI（十三）：制作占比分析图表

饼图常用来展示占比分析，需求：使用饼图展示"2022年点播订单表"每种套餐的营收金额情况。

01

Qt编写自定义控件13-多态进度条

多态进度条，顾名思义，有多重状态，其实本控件主要是用来表示百分比进度的，由于之前已经存在了百分比进度条控件，名字被霸占了，按照先来先得原则，只好另外取个别名叫做多态进度条，应用场景是，某种任务有三种状态，比如正常状态、警戒状态、报警状态，这三种状态都分别有一个占比，需要用不同的颜色表示，这样就衍生出了此控件，类似于堆积图。接下来节假日四天，可以全身心投入研发还未完工的大屏UI程序，基础控件部分+二级界面部分都已经做好，现在专心整合到主界面和打通数据流（采用数据库采集+网络采集两种方式）。多态进度条也是为了此项目特意定制的。

00

给Linux小白看的命令行极简教程

1、命令行真的好吗程序员的使命维基百科的解释：命令行界面（英语：command-line interface，缩写：CLI）是在图形用户界面得到普及之前使用最为广泛的用户界面，它通常不支持鼠标，用户通过键盘输入指令，计算机接收到指令后，予以执行。也有人称之为字符用户界面（CUI）。也有人这样说：熟练使用命令行是一种常常被忽视，或被认为难以掌握的技能，但实际上，它会提高你作为工程师的灵活性以及生产力个人观点：有看到不同行业的人在评论区各种互撕，那到底用命令行是好还是不好呢..其实我觉得有

06

GCTA学习5 | GCTA计算PCA及可视化

GCTA这款软件，写了几篇了，后面将介绍单性状遗传力评估，以及多性状遗传力和遗传相关评估，感觉它与传统的评估软件，比如ASReml，DMU比较像，但是使用范围上更偏向医学。它的显著特征是速度快，里面还有很多GWAS方面不同模型的参数，真是一款强大的软件啊。“取法于上，仅得为中，取法于中，故为其下。”我学习好的软件，希望掌握个中不溜，就很不错了。

06

一天一个 Linux 命令（33）：top 命令

本文为joshua317原创文章,转载请注明：转载自joshua317博客 https://www.joshua317.com/article/181

02

直方图

今天跟大家分享直方图的制作技巧！ ▼ 直方图是统计描述常用的图表工具，虽然跟柱形图外表有点类似，但是制作方法却要比柱形图复杂得多，今天要跟大家分享两种直方图的制作技巧！ ——利用数据分析库直方图工具

06

Linux系统命令Top/free的使用及参数详解

top [－] [d delay] [q] [c] [S] [s] [i] [n]

02

centos7 top命令_linux安装top

对于内存监控，在top里我们要时刻监控第五行swap交换分区的used，如果这个数值在不断的变化，表示内核在不断进行内存和swap的数据交换，说明内存真的不够用了。

05

《Learning ELK Stack》7 Kibana可视化和仪表盘

7 Kibana可视化和仪表盘 ---- 可视化页面在Kibana中，所有的可视化组件都是建立在Elasticsearch聚合功能的基础上的。Kibana还支持多级聚合来进行各种有用的数据分析创建可视化创建可视化分三步选择可视化类型选择数据源（使用新建的搜索或已保存的搜索）配置编辑页面上的可视化聚合属性（度量和桶）可视化的类型区域图数据图折线图 Markdown小部件度量饼图切片地图垂直柱状图度量和桶聚合度量和桶的概要来自Elasticsearch的聚合功能，这两个概念在Ki

03

centos7 top命令_linux chmod命令

对于内存监控，在top里我们要时刻监控第五行swap交换分区的used，如果这个数值在不断的变化，表示内核在不断进行内存和swap的数据交换，说明内存真的不够用了。

02

神经网络中的分位数回归和分位数损失

在使用机器学习构建预测模型时，我们不只是想知道“预测值(点预测)”，而是想知道“预测值落在某个范围内的可能性有多大(区间预测)”。例如当需要进行需求预测时，如果只储备最可能的需求预测量，那么缺货的概率非常的大。但是如果库存处于预测的第95个百分位数(需求有95%的可能性小于或等于该值)，那么缺货数量会减少到大约20分之1。

01

利用Python进行描述统计

引言：在数据分析时，对大量信息进行归纳是最基本的任务，而这就需要用到描述统计方法。

03

Linux 常用性能工具简介.

一、wget 文件下载使用wget下载单个文件：wget URL 下载并以不同的文件名保存：wget -O wordpress.zip URL wget限速下载：wget --limit-rate=300k URL 使用wget断点续传：wget -c URL 使用wget后台下载：wget -b URL (查看下载进度:tail -f wget-log) 测试下载链接：wget --spider URL 下载指定格式文件：wget -r -A.pdf URL FTP下载：wget --ftp-user=

06

6分+纯生信：基于免疫浸润对多癌种进行化疗获益分析

今天分享的是2020年4月份发表于Cancers的一篇文章，影响因子6.162。标题是Pan-Cancer Analysis of Radiotherapy Benefits and Immune Infiltration in Multiple Human Cancers。文章是针对多癌种对化疗获益的分析，主要是从免疫浸润差异入手来进行研究。最后集中在对BRCA数据集的分析，获得了3个化疗相关特征基因，并用ROC曲线对其诊断价值进行评价。

03

音视频混流基本原理

在直播场景里，我们经常需要将多个视频画面混合成一个视频画面（或是多路音频合成一路声音），常见的场景如：

R语言学习 - 柱状图

柱状图绘制柱状图也是较为常见的一种数据展示方式，可以展示基因的表达量，也可以展示GO富集分析结果，基因注释数据等。常规矩阵柱状图绘制有如下4个基因在5组样品中的表达值 data_ori <- "Grp_1;Grp_2;Grp_3;Grp_4;Grp_5 a;2.6;2.9;2.1;2.0;2.2 b;20.8;9.8;7.0;3.7;19.2 c;10.0;11.0;9.2;12.4;9.6 d;9;3.3;10.3;11.1;10" data <- read.table(text=data_ori

05

Linux之top命令

原文链接:https://rumenz.com/rumenbiji/linux-top.html

02

卡方检验简介

医疗研究会产生大量不同类型的数据，最容易识别的是定量的数据。例如，直腿抬高 (SLR) 的受试者能够将腿抬高大于 0 度，这让我们可以计算两组的平均 SLR，并进行 t 检验。但并不是所有的数据都有这种定量特性。

03

Linux 之 top 命令

原文链接:https://rumenz.com/rumenbiji/linux-top.html

00

Linux之top命令

原文链接:https://rumenz.com/rumenbiji/linux-top.html

00

扫码

添加站长进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭