首页
学习
活动
专区
圈层
工具
发布
首页标签数据处理

#数据处理

数据处理是指对数据(包括数值的和非数值的)进行分析和加工的技术过程。

多模数据处理的计算引擎怎么选择?腾讯云数据湖计算DLC成破局关键

gavin1024

在AI与大数据深度融合的今天,多模态数据处理需求激增,企业面临存储、计算、分析的全链路挑战。本文从引擎类型对比、技术选型要点切入,结合腾讯云数据湖计算DLC的实...

11910

实时处理、批处理与流处理技术解析

用户11764306

对于数字化优先的企业而言,如何最优地使用实时处理、批处理和流处理已成为日益重要的问题。本文将解释这些数据处理类型的基本差异。

8110

qData 数据中台:全面支持 ARM 架构与信创国产化环境的兼容性说明

吴同

qData 数据中台基于 Java、Vue 与 Spring Boot 技术体系构建,具备高度模块化与跨平台特性,可在多种硬件与操作系统环境中稳定运行。

16720

(Pandas)Python做数据处理必选框架之一!(二):附带案例分析;刨析DataFrame结构和其属性;学会访问具体元素;判断元素是否存在;元素求和、求标准值、方差、去重、删除、排序...

凉凉心.

每一列都属于Series类型,不同列之间数据类型可以不一样,但同一列的值类型必须一致。

12010

(Pandas)Python做数据处理必选框架之一!(一):介绍Pandas中的两个数据结构;刨析Series:如何访问数据;数据去重、取众数、总和、标准差、方差、平均值等;判断缺失值、获取索引...

凉凉心.

Pandas 是一个开源的数据分析和数据处理库,它是基于 Python 编程语言的。

16410

(numpy)Python做数据处理必备框架!(二):ndarray切片的使用与运算;常见的ndarray函数:平方根、正余弦、自然对数、指数、幂等运算;统计函数:方差、均值、极差;比较函数...

凉凉心.

比较是否大于、小于、等于、等于;逻辑 与、或、非 检查数组中是否有一个True,是否所有的都为True,自定义条件

13110

(numpy)Python做数据处理必备框架!(一):认识numpy;从概念层面开始学习ndarray数组:形状、数组转置、数值范围、矩阵...

凉凉心.

它是一个Python库,提供多维数组对象、各种派生对象(例如掩码数组和矩阵)以及用于对数组进行快速操作的各种方法,包括数学、逻辑、形状操作、排序、选择、I/0 ...

15910

ETL 工程师必看!3个数据处理阶段及应用场景

帆软BI

ETL 是数据处理领域的核心技术流程,由提取(Extract)、转换(Transform)、加载(Load)三个关键阶段构成。

31710

从兼容到极致性能——qData数据中台商业版核心指标解读

吴同

在数字化转型的背景下,企业对数据中台的要求越来越高——既要兼容信创环境,又要在性能上经得起大规模业务的考验。qData 数据中台商业版针对这些关键问题,设定了一...

33050

空间转录组: 标准化+特征选择

数据科学工厂

本文将演示几种数据处理步骤——标准化、特征选择和降维——的方法,这些步骤在应用下游分析方法之前是必需的。

16610

使用源代码本地启动qData数据中台开源版 —— 开发者快速上手指南

吴同

qData 数据中台开源版,支持数据接入、建模、治理与服务的全生命周期管理。本文将带你从源码快速搭建本地环境,体验 qData 开源版的全部功能。

26320

从Samza到Flink:Java实现数据流转换

贺公子之数据科学与艺术

摘要:本文将介绍如何使用Java语言实现将数据流从Samza转换为Flink的过程。通过使用Flink的丰富功能和优化技术,我们可以轻松处理大规模数据流,并实现...

15910

定时任务执行job任务

贺公子之数据科学与艺术

使用了ScheduledExecutorService来定时执行任务。在startJob()方法中,通过executorService.scheduleAtFi...

20910

Java实时流

贺公子之数据科学与艺术

随着数据处理需求的增加,实时流数据处理技术变得越来越重要。Java作为一种强大且广泛应用的编程语言,提供了许多用于构建高性能数据处理应用的工具和库。本篇博客将带...

17610

【三桥君】企业数据来源杂、质量差,如何通过主数据管理解决?如何确保数据可信、一致和可用?

三桥君

在数字化转型的浪潮中,企业如何通过有效的主数据管理(MDM)来确保数据的可信性、一致性和可用性,从而推动业务增长和创新?

17610

【架构之路物联网】物联网平台架构与关键技术

贺公子之数据科学与艺术

指物联网系统的整体设计和组织结构,包括物联网设备、通信网络、数据处理和应用等方面。关键技术则是指在物联网平台的实现过程中所涉及到的核心技术。物联网平台架构是指用...

25510

【同步任务】

贺公子之数据科学与艺术

上述代码中,DataProcessingScheduler类中使用ScheduledExecutorService定时任务框架来执行DataProcessing...

15210

Java开发者如何接入并使用DeepSeek

富贵软件

DeepSeek是一家专注于通用人工智能(AGI)的中国科技公司,其开源的推理模型DeepSeek-R1擅长处理复杂任务,且可免费商用。对于Java开发者来说,...

58610

CSV文件的高级处理:从大型文件处理到特殊字符管理

富贵软件

处理大型CSV文件、跳过无效行、以及处理特殊字符是数据处理中常见的挑战。通过合理使用Python的库函数(如Pandas和csv模块)和适当的编程技巧,我们可以...

32810
领券