腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
腾讯云架构师技术同盟
文章/答案/技术大牛
搜索
搜索
关闭
发布
首页
学习
活动
专区
工具
TVP
腾讯云架构师技术同盟
返回腾讯云官网
数栈技术分享
专栏成员
举报
178
文章
172815
阅读量
24
订阅数
订阅专栏
申请加入专栏
全部文章（178）
大数据（73）
开源（34）
sql（30）
flink（29）
数据库（28）
编程算法（23）
网络安全（20）
运维（18）
api（17）
https（17）
github（14）
hadoop（13）
hive（13）
git（11）
数据分析（11）
数据集成（11）
数据湖（10）
jar（9）
网站（9）
spark（9）
javascript（8）
企业（8）
数据安全（8）
java（7）
react（7）
云数据库 SQL Server（7）
apache（7）
kubernetes（7）
对象存储（6）
ide（6）
TDSQL MySQL 版（6）
node.js（5）
文件存储（5）
访问管理（5）
yarn（5）
打包（4）
云直播（4）
容器（4）
存储（4）
kerberos（4）
数据处理（4）
云计算（4）
kafka（4）
大数据解决方案（3）
数据结构（3）
任务调度（3）
python（2）
typescript（2）
access（2）
腾讯云测试服务（2）
金融（2）
数据迁移（2）
zookeeper（2）
小程序（2）
微服务（2）
迁移（2）
插件（2）
产品（2）
产品设计（2）
云服务器（1）
云 API（1）
负载均衡（1）
数据挖掘（1）
机器学习（1）
php（1）
bash（1）
json（1）
oracle（1）
postgresql（1）
maven（1）
linux（1）
负载均衡缓存（1）
nginx（1）
bash 指令（1）
spring（1）
消息队列 CMQ 版（1）
织云 自动化运维（1）
大数据处理套件 TBDS（1）
数字营销（1）
通用视频解决方案（1）
混合云解决方案（1）
数据库解决方案（1）
日志数据（1）
eslint（1）
express（1）
http（1）
webpack（1）
babel.js（1）
serverless（1）
stylelint（1）
devops（1）
分布式（1）
自动化（1）
缓存（1）
压力测试（1）
爬虫（1）
shell（1）
ssh（1）
erp（1）
面向对象编程（1）
jdbc（1）
自动化测试（1）
tcp/ip（1）
rpc（1）
zabbix（1）
uml（1）
微信（1）
安全（1）
数据可视化（1）
系统架构（1）
es（1）
实时监控（1）
实时数仓（1）
服务网格（1）
Elasticsearch Service（1）
教育（1）
bug（1）
ddl（1）
documentation（1）
file（1）
handler（1）
hdfs（1）
manifest（1）
map（1）
match（1）
monitor（1）
snapshot（1）
tooltip（1）
web（1）
管理（1）
基础（1）
教程（1）
模块化（1）
配置（1）
数据（1）
调试（1）
同步（1）
研发（1）
优化（1）
搜索文章
搜索
搜索
关闭
高性能、高扩展、高稳定：解读 EasyMR 大数据组件自定义可扩展能力
大数据
随着互联网技术的不断发展以及大数据时代的兴起，企业对于数据分析和洞察的需求日益增长。大多数企业都积累了大量的数据，需要从这些数据中快速灵活地提取有价值的信息，以便为用户提供更好的服务或者帮助企业做出更明智的决策。
袋鼠云数栈
2023-07-26
310
0
技术干货｜如何利用 ChunJun 实现数据离线同步？
开源
ChunJun 是⼀款稳定、易⽤、⾼效、批流⼀体的数据集成框架，基于计算引擎 Flink 实现多种异构数据源之间的数据同步与计算。ChunJun 可以把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从⽽为企业提供全⾯的数据共享，目前已在上千家公司部署且稳定运⾏。
袋鼠云数栈
2023-05-19
715
0
提高数据的安全性和可控性，数栈基于 Ranger 实现的 Spark SQL 权限控制实践之路
数据安全
在企业级应用中，数据的安全性和隐私保护是极其重要的。Spark 作为数栈底层计算引擎之一，必须确保数据只能被授权的人员访问，避免出现数据泄露和滥用的情况。为了实现Spark SQL 对数据的精细化管理及提高数据的安全性和可控性，数栈基于 Apache Ranger 实现了 Spark SQL 对数据处理的权限控制。
袋鼠云数栈
2023-05-17
953
0
数据治理三大模式详解，治理新范式释放数据潜能
数据挖掘
随着世界经济由工业经济向数字经济转型，数据逐步成为关键的生产要素，企业开始将数据作为一种战略资产进行管理。数据从业务中产生，在IT系统中承载，要对数据进行有效治理，需要业务充分参与，IT系统确保遵从，这是一个非常复杂的系统工程。
袋鼠云数栈
2023-05-12
1.4K
0
一文详解如何在 ChengYing 中通过产品线部署一键提升效率
开源
在之前的内容当中，我们为大家介绍过 ChengYing 的安装原理、产品包制作等内容，本篇就延续之前的内容，和大家展开聊聊 ChengYing 产品线部署相关的设计。帮助对「一站式全自动化全生命周期大数据平台运维管家 ChengYing」感兴趣的开发者更好地了解和使用 ChengYing。
袋鼠云数栈
2023-05-06
362
0
数栈V6.0全新产品矩阵发布，数据底座 EasyMR 焕新升级
大数据
4月20日，袋鼠云成功举行了以“数实融合，韧性生长”为主题的2023春季生长大会。会上，袋鼠云自主研发的一站式大数据基础软件——数栈V6.0产品矩阵全新发布。对旗下大数据基础平台、大数据开发与治理、数据智能分析与洞察三大模块的全线产品进行全新升级，并重点发布了企业级数据计算与存储平台——自研大数据引擎 EasyMR。
袋鼠云数栈
2023-04-27
387
0
技术干货｜如何利用 ChunJun 实现数据实时同步？
开源
实时同步是 ChunJun 的⼀个重要特性，指在数据同步过程中，数据源与⽬标系统之间的数据传输和更新⼏乎在同⼀时间进⾏。
袋鼠云数栈
2023-04-24
2.1K
0
新起点！大数据分布式可视化的 DAG 任务调度系统 Taier 正式发布1.4版本
开源
我们很高兴向大家宣布，2023年4月14日，Taier 正式发布 1.4 版本。自2022年2月份 Taier 正式开源以来，收到了很多开发者和行业用户的积极评价，在诸多生产环境中已得到充分应用。Taier 1.4版本正是吸收了各类实践经验及大家的建议，进行了此次迭代优化。
袋鼠云数栈
2023-04-20
640
0
数据开发提效有秘诀！离线开发BatchWorks 六大典型场景拆解
大数据
回顾大数据的发展历程，一句话概括就是海量数据的高效处理。在当今快节奏、不断变化的市场环境下，优秀的开发效率已经成为企业数字化转型的必备条件。
袋鼠云数栈
2023-04-12
596
0
详解 Flink Catalog 在 ChunJun 中的实践之路
开源
我们知道 Flink 有Table（表）、View（视图）、Function（函数/算子）、Database（数据库）的概念，相对于这些耳熟能详的概念，Flink 里还有一个 Catalog（目录） 的概念。
袋鼠云数栈
2023-04-07
900
0
EasyMR 安全架构揭秘：如何管理 Hadoop 数据安全
大数据
2017年，美国信用评级机构 Equifax 遭受黑客攻击，导致1.4亿个人的敏感信息泄露；
袋鼠云数栈
2023-04-07
1.3K
0
干货分享｜袋鼠云数栈离线开发平台在小文件治理上的探索实践之路
大数据
日常生产中 HDFS 上小文件产生是一个很正常的事情，同时小文件也是 Hadoop 集群运维中的常见挑战，尤其对于大规模运行的集群来说可谓至关重要。
袋鼠云数栈
2023-03-29
399
0
保姆级教程！玩转 ChunJun 详细指南
教程
配置
数据
调试
同步
ChunJun 是一款稳定、易用、高效、批流一体的数据集成框架，⽀持海量数据的同步与计算。ChunJun 既可以采集静态的数据，比如 MySQL，HDFS 等，也可以采集实时变化的数据，比如 binlog，Kafka 等。同时 ChunJun 也是一个支持原生 FlinkSQL 所有语法和特性的计算框架。
袋鼠云数栈
2023-03-24
1.1K
0
大数据计算引擎 EasyMR：拥抱开源，引领技术创新
企业
开源
大数据
管理
基础
身处数字经济时代，随着大数据应用越来越广泛，越来越多的企业和组织开始关注大数据基础平台的建设和运营。在认识到其的重要性之后，如何具体着手搭建或采购大数据基础平台成为下一步需要解决的问题。
袋鼠云数栈
2023-03-22
596
0
数据湖选型指南｜Hudi vs Iceberg 数据更新能力深度对比
hive
数据湖
file
manifest
snapshot
数据湖作为新一代大数据基础设施，近年来持续火热，许多前线的同学都在讨论数据湖应该怎么建，许多企业也都在构建或者计划构建自己的数据湖。基于此，自然引发了许多关于数据湖选型的讨论和探究。但是经过搜索之后我们发现，网上现存的很多内容都是基于较早之前的开源信息做出的结论，在企业调研初期容易造成不准确的印象和理解。
袋鼠云数栈
2023-03-17
4.1K
0
深入理解 Taier：MR on Yarn 的实现原理
yarn
hadoop
flink
hdfs
map
我们今天常说的大数据技术，它的理论基础来自于2003年 Google 发表的三篇论文，《The Google File System》、《MapReduce: Simplified Data Processing on Large Clusters》、《Bigtable: A Distributed Storage System for Structured Data》。这三篇论文分别对应后来出现的 HDFS，MapReduce， HBase。
袋鼠云数栈
2023-03-15
492
0
从5分钟到60秒，袋鼠云数栈在热重启技术上的提效探索之路
jar
flink
handler
monitor
web
更好地提高效率一直以来是袋鼠云数栈产品的主要目标之一。当前数栈客户的实时任务都是基于 Per-Job 模式运行的，客户在进行一些任务参数的修改之后，只能先取消当前任务，再选择 CheckPoint 恢复或者重新运行，整个过程需要3-5分钟，比较浪费时间。为了达到提高效率的目的，我们针对 Per-Job 任务的整体流程分析，进行了相关探索。
袋鼠云数栈
2023-03-09
258
0
详细剖析｜袋鼠云数栈前端框架Antd 3.x 升级 4.x 的踩坑之路
apache
linux
https
网络安全
袋鼠云数栈从 2016 年发布第⼀个版本开始，就始终坚持着以技术为核⼼、安全为底线、提效为⽬标、中台为战略的思想，坚定不移地⾛国产化信创路线，不断推进产品功能迭代、技术创新、服务细化和性能升级。
袋鼠云数栈
2023-03-06
4.1K
0
《数据治理行业实践白皮书》正式发布，开辟数据治理新范式（附下载）
大数据
https
网络安全
企业
近日，作为首届未来数商大会协办单位之一，袋鼠云承办“首届未来数商大会——业数融合创新论坛”，与参会嘉宾共同探讨数据驱动企业业务增长提效的新思路。袋鼠云联合创始人、易知微CEO 宁海元发表主题演讲《数智视融合，构建数字产业生态链，释放数据价值》，并带来了本次论坛的重头戏，首发《数据治理行业实践白皮书》。
袋鼠云数栈
2023-03-02
719
0
大数据应用场景下，标签策略如何实现价值最大化？
大数据
如今，各行各业都已经意识到了数据的价值，开始沉淀数据资产，挖掘数据价值，但是数据本身其实是很难直观地看到其价值的。数据就是存储在计算机系统的“01”代码，如果你不去用它，能有什么价值？
袋鼠云数栈
2023-02-22
422
0
点击加载更多
社区活动
Python精品学习库
代码在线跑，知识轻松学
立即查看
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客，速成社区影响力并领取好礼
立即体验
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品 最新动态
立即查看
领券
问题归档
专栏文章
快讯文章归档
关键词归档
开发者手册归档
开发者手册 Section 归档
