2019年下半年,一支“精英小队”在腾讯大数据团队内部开始集结。成员除了各处抽调的精兵强将,还有两名来到腾讯不久的资深工程师——杨晓峰和傅杰,集结他们,只为了一个艰苦而又重要的任务——自研 JDK 。 有成员这样评价这个任务——“脏活、累活”,还有委婉点的说法——“非主流的技术方向”,至少在当时,这个任务并不是会让大家争抢的那种。 但总有孤勇者,愿意去直面困难的挑战。 三年之后,这支小分队不仅研发出了国产化的Kona JDK,还培养出了OpenJDK社区为数不多的中国Committer和Reviewer,在
点击下方公众号关注并分享,获取MongoDB最新资讯! 同学们,最新的MongoDB书籍《MongoDB核心原理与实践》出炉啦! 本书是MongoDB中文社区长沙分会主席郭远威老师第二本关于MongoDB的佳作,凝聚了郭老师多年潜心研究成果和心得。还得到了MongoDB 官网、中文社区核心成员、社区志愿者的帮助,与大家一次次交流研讨中获得了灵感、积累了知识。 为了感谢社区小伙伴一直以来的关注与支持,特此为社区小伙伴们发送福利! 福利来啦! 我们将会在本文评论下方抽取点赞前三名的评论各赠送1本《MongoDB
全球最大的开源软件基金会Apache软件基金会正式宣布,Apache InLong 正式毕业成为社区顶级项目,这也是 Apache 社区首个一站式大数据集成顶级项目! Apache 基金会官博(点击“阅读原文”查看) InLong 中文名“应龙”是中国神话中引流入海的神兽,意寓 InLong 在大数据社区生态中的价值:大数据接入集成。 这个最初由腾讯捐献给 Apache 社区的一站式海量数据集成框架,可以为大数据开发者提供百万亿级数据流高性能处理能力,以及千亿级数据流高可靠服务。 而这是继腾讯开源项目 A
全球最大的开源软件基金会Apache软件基金会正式宣布,Apache InLong 正式毕业成为社区顶级项目,这也是 Apache 社区首个一站式大数据集成顶级项目! Apache 基金会官博(点击“阅读原文”查看) InLong 中文名“应龙”是中国神话中引流入海的神兽,意寓 InLong 在大数据社区生态中的价值:大数据接入集成。 这个最初由腾讯捐献给 Apache 社区的一站式海量数据集成框架,可以为大数据开发者提供百万亿级数据流高性能处理能力,以及千亿级数据流高可靠服务。 而这是继腾讯开源项目
大数据时代这个词被提出已有10年了吧,越来越多的企业已经完成了大数据平台的搭建。随着移动互联网和物联网的爆发,大数据价值在越来越多的场景中被挖掘,随着大家都在使用欧冠大数据,大数据平台的搭建门槛也越来越低。借助开源的力量,任何有基础研发能力的组织完全可以搭建自己的大数据平台。但是对于没有了解过大数据平台、数据仓库、数据挖掘概念的同学可能还是无法顺利完成搭建,因为你去百度查的时候会发现太多的东西,不知道如何去选择。今天给大家分享下大数据平台是怎么玩的。
允中 发自 凹非寺 量子位 | 公众号 QbitAI 最新消息,由腾讯捐献的一站式大数据集成框架Apache InLong,已从Apache孵化器毕业成为社区顶级项目。 这一消息由全球最大开源软件基金会Apache软件基金会宣布。Apache InLong也成为Apache社区首个一站式大数据集成顶级项目。 该项目可以为大数据开发者提供百万亿级数据流高性能处理能力,以及千亿级数据流高可靠服务。 腾讯副总裁蒋杰表示: 我们很高兴看到InLong践行Apache Way,并以顶级项目的身份从Apache孵化器
刚刚获悉,全球最大的开源软件基金会 Apache 软件基金会正式宣布,Apache InLong 成功从 Apache 孵化器毕业,成为社区顶级项目,这也是 Apache 社区首个一站式大数据集成顶级项目。 这个最初由腾讯捐献给 Apache 社区的一站式海量数据集成框架,可以为大数据开发者提供百万亿级数据流高性能处理能力,以及千亿级数据流高可靠服务。 这是继腾讯开源项目 Angel 从 LF AI 基金会毕业,成为世界顶级的 AI 开源项目之后,腾讯大数据团队在开源领域创造的又一里程碑。作为国内国内大数
大数据实时分析领域的黑马是ClickHouse一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。
腾讯云最具价值专家,简称 TVP(Tencent Cloud Valuable Professional),是腾讯云颁发给第三方技术专家们的一项荣誉认证,以此感谢他们为推动云计算技术的发展所作出的贡献。这些技术专家来自于各个技术领域和行业,是技术和行业实践的领导者;他们热衷实践、乐于分享,为技术社区的建设和推动技术传播做出了巨大的贡献。
2020年,一个注定会被历史铭记的一年。在全球化合作受到挑战的大环境下,作为全球最大的开源软件基金会,Apache 软件基金所引领的开源社区,依然汇聚了全球的顶尖开发人员,交出了一份鼓舞人心的成绩单。2021年1月1日,Apache 基金会在其官方博客上发表了文章《Apache in 2020 - By The Digits》[1],用数字回顾了2020 一整年的社区发展:
本文主要介绍MySQL + HBase 分别解决应用的在线事务问题和大数据场景的海量存储问题。
Elastic中文社区联合腾讯云大数据,腾讯云+社区,将于2021年8月21日在 腾讯滨海大厦举办本年度首次线下(线上同步直播)技术交流活动。本次活动的交流内容主要围绕Elastic Stack 产品(Elasticsearch、Logstash、Kibana 和 Beats)及周边技术,探讨在搜索、数据实时分析、日志分析、安全、APM等领域的实践与应用。 在信息爆炸的今天,人们的交流日渐频繁,商业公司逐渐由实体驱动变成信息驱动,这信息不仅包含我们看得到听得到的比如音视频,还有更重要的文本信息。这些文本
直播预告详情 在第四节课程中,来自社区的南网数据中心大数据平台DBA叶健锋将详细介绍大家在使用Greenplum过程中最为关注的话题之一——快速调优。本直播课程将对Greenplum数据库性能调优涉及到的各个基础点入手,内容将函括集群规划设计、数据库内存管理,表对象存储及适用场景、日常维护、以其一些SQL优化技巧。工欲善其事,必先利其器,只有对每个基础点优化好,才能发挥数据库最好的性能!相信大家会受益匪浅。 讲师介绍 叶健锋 南网数据中心大数据平台DBA Greenplum中文社区成员 8年Greenpl
场景描述:本文来自2019年9月21日Flink Meetup北京站阿里巴巴的宋辛童的分享,关于Flink的资源管理机制的解读和展望。
TVP作为技术生态建设的领航者,正在不断吸引着不同行业、不同领域的技术大咖入驻,他们的加入使得TVP阵容持续升级,不断扩大技术影响力,加速了云计算技术的发展与传播。那么,本期新晋TVP成员又迎来了哪些专家呢?让我们一一揭晓!
新晋TVP寄语集锦 TVP作为技术生态建设的领航者,正在不断吸引着不同行业、不同领域的技术大咖入驻,他们的加入使得TVP阵容持续升级,不断扩大技术影响力,加速了云计算技术的发展与传播。那么,本期新晋TVP成员又迎来了哪些专家呢?让我们一一揭晓! 新晋TVP介绍 擅长领域:云计算 人工智能 金融科技 拥有30年专业经验,其中18年在硅谷思科、微软、戴尔担任核心技术高管,回国后担任微软亚太研发集团总裁助理兼集团技术战略总监、寺库网CTO、苏宁IT执行副总裁兼技术研究院院长,现任宜信公司首席技术官、高级副
海量信息技术有限公司授权转载,如需转载请与版权方联系 回复“海量”,可得全版PPT。 海量大数据研习社是海量信息技术有限公司发起的大数据公益沙龙。12月26日下午,在研习社第六次聚会上,谢国忠特别分享
大数据技术:https://www.iteblog.com/archives/2607.html
阿里妹导读:今年的双11,实时计算处理的流量洪峰创纪录地达到了每秒40亿条的记录,数据体量也达到了惊人的每秒7TB,基于Flink的流批一体数据应用开始在阿里巴巴最核心的数据业务场景崭露头角,并在稳定性、性能和效率方面都经受住了严苛的生产考验。本文深度解析“流批一体”在阿里核心数据场景首次落地的实践经验,回顾“流批一体”大数据处理技术的发展历程。
Flink Forward Asia 2022 将于 11 月 26-27 日在线上举办,议程内容正式上线! 今年是 Flink Forward Asia(下文简称 FFA)落地中国的第五个年头,也是 Flink 成为 Apache 软件基金会顶级项目的第八年。过去这几年,Flink 一方面持续优化其流计算核心能力,不断提高整个行业的流计算处理标准,另一方面沿着流批一体的思路逐步推进架构改造和应用场景落地。伴随着实时化浪潮的发展和深化,Flink 已逐步演进为流处理的领军角色和事实标准。 作为开源大数据领域
Flink Forward Asia 2022 将于 11 月 26-27 日在线上举办,议程内容正式上线! 今年是 Flink Forward Asia(下文简称 FFA)落地中国的第五个年头,也是 Flink 成为 Apache 软件基金会顶级项目的第八年。过去这几年,Flink 一方面持续优化其流计算核心能力,不断提高整个行业的流计算处理标准,另一方面沿着流批一体的思路逐步推进架构改造和应用场景落地。伴随着实时化浪潮的发展和深化,Flink 已逐步演进为流处理的领军角色和事实标准。 作为开源大数据领
首届Elastic社区技术大会(Elastic Community Conference,简称ElasticCC)将于2021年2月26日至27日隆重开幕,这是 Elastic 公司首次面向全球社区举办的技术大会,将以中英日韩葡西法7种语言进行24小时不间断线上直播。
文摘摘自:人大经济论坛 微信ID: bbspingguorg-weixin 网站:bbs.pinggu.org 数据来源:itbear 每到冬季,总会引发“南方是否该供暖”的问题。在冰天雪地中,南方
我们生活在一个振奋人心的时代,区块链、人工智能、大数据,现在各种新技术层出不穷,那么如何快速高效地学习互联网新技术呢?我认为首先思想要主动求变,敢于跳出自己的舒适区,对任何技术都抱有开放的心态。贪图安稳是人的本性。而这种本性往往会阻碍你的发展。人所能了解的知识的多少,取决于自己的舒适区有多大,舒适区越大,与外界接壤的范围越大,就越感觉自己的无知。 互联网是一个知识更新很快的行业,只有真正有热情并掌握了好的学习方法的人,才能走的长久。我们平常用于学习的时间比较少,提高单位时间价值尤为重要,最简单易行且代价
4月25日,清华软件学院师生校友相约云端,共贺清华大学109周年校庆,软件学院建院19周年。
大数据前几年各种概念争论很多,NoSQL/NewSQL,CAP/BASE概念一堆堆的,现在这股热潮被AI接过去了。大数据真正落地到车联网,分控,各种数据分析等等具体场景。 概念很高大上,搞得久了就会发现,大部分都还是数据仓库的衍伸,所以我们称呼这个为“新数仓”,我准备写一系列相关的文章,有没有同学愿意一起来的?请联系我。前面有一些相关文章,大家可以看看: 新数仓系列:Hbase国内开发者生存现状(2) 新数仓系列:Hbase周边生态梳理(1) 产品决定的是长期竞争力,运营决定的是短期用户体验。本文简单梳理下
导语 | Elastic中文社区联合腾讯云大数据,腾讯云+社区,将于2021年8月21日在腾讯滨海大厦举办本年度首次线下(线上同步直播)技术交流活动。本次活动的交流内容主要围绕Elastic Stack产品(Elasticsearch、Logstash、Kibana和Beats)及周边技术,探讨在搜索、数据实时分析、日志分析、安全、APM等领域的实践与应用。 在信息爆炸的今天,人们的交流日渐频繁,商业公司逐渐由实体驱动变成信息驱动,这信息不仅包含我们看得到听得到的比如音视频,还有更重要的文本信息。
howie6879在Github上维护了一个机器学习网站导航以及资源的目录,包含了新闻资讯、课程、比赛、项目、文档等导航链接,主流的都涵盖到,是深度学习从业者不错的一个导航,欢迎使用!
点击上方“芋道源码”,选择“设为星标” 管她前浪,还是后浪? 能浪的浪,才是好浪! 每天 10:33 更新文章,每天掉亿点点头发... 源码精品专栏 原创 | Java 2021 超神之路,很肝~ 中文详细注释的开源项目 RPC 框架 Dubbo 源码解析 网络应用框架 Netty 源码解析 消息中间件 RocketMQ 源码解析 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析 作业调度中间件 Elastic-Job 源码解析 分布式事务中间件 TCC-Transaction
文章作者来自ThoughtWorks:佟达 ,图片来自网络。 前段时间,ThoughtWorks在深圳举办一次社区活动上,有一个演讲主题叫做“Fullstack JavaScript”,是关于用Jav
又一位大佬下场创业,AI的场子越来越热闹了。 作者丨New Bing 编辑丨董子博 据悉,阿里巴巴集团副总裁贾扬清将于近期离职创业,他的创业方向将聚焦于人工智能架构领域,目前已获得了首轮融资意向。贾扬清是国际知名的AI科学家,来到阿里体系前,曾在谷歌、FaceBook工作,参与了Caffe、TensorFlow和PyTorch的AI架构设计。 对于离职创业,贾扬清对AI科技评论回应称: 加入阿里巴巴的时候,最吸引我的是云计算可以带给社会的独特贡献:AI,Big data,Compute,Developer,
各位小伙伴们大家好,咱们又见面啦~ 《你问我答》栏目上线以后,受到了大伙的热烈欢迎 小编每天在后台收到的提问数不胜数 对于各位小伙伴的踊跃参与,小编深表感谢 就冲大家的热情 小编一定会兢兢业业地把栏目做好 帮助大伙解决各种疑难问题 但是…… 你们的方向是不是有点跑偏啊喂!!! 再次隆重介绍一下 站在你们面前的是 汇聚腾讯Apache及Linux开源社区 国内一流大数据技术专家 超40位社区committer的专家天团 每一位都在各自领域拥有顶尖的技术水平 以及丰富的实践经验 问小哥哥们的年龄也
MongoDB中文社区年终大会将于2021年1月8日在上海召开。本次大会的主题是重新认识MongoDB|MongoDB,More than Document Database。在大会开始前,我们采访了MongoDB官方及MongoDB中文社区合作伙伴锦木,看下锦木眼中的MongoDB是怎么样的。
中国科学院院士徐宗本是数学与信息科技的交叉融合研究专家,为数学与实际应用的结合做出了重大贡献。他在应用数学、稀疏信息处理、机器学习、大数据与人工智能数学基础等领域,创造了系统性与原创性的成果。这些成果在雷达感知、CT成像、5G通信等多个领域得到了广泛应用。
作者 | 郑思宇 “Flink 已经成为全球范围内实时流计算的事实标准。”用这句话来描绘 Flink 在当前大数据技术领域的地位并不为过。 虽然大数据领域的技术和潮流方向在不断发生改变,但是 Flink 一直处于核心驱动的位置。从流式计算引擎的兴起,到流批一体在企业内部的落地,再到为实现端到端全链路的实时化分析能力而走向舞台中央的流式数仓,Flink 均在其中扮演着重要的角色。 以上每个过程的推进和实现都并不容易,Flink 到底是如何做到的?其背后的推动力是什么?凭什么受到全球企业和开发者的青睐?带着这
Elastic 中国开发者大会将于2022年1月8号在深圳举行,腾讯云作为战略赞助商加盟大会。举办开发者大会的目的是为中国广大的 Elasticsearch 开发者提供一个技术交流和学习切磋的地方,汇集业界众多的成功案例,集思广益,发散思维,促进社区和行业的进步。 关于腾讯云 Elasticsearch Service 腾讯云 Elasticsearch Service(ES)是基于开源引擎打造的云端全托管 ELK 服务,集成 X-Pack 特性、独有高性能自研内核、QQ 分词、集群巡检、一键升级等优
Flink 从 2014 年诞生之后,已经发展了将近 10 年,尤其是最近这些年得到了飞速发展。在全球范围内,Flink 已经成为了实时流计算的事实标准,成为大数据技术栈中不可或缺的一部分。在 2023 年终盘点之际,InfoQ 有幸采访了 Apache Flink 中文社区发起人、阿里云开源大数据平台负责人王峰(莫问),了解他对大数据技术栈的看法,以及 Flink 的进展和未来规划。
今天继续和大家聊一下,kafka的各种发行版。kafka历经数年的发展,从最初纯粹的消息引擎,到近几年开始在流处理平台生态圈发力,衍生出了各种不同特性的版本。
Kafka不是一个单纯的消息引擎系统,而是能够实现精确一次(Exactly-once)处理语义的实时流处理平台
每段征程,都离不开先行者的探索。极速前行的数智时代,作为促进数据要素价值安全流通未来技术基础设施——隐私计算的建设者之一,「隐语」开源框架为了能在技术的通用、安全、普惠中肩负起更大的责任,不断探索通过多种形式凝聚技术合力完善隐私计算开源生态。 「隐语」隐私计算开源框架于 2022 年 7 月开源,以安全、开放为核心设计理念,涵盖了当前几乎所有主流隐私计算技术。开源社区半年来,发布隐语开放平台全球首发、举办首次社区 Meetup、收获首个开发者 PR 、联合产学共建隐私计算线上慕课、评选首期隐语「社区之星」
相信今天已经没有多少人还会固执地认为“互联网+”,“大数据+”只是个热点或是“噱头”。正所谓千淘万漉虽辛苦,吹尽狂沙始到金,大数据带来的产业革命正在倒逼传统产业革新,数据经济正在成为企业新的增长引擎。 “为什么大数据现在会这么热?是因为它能够真正解决一些实际的问题。比如,更有效地处理数据。也正因为如此,大数据的应用软件就变得非常重要。对于用户而 言,他并不在乎用什么样的硬件,甚至都不在乎用什么样的Hadoop或者是Spark的产品。只要给我一个高性能的、有效的应用程序、应用软件就好了。所
背景 一波未平一波又起的疫情对大家的生活、工作造成了一定影响。在信息化飞速发展的今天,小伙伴们技术交流的方式也变得多样化。2021年8月21日下午,ES 中文社区联合腾讯云在腾讯滨海大厦举办了深圳地区年度首次 Meetup,活动采用线下现场参与、腾讯会议、云+社区线上同步直播的方式进行。来自腾讯、Tapdata、字节跳动、vivo 的技术专家们给 ES 社区的小伙伴们带来了一场精彩的技术视听盛宴。 一、社区发展 活动开始, ES 深圳分会主席杨振涛先生回顾了深圳 Meetup 历史并对本次活动表达了祝福,
企业应用系统发展越来越庞大,依赖越来越多的产品组件,集成越来越多系统, 整体应用系统的性能取决于”木桶短板“,为了捕捉系统的短板问题,更好的持续优化,需要一套完备的”可观测性“系统,为系统架构师们或者决策者们提供数据库支持。
源于2014年,由CSDN主办的中国Spark技术峰会已成功举办两届,而到了2016年,峰会更得到了Spark护航者Databricks的支持,所有议题均由Databricks联合创始人兼首席架构师Reynold Xin及峰会主席陈超联合把关。会议将于5月15日北京拉开帷幕,而在这里,笔者就将带大家初窥由Databricks、Hortonworks、Intel、Elastic、腾讯、新浪、AdMaster等国内外知名企业带来的共计12个议题分享。 目前会议门票限时7折(截止至4月29日24点),详情访问官网
一、简介 Hadoop是一个实现了MapReduce计算模式的能够对大量数据进行分布式处理的软件框架,是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop计算框架最核心的设计是HDFS(Hadoop Distributed File System)和MapReduce,HDFS单看全称就知道,实现了一个分布式的文件系统,MapReduce则是提供一个计算模型,基于分治策略。 二、Hadoop特性 第一,它是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布
数据从未像今天一样如此重要,但数据的流通却障碍重重。为了促进数据要素价值的安全流通,隐私计算应运而生。 艾瑞咨询去年发布的《中国隐私计算行业研究报告》显示,2021 年中国隐私计算市场规模为 4.9 亿元,预计至 2025 年将达到 145.1 亿元。 然而,对于从业者来说,上手隐私计算并不是一件容易的事情。业界根据过去几年的实践经验发现,隐私计算技术方向多样,不同场景下有其各自合适的技术解决方案,且涉及领域众多,需要多领域专家共同协作。在实际技术开发中,隐私计算解决方案也往往是多个技术路线的组合,过程中涉
传统的 Hadoop 生态体系中,数据存储角色与计算角色通常会部署在相同的机器上,一个占据硬盘提供存储,一个利用 CPU 和内存做计算。为此,MapReduce 和 Spark 也适应性的设计了多层级的数据本地化策略,即任务尽可能被分配到存储所需数据的对应节点上做计算,以减少中间数据交互产生的网络开销和额外的存储压力,提升整体的大数据应用效率。
为了更好地引导和推动我国人工智能领域的发展,由中国人工智能学会发起主办,CSDN承办的2015中国人工智能大会(CCAI 2015)于7月26-27日在北京友谊宾馆召开。本次会议的主旨是创办国内人工智
领取专属 10元无门槛券
手把手带您无忧上云