前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >首届Apache Hadoop技术社区中国Meetup在京举办(内附完整PPT)

首届Apache Hadoop技术社区中国Meetup在京举办(内附完整PPT)

作者头像
腾讯开源
发布2019-08-16 18:10:46
9811
发布2019-08-16 18:10:46
举报
文章被收录于专栏:腾讯开源的专栏

近日,在Apache Hadoop社区主导及邀请下,腾讯开源、腾讯大数据、腾讯云联合承办了Hadoop技术社区在中国的首次Meetup。围绕Hadoop技术实践,来自腾讯、Cloudera、京东、小米、阿里、滴滴、华为、字节跳动的多位嘉宾参与了分享讨论。

腾讯开源运营负责人王春雨表示:“中国企业的参与是开源生态建设不可或缺的一部分。腾讯作为国内开源的先行者,将持续投入社区协同合作,以开放的心态,推动更多开源社区之间的交流对话,助力技术生态发展。”

Hadoop是由Apache基金会所开发的分布式系统基础架构。自2006年诞生以来,Hadoop改变了企业对数据的存储、处理和分析的过程,形成了一个极其丰富的技术生态圈,并在经历了大数据技术高速发展之后,迎来了3.x的时代。

作为Apache Member, HadoopPMC & Committer, Hadoop社区负责人之一,堵俊平于2011年开始持续关注Hadoop技术的进展,参与社区贡献,并积极推动 Hadoop技术在全球各地的落地推广。他同时也是腾讯TEG数据平台部海量存储与计算研发负责人、腾讯开源联盟主席、开源管理委员会委员。据介绍,腾讯是最早采用Hadoop技术的中国公司之一,这两年向社区贡献了大量patch和特性,包括HDFS稳定性增强、YARN增强型资源隔离方案、Ozone项目的新特性等,并作为国内首家企业率先在社区发布2.8.4与2.8.5 release。

堵俊平展示了大数据Hadoop技术与社区发展的Roadmap。包括存储平台(HDFS,Ozone)向大规模、云、容器化、机器学习等方向的演进路线以及近期的热点feature,包括RBF(Router Based Federation),即基于路由机制的集群联邦方案来应对海量数据存储的增长,HDFS对外部对象存储的管理,OpenTracing机制的支持,以及Ozone的特性。据悉,Hadoop项目的近期发布计划将包括2.8.6, 3.1.3,3.2.1和3.3.0。

堵俊平表示,此次Meetup将是Hadoop社区交流的良好开端,腾讯将积极参与社区交流,贡献自己的技术实践,推动Hadoop技术生态发展。未来Apache Hadoop社区在中国的Meetup将沿用之前在硅谷的方式,即:由Hadoop PMC组织发起,志愿参与社区贡献的公司来自愿承办,开源贡献者共同参与并提交议题,活动向开源社区所有用户与贡献者免费开放。未来,Hadoop社区将在中国形成每季度举办一次中小型的Meetup的惯例,甚至开创新的形式,包括举办较大规模的HadoopCon。

腾讯大数据工程师、Apache Hadoop Committer & PMC member陈怡以Ozone为例,介绍了Hadoop原生对象存储服务的解决方案。

Ozone是由Hadoop社区新发起的一个强一致性分布式对象存储服务,旨在解决目前HDFS Namenode的扩展性上限问题。Ozone 拥有和HDFS一样的可靠性,一致性和可用性,支持Hadoop文件系统接口,无缝对接YARN,SPARK 和HIVE。支持S3接口,提供CNCF CSI驱动。Ozone不仅适用于on-premise大数据环境,同时也是大数据上云,云端存储的一个很好的选择。

陈怡在分享中介绍了Ozone的动机和目标,namespace管理和数据管理分离的构架,支持的对象存储的语义,对象读写流程,访问控制,用户可自定义的弹性网络拓扑结构,和Kubernetes集成的支持等等将要发布的0.5版本的新特性。

腾讯高级工程师、Hadoop YARN和Kubernetes社区活跃贡献者龚军、陈东东则介绍了腾讯大规模YARN集群实践。腾讯的Hadoop YARN集群在2014年就已经支持单集群8800台上的规模,每日调度上亿的container。龚军分享了优化调度器性能的一些基本思路和方法,包括改进热点代码的算法、降低时间复杂度、避免重复的查找与计算、减少锁竞争以及优化锁粒度等。通过这些调度性能优化,使YARN能满足大规模集群的吞吐量。

陈东东则主要介绍了如何使用cgroup对底层资源进行弹性控制,确保业务的请求资源可以得到保障,特别是对多资源纬度的管理,包括cpu、内存、网络io、磁盘io等,同时在有空闲资源的情况下,可以临时借用更多的资源,以此来提高底层资源利用率。

此外,Cloudera、京东、小米、阿里、滴滴、华为、字节跳动的多位嘉宾也参与了分享,分别围绕Hadoop在各大企业的大规模实践、HDFS的改进优化,YARN与机器学习和云原生结合,以及架构演进等话题进行了讨论。

扫码关注“腾讯技术工程”公众号,回复“PPT”即可领取嘉宾的演讲PPT。如果你还想了解更多,请点击底部“阅读原文”或者扫描下方二维码查看现场直播回放。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2019-08-16,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 腾讯开源 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
相关产品与服务
大数据
全栈大数据产品,面向海量数据场景,帮助您 “智理无数,心中有数”!
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档