Loading [MathJax]/jax/output/CommonHTML/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >携程大数据实时计算平台建设实践

携程大数据实时计算平台建设实践

作者头像
Java高级架构
发布于 2018-09-29 06:49:15
发布于 2018-09-29 06:49:15
1.8K0
举报
文章被收录于专栏:JAVA高级架构JAVA高级架构

本文作者为携程大数据平台负责人张翼。张翼浙江大学硕士毕业,2015年初加入携程,主导了携程实时数据计算平台的建设,以及携程大数据平台整合和平台技术的演进。进入互联网行业近10年,从事大数据平台和架构的工作超过6年。

首先是技术选型五花八门,消息队列有用ActiveMQ的,有用RabbitMQ的,也有用Kafka的,分析平台有用Storm的,有用Spark-streaming的,也有自己写程序处理的;由于业务部门技术力量参差不齐,并且他们的主要精力还是放在业务需求的实现上,所以这些实时数据应用的稳定性往往难以保证。其次就是缺少周边设施,比如说像报警、监控这些东西。最后就是数据和信息的共享不顺畅,如果度假要使用酒店的实时数据,两者分析处理的系统不同就会很难弄。所以在这样前提下,就需要打造一个统一的实时数据平台。

需要怎样的实时数据平台

这个统一的数据平台需要满足4个需求:首先是稳定性,稳定性是任何平台和系统的生命线;其次是完整的配套设施,包括测试环境,上线、监控和报警;再次是方便信息共享,信息共享有两个层面的含义,1、是数据的共享;2、是应用场景也可以共享,比如说一个部门会受到另一个部门的一个实时分析场景的启发,在自己的业务领域内也可以做一些类似的应用;最后服务响应的及时性,用户在开发、测试、上线及维护整个过程都会遇到各种各样的问题,都需要得到及时的帮助和支持。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2018-08-15,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 JAVA高级架构 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
干货 | 携程实时大数据平台实践分享
编者:本文作者为携程大数据平台负责人张翼。张翼浙江大学硕士毕业,2015年初加入携程,主导了携程实时数据计算平台的建设,以及携程大数据平台整合和平台技术的演进。进入互联网行业近10年,从事大数据平台和架构的工作超过6年。 今天给大家分享的是携程在实时数据平台的一些实践,按照时间顺序来分享我们是怎么一步一步构建起这个实时数据平台的,目前有一些什么新的尝试,未来的方向是怎么样的,希望对需要构建实时数据平台的公司和同学有所借鉴。 为什么要做数据平台 首先先介绍一下背景,为什么我们要做这个数据平台?其实了解携程的
携程技术
2018/03/16
2.6K0
干货 | 携程实时大数据平台实践分享
Hadoop集群从180到1500,携程大数据实践之路
内容来源:2018 年 09 月 08 日,携程大数据平台技术总监张翼在“2018开源数据库论坛暨首届MariaDB中国用户者大会”进行《大数据平台在携程的实践》演讲分享。IT 大咖说(微信id:itdakashuo)作为独家视频合作方,经主办方和讲者审阅授权发布。
IT大咖说
2018/10/23
8990
Hadoop集群从180到1500,携程大数据实践之路
干货 | ALLUXIO在携程大数据平台中的应用与实践
作者简介 郭建华,携程技术中心软件研发工程师,2016年加入携程,在大数据平台部门从事基础框架的研究与运维,主要负责HDFS、Alluxio等离线平台的研发运维工作。 进入大数据时代,实时作业有着越来越重要的地位,并且部分实时和离线作业存在数据共享。实践中使用统一的资源调度平台能够减少运维工作,但同时也会带来一些问题。 本文将介绍携程大数据平台是如何引入Alluxio来解决HDFS停机维护影响实时作业的问题,并在保证实时作业不中断的同时,减少对HDFSNameNode的压力,以及加快部分Spark SQL作
携程技术
2018/07/05
1.3K0
vivo 实时计算平台建设实践
vivo 实时计算平台是 vivo 实时团队基于 Apache Flink 计算引擎自研的覆盖实时流数据接入、开发、部署、运维和运营全流程的一站式数据建设与治理平台。
2020labs小助手
2023/01/04
1.1K0
Apache Flink 在移动云实时计算的实践
本文整理自移动软件开发工程师谢磊在 Flink Forward Asia 2021 平台建设专场的演讲。本篇内容主要分为四个部分:
从大数据到人工智能
2022/03/07
5980
Apache Flink 在移动云实时计算的实践
干货 | 百万QPS,秒级延迟,携程基于实时流的大数据基础层建设
纪成,携程数据开发总监,负责金融数据基础组件及平台开发、数仓建设与治理相关的工作。对大数据领域开源技术框架有浓厚兴趣。
携程技术
2021/04/09
1.9K0
2015携程技术中心年度盘点 TOP10
回首过去的2015,携程技术人用自己勤恳进取的态度,积极创新的精神为携程不断创造价值。1月31日携程技术中心年会上,CTO叶亚明先生(Eric)与大家一同见证了年度Top10的诞生。 No. 10
携程技术
2018/03/16
9830
2015携程技术中心年度盘点 TOP10
干货 | Meteor实时计算平台架构与实践
何彬,携程市场营销研发部高级研发经理,10多年互联网研发和架构经验。2014年加入携程,负责携程广告、新媒体推广和市场大数据平台的构建、研发工作。
携程技术
2019/01/08
1.1K0
干货 | 4小时上线一个接口,高效统一的携程酒店数据服务平台实践
作者简介 小丰,携程研发总监,专注于分布式数据库研究,大数据领域实时计算和大数据应用的系统架构设计。 背景 随着携程酒店数据的膨胀以及个性化需求的增多,每个数据接口个性化的排期开发,因为没有标准化,从需求讨论,数据准备、接口封装、上线调试到接口api说明,期间需要花费大量的时间。一个接口的实现到生产上线至少需要2天甚至更多时间,这个时间成本不得不依赖排期开发; 随着历史接口的迭代,已对外提供的700多数据接口中,其中500多个还在使用,并且每年的增量在100多,开发和维护成本高,特别是在追溯上游离线数据逻
携程技术
2022/07/12
1.1K0
干货 | 4小时上线一个接口,高效统一的携程酒店数据服务平台实践
干货 | 携程实时用户行为系统实践
作者简介 陈清渠,毕业于武汉大学,多年软件及互联网行业开发经验。14年加入携程,先后负责了订单查询服务重构,实时用户行为服务搭建等项目的架构和研发工作,目前负责携程技术中心基础业务研发部订单中心团队。 携程实时用户行为服务作为基础服务,目前普遍应用在多个场景中,比如猜你喜欢(携程的推荐系统),动态广告,用户画像,浏览历史等等。 以猜你喜欢为例,猜你喜欢为应用内用户提供潜在选项,提高成交效率。旅行是一项综合性的需求,用户往往需要不止一个产品。作为一站式的旅游服务平台,跨业务线的推荐,特别是实时推荐,能实际满足
携程技术
2018/03/16
1.7K0
干货 | 携程实时用户行为系统实践
携程:日处理20亿数据,实时用户行为架构实践
携程实时用户行为服务作为基础服务,目前普遍应用在多个场景中,比如猜你喜欢(携程的推荐系统)、动态广告、用户画像、浏览历史等等。
搜云库技术团队
2019/10/18
7920
【专访】携程李亚锋:大数据技术融合下的Spark更具魅力
PPV课大数据 “大数据”作为当下最火热的IT行业词汇,在主流的数据处理工具当中Hadoop和Spark都被大家所熟悉。不过,目前基于内存计算的Spark适合各种迭代算法和交互式数据分析,能够提升大数
小莹莹
2018/04/20
9960
【专访】携程李亚锋:大数据技术融合下的Spark更具魅力
干货 | 携程基于大数据分析的实时风控体系
作者简介 刘江,携程金融管理部风险管理总监,负责携程集团的全面风险管理工作。拥有近15年风险管理经验,先后在广发银行、OperaSolutions、阿里巴巴和腾讯等公司任重要管理岗位,一直从事风控政策、风控模型、大数据征信等相关工作。 携程反欺诈体系经过超过10年的发展和积累,在大数据实时并行计算和实时多维关联分析方面已经非常成熟,是整个体系稳定高效运行的基础。 近两年来,我们在大数据和人工智能方向投入研发资源,产出了设备指纹、CDNA、实时复杂变量计算引擎等一系列创新项目,取得到很好的应用效果。2017年
携程技术
2018/07/05
3K0
万亿级大数据平台的建设实践
从互联网、移动互联网到物联网,数据量之巨大已突破想象边界。与此同时,实时数据分析的需求日益增长,那么,当数据量达到亿级、百亿级甚至万亿级规模,实时数据分析如何来做?尤其在To B/G来说,大多数企业和政府客户区别于互联网企业,自身不具备技术团队,缺乏技术运维能力,因此在搭建本地化万亿级大数据平台时,如何交付更为标准化、透明化设计的产品成为最大挑战。
数据和云
2019/06/18
1.7K0
万亿级大数据平台的建设实践
干货 | 每天TB级数据处理,携程大数据高并发应用架构涅槃
互联网二次革命的移动互联网时代,如何吸引用户、留住用户并深入挖掘用户价值,在激烈的竞争中脱颖而出,是各大电商的重要课题。通过各类大数据对用户进行研究,以数据驱动产品是解决这个课题的主要手段,携程的大数据团队也由此应运而生;经过几年的努力,大数据的相关技术为业务带来了惊人的提升与帮助。 以基础大数据的用户意图服务为例,通过将广告和栏位的“千人一面”变为“千人千面”,在提升用户便捷性,可用性,降低费力度的同时,其转化率也得到了数倍的提升,体现了大数据服务的真正价值。 在新形势下,传统应用架构不得不变为大数据及新
携程技术
2018/03/16
3.2K0
干货 | 每天TB级数据处理,携程大数据高并发应用架构涅槃
干货 | 携程技术演进之路
李小林,携程技术副总裁,平台研发中心负责人。从事IT互联网技术研发工作二十多年,目前负责携程基础设施平台。本文来自李小林在“2018携程技术峰会”上的分享。
携程技术
2019/04/22
2.2K0
干货 | 携程技术演进之路
《携程技术2021年度合辑》,送给爱学习的你
序言 2021年仍然是艰难的一年。反复的疫情和全球经济的不确定性,让几乎所有对旅游业不利的因素都在释放。但于变局中开新局,在危机中育新机,旅游业人带着穿越寒冬的信念,奋力前行。携程技术人则“深耕国内,心怀全球”,切身体会到反复疫情为用户出行带来的困难,我们重点提升服务效率,推动进一步化繁为简并提高灵活性,加强系统的自动化程度,加快对用户需求的响应。 移动端的跨端技术深入进一步赋能业务,React Native、Flutter、小程序等跨平台框架将动态化的能力最大化的支撑业务,带来业务迭代周期缩短、开发效率的
携程技术
2022/03/04
6710
干货 | 携程Presto技术演进之路
作者简介 张巍,携程技术中心大数据资深研发工程师。2017年加入携程,在大数据平台部门从事基础框架的研发和运维,目前主要负责 Presto,Kylin,StructedStreaming 等大数据组建的运维,优化,设计及调研工作。对资源调度,OLAP引擎,存储引擎等大数据模块有浓厚的兴趣, 对 hdfs,yarn,presto,kylin,carbondata 等大数据组建有相关优化和改造经验。 一、背景介绍 携程作为中国在线旅游的龙头,提供酒店,机票,度假等服务,这些服务的背后是基于各个部门每天对海量数
携程技术
2018/07/05
3.4K0
干货 | 携程机票数据仓库建设之路
华智,携程高级研发经理,现负责数据仓库技术架构、性能优化、数仓规范制定、数据模型设计以及数据应用开发。
携程技术
2020/02/26
1.5K0
微分享回放 | 携程是如何把大数据用于实时风控的
作者简介 郁伟,携程技术中心风险控制部高级开发经理。2010加入携程,参与了携程结算平台、风控系统的开发,对系统架构、流式数据处理等有比较深入的研究。 *视频时长约1小时19分钟,请在WiFi环境下观看* 携程作为国内OTA领头羊,每天都遭受着严酷的欺诈风险,个人银行卡被盗刷、账号被盗用、营销活动被恶意刷单、恶意抢占资源等。 目前携程利用自主研发的风控系统有效识别、防范这些风险。携程风控系统从零起步,经过五年的不断探索与创新,已经可以有效覆盖事前、事中、事后各个环节。也从原来基于“简单规则+DB”,发展到
携程技术
2018/03/16
1.3K0
微分享回放 | 携程是如何把大数据用于实时风控的
推荐阅读
相关推荐
干货 | 携程实时大数据平台实践分享
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档