大数据和云计算硬币的正反面 “大数据也需要云计算这个平台，这是一个硬币的正反面。”阿里云总裁王文彬（花名：菲青）与媒体交流时表示。这几年IT行业发生了翻天覆地的变化，直到现在大家依然在谈论云计算。这云概念出现当初，业内不断传出质疑的声音，随着各大云服务厂商的努力，现在各行各业都已经开始接受了云计算服务。2014年7月，阿里云ODPS项目正式对外开放。 伴随着互联网与移动互联网的相关技术不断成熟，云计算开始被市场接受，海量数据大潮来袭，厂商和企业纷纷看到了大数据的前景，我们现在已经生活在一个数据的时代。 大数
2003年至今淘宝网从零开始飞速发展，走过了13个年头，支撑淘宝业务野蛮式生长背后是一套不断完善的技术平台，淘宝大数据平台，就是其中非常重要的一个组成部分，承担了数据采集、加工处理、数据应用的职责，淘
Growth Hacking这个词在过去一两年开始迅速从硅谷传播到国内，也诞生了一系列专注于企业数据分析业务的明星初创公司，如GrowingIO，神策数据，诸葛IO等。Growth Hacking简单的来说就是用数据驱动的方式来指导产品的迭代改进，以实现用户的快速增长，可以看看上面几家数据分析公司披露的客户就知道它有多流行了： GrowingIO客户：有赞，豆瓣，36Kr等 神策数据客户：秒拍，AcFun，爱鲜蜂，pp租车等 诸葛IO客户：Enjoy，罗辑思维等 我司的一个主要产品是面向中小诊所的运营S
美联社推出 Election Buzz，靠大数据追踪美国总统大选 据外媒报道，美联社近日与谷歌及Twitter合作，整合这两大平台的数据推出了一款称为“AP Election Buzz”的可视化工具，
《为“跑分”而生的中国超级计算机》，这篇关于超级计算机的报道将“天河”系列超级计算机置于风口浪尖。该文援引报道称，2010年斩获“世界最快的计算机”的天河1号已经闲置近一年，成烂尾工程。而天河1号A以及天河2号尽管在计算绝对速度上超越天河1号，但在效率、实用性上却很难令人满意，不知何故，此文于昨夜开始被全网逐步清除，看样子超级计算机将成敏感话题。 超级计算机：越来越孤独的比赛 先看看百度百科对超级计算机的解释： 超级计算机指能够执行一般个人电脑无法处理的大资料量与高速运算的电脑，其基本组成组件与个人电脑的
2015年12月10-12日，由中国计算机学会（CCF）主办，CCF大数据专家委员会承办，中国科学院计算技术研究所、北京中科天玑科技有限公司与CSDN共同协办，以“数据安全、深度分析、行业应用”为主题的 2015中国大数据技术大会（Big Data Technology Conference 2015，BDTC 2015）在北京新云南皇冠假日酒店盛大开幕。 2015中国大数据技术大会第二天的大数据基础设施分论坛中，来自阿里云、Hulu、北京忆恒创源、阿里巴巴、企事录以及中科院计算所的技术专家分享了大数据基础
Lambda架构整合离线计算和实时计算，融合不可变性（Immutability），读写分离和复杂性隔离等一系列架构原则，可集成Hadoop，Kafka，Storm，Spark，HBase等各类大数据组件。
在离线数据研发中，随着业务的快速发展以及业务复杂度的不断提高，数据量的不断增长，尤其得物这种业务的高速增长，必然带来数据逻辑复杂度的提升，数据量越大，复杂度越高，对任务的性能的要求就越高，因此，任务性能的优化就成了大家必然的话题，在离线数仓招聘中，这几乎成了必考题目。
又一位大佬下场创业，AI的场子越来越热闹了。 作者丨New Bing 编辑丨董子博 据悉，阿里巴巴集团副总裁贾扬清将于近期离职创业，他的创业方向将聚焦于人工智能架构领域，目前已获得了首轮融资意向。贾扬清是国际知名的AI科学家，来到阿里体系前，曾在谷歌、FaceBook工作，参与了Caffe、TensorFlow和PyTorch的AI架构设计。 对于离职创业，贾扬清对AI科技评论回应称： 加入阿里巴巴的时候，最吸引我的是云计算可以带给社会的独特贡献：AI，Big data，Compute，Developer，
当前，越来越多的同学进入大数据行业，有的是底层的技术，有的是工程，有的是算法，有的是业务。每个产品、都需要工程化的实现，以前，工程师都是操练着java/python/c等各种语言操纵中各类的软件，比如jquery，spring、mysql，实现产品的业务逻辑。在大数据时代，要想个性化实现业务的需求，还是得操纵各类的大数据软件，如：hadoop、hive、spark、hbase、jstorm等。笔者（阿里封神）混迹Hadoop圈子多年，经历了云梯1、ODPS等项目，目前base在E-Mapreduce。在这，笔者尽可能梳理下，本文是围绕hadoop的。对于算法、机器学习是另一个范畴，本篇不涉及，不过从事机器学习算法的研发，能力最好在中级之上。
8月，在满是酷热的上海，阿里云携手驻云在上海云基地举办了“云时代，企业如何轻松上云”的专题活动， 活动邀请了阿里云市场部总监金杰就目前的云市场和新技术展开了分享和讨论。 用数据说话：45% VS 4%？ 云计算是IT时代的转战互联网+的一大进化，计算能让一个公司在大数据的浪潮中也拥有像阿里巴巴、腾讯一样的技术支撑能力，但在这之前，企业一定要的理解和选择品牌云计算厂商。 阿里云运营总监金杰表示：云计算成为国家基础设施从IT到DT（Data Technology），近几年，云服务增长率为45%，传统 IT整
摘要 大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
导读：8月3日-6日，世界公认的“必须参加”的数据盛典Strata + Hadoop World首次登陆中国。作为顶级的数据盛会，美国总统奥巴马曾亲自2015年加州的Strata + Hadoop World大会助阵送去贺词。会议议题关注于大数据、机器学习和数据分析以及它们社会带来的改变。数据科学家、分析师和来自各种规模的创新企业高管将在此汇聚一堂，分享数据案例研究、最佳实践、新的分析方法以及关键技能。 让我们来看看在北京的Strata + Hadoop World大会有什么亮点： 阿里云iDST褚崴
作者：承哲 摘自：虎嗅 截止2014年，BAT已在中国度过十几个年头，而其各自技术生态根据自身特点均已有所发展，从技术角度各家究竟有何优势，以下做个盘点。 一、百度 百度本身就是以技术为驱动的公司，旗下成功产品都有一个特性就是围绕技术去做。与腾讯不同的是，百度是因为有了技术优势再去补充产品，如百度贴吧、百度百科、百度知道、百度指数等，就是因为百度有了搜索流量后，根据自身发展的需要而加入的产品，做的也十分成功。 所以百度的基因就是要先以技术优势布阵，随后再去将这些技术向商业化的产品转化。 1、搜索引擎技术
导读：搜索离线数据处理是一个典型的海量数据批次/实时计算结合的场景，阿里搜索中台团队立足内部技术结合开源大数据存储和计算系统，针对自身业务和技术特点构建了搜索离线平台，提供复杂业务场景下单日批次处理千亿级数据，秒级实时百万TPS吞吐的计算能力。
<数据猿导读> 这是个人人都可能是网红的时代，随着2015年网红们频频走火，衍生出的网红店铺也是很受小粉丝的追捧。如何在万千店铺中甄别出哪些是真正的网红店铺呢？阿里数据科学家通过特征工程与分析得出了一
2022年2月22日，在今天这个特殊的日子里，历经多年持续迭代和千万周期实例并发调度考验的Taier（太阿）终于开源了！
作者 | 蔡芳芳、Tina 3 月 21 日，AI 领域爆出重大人事变动：在阿里任职四年后，Caffe 作者贾扬清即将离职。 昨日，有自媒体爆料称，阿里巴巴集团副总裁、阿里硅谷研究院负责人贾扬清将于近期离职创业，创业方向将聚焦于人工智能架构领域，目前已获得了首轮融资意向。 对此，贾扬清对 InfoQ 回应称： 加入阿里巴巴的时候，最吸引我的是云计算可以带给社会的独特贡献：AI，Big data，Compute，Developer，和 Ecosystems。 有幸在过去几年中带领计算平台事业部，建设了一支从
MaxCompute（原ODPS）是阿里云自主研发的分布式大数据处理平台，为用户提供了开放的编程接口和 SDK，允许用户在其强大灵活的存储和计算能力之上开发自己的数据应用和系统，创造更大的价值。
2014年12月12-14日，作为大数据领域最具影响、规模最大的IT盛会——2014中国大数据技术大会暨第二届CCF大数据学术会议在北京新云南皇冠假日酒店圆满落幕。大会历时三天，以国际化的视野，分享了海内外大数据技术的发展趋势；从技术与实践角度探讨“大数据生态系统”、“大数据技术”、“大数据应用”、“大数据基础设施 ”等新技术应用和实践经验；通过创新大赛和培训课程等特色活动，解密大数据创业热点，分享行业实战经验。2014中国大数据技术大会已经成为大数据技术与应用深度结合的新起点，产业界、科技界与政府部
DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
我投的岗位“软件研发工程师”。到了面试现场，选择了Java语言（有对应的面试官）。不过，后面进行了交叉面试，被推到了“数据研发”岗位。 一面： 首先，自我介绍。 我：“我做过两个项目。写过几篇论文和专利。还参加过阿里巴巴大数据竞赛。同时，出于个人兴趣，我还阅读了一下HDFS的少部分源码，理解了一下HDFS的核心思想，实现了一个功能非常简单，并且还不完善的HDFS。” 面试官1：“说一说你写的论文中的某一篇的创新点？” 我：“我写的文章或者专利，主要遵循一个
导读：8月3日-6日，世界公认的“必须参加”的数据盛典Strata + Hadoop World首次登陆中国。作为顶级的数据盛会，美国总统奥巴马曾亲自2015年加州的Strata + Hadoop World大会助阵送去贺词。会议议题关注于大数据、机器学习和数据分析以及它们社会带来的改变。数据科学家、分析师和来自各种规模的创新企业高管将在此汇聚一堂，分享数据案例研究、最佳实践、新的分析方法以及关键技能。 让我们来看看在北京的Strata + Hadoop World大会有什么亮点： 阿里云iDST褚崴讲《
一项技术的发展，有自建轮子和抱团取暖两种选择，前者自己从头搭起，后者大家一起合作搞个开源社区。这两者到底哪个比哪个更好，一直都是说不清楚的问题。当然还有拿来主义的原则，拿别人的轮子改头换面叫做自己的轮子的，这种做法不在我们讨论范围内。
声明:本文参考了淘宝/滴滴/美团发表的关于大数据平台建设的文章基础上予以整理。参考链接和作者在文末给出。
愚人节一则阿里巴巴收购中石化5000座加油站的消息在朋友圈疯狂流传，信的人纷纷感叹马云无所不能、阿里无所不包。不过明眼人一看便知这并不符合阿里的业务逻辑以及中国的国情，现在这被证明只是一个玩笑。昨天中石化官方微博公布： 中石化正借助阿里等企业在云计算、大数据方面的技术优势，对部分传统石油化工业务进行升级，打造多业态的商业服务新模式，以给社会公众提供更优质、更便捷的服务。目前，这些项目正在设计或建设之中，成熟之后会向社会公布。这些是技术服务，不是股份合作。 虽然并无更多细节，不过从网上公开信息、以及阿里巴巴此
原创2015-03-20罗超 大数据终于不再是纸上谈兵，而是进入到实际应用阶段，标志性事件是两会上，李克强总理明确表态，政府应该尽量的公开非涉密的数据，以便利用这些数据更好的服务社会，也为政府决策和监管服务。这是中国政府首次正式公开表态支持大数据。在此之前中国各级政府一些部门已在大数据开放上有所尝试，从实际情况来看，还存在开放规则不明朗的问题，不过一个大方向确实：大公司优先。 1、政府部门大数据成为企业眼里的“香饽饽”。 大数据是金矿，企业和政府都已经意识到其中的价值，在大数据上有野心的企业都期望获得更多
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。
> 本文首发于 **[Nebula Graph Community 公众号](https://nebula-website-cn.oss-cn-hangzhou.aliyuncs.com/nebula-blog/WeChatOffical.png)**
说了九次面试感觉我是大神，拿了SP之类，其实并不是，内情就是内推转为了校招，内推五次面试，校招四次面试，在加校招的笔试。本帖子适用于跨专业的人士。sp勿喷，有错别字，勿喷，只是想写个面试经验给以后的人士。 我投递是数据岗位，对于之前我主要搞机器人的我来讲，基本处于什么的都不会的状态，做数据的一般都知道，需要用什么 比如odps，hadoop，flink等等工具，然后做业务需要范式建模，纬度建模等等。我可以真实的告诉大家，之前这些我并不是很熟悉的。以前摸到的数据也只是阿里巴巴数据天池比赛。下面一一叙述开来。
最近大数据领域最值得关注的，不是技术上有什么突飞猛进的进展，而是人才的流动问题。 以前是大数据发源地的各大互联网企业，包括三驾马车提出者的谷歌，都面临了新一波的大数据人才逃离。 根据我朋友圈和LinkedIn的数据，在这次的大数据人才逃离中，谷歌尤其的惨淡。 谷歌下面的几个大数据团队，比如著名的BigQuery，还有F1，都大量流失大数据人才。 这些人去的地方也非常有意思，小部分去创业了，大部分去了两家当红的大数据公司：Snowflake和Databricks。 有关这两家公司我之前写过很多分析文章了，尤
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、SQL Server、Oracle、PostgreSQL、HDFS、Hive、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。
当你需要搭建大数据平台的时候一定是传统的关系型数据库无法满足业务的存储计算要求了，所以首先我们面临的是海量的数据。
4. 详细介绍下MapReduce的工作机制？我重点回答了切片原理和Shuffle机制
Lambda架构由Storm 的作者 [Nathan Marz] 提出， 根据维基百科的定义，Lambda 架构的设计是为了在处理大规模数据时，同时发挥流处理和批处理的优势。通过批处理提供全面、准确的数据，通过流处理提供低延迟的数据，从而达到平衡延迟、吞吐量和容错性的目的。为了满足下游的即席查询，批处理和流处理的结果会进行合并。
机器之心报道 机器之心编辑部 贾扬清从阿里巴巴正式毕业，计划走向职业生涯的下一个挑战。 近段时间，ChatGPT 与大模型的爆火，又吸引了整个科技领域以及投资圈对 AI 的关注。最近也爆出了许多学术界、业界 AI 大佬投身创业潮的消息。 昨日，知名人工智能科学家贾扬清从阿里巴巴离职创业的信息也被爆出，贾扬清本人旋即正式回应，确定了从阿里巴巴离职的消息。 以下是贾扬清的个人声明： 加入阿里巴巴的时候，最吸引我的是云计算可以带给社会的独特贡献：AI，Big data，Compute，Developer，
大家好，我是来自袋鼠云的浣熊，感谢这次会议的讲师们给我们带来了云原生技术应用的分享，感觉又打开了几个新脉门，解锁了新的武魂。在接下来的分享中，希望大家跟着我们的实践案例做一些探索性的思考。
红象云腾（RedHadoop）公司创始人童小军认为创业是一个从0到1的过程。每个创业者都只能靠自己去经历从0到1的转变，才有资格通过和别人合作完成1到100，即使失败我们还能回归到1从新出发。期望通过
公交车伴随着我们的日常生活已是随处可见，不同路线的公交车根据各自的时间表有序发出，到达站点，接上站台的乘客再缓缓驶向下一站……早高峰会有短区间的加班车，发车间隔也更短，夜半时分的班次则间隔更长。这一切都服从于公交总站的调度。
整理 | 郑丽媛 出品 | CSDN（ID：CSDNnews） 昨天，我们还在感慨美团元老王慧文、前京东 AI 掌门人周伯文、创新工场 CEO 李开复等 AI 大佬陆续入局“中文版 ChatGPT”的混战。 不曾想，今天 AI 大模型领域的创业赛道上又多了一位”大牛“：业内媒体爆料，阿里 VP 贾扬清将离职创业，方向是大模型基础设施，即 AI 架构，并已得到首轮融资意向。 而就在刚刚，贾扬清对此传闻进行了最新回应： ”白驹过隙，我也计划走向职业生涯的下一个挑战。祝愿团队的兄弟姐妹们再创辉煌，祝愿阿里云能够
小伙伴们选择大数据平台，想必是传统的关系型数据库无法满足业务的存储计算要求，面临着海量数据的存储和计算问题。
ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程，是数据仓库的生命线。
本文介绍了 SparkSQL 和 Flink 对于批流支持的特性以及批流一体化支持框架的难点。在介绍批流一体化实现的同时，重点分析了基于普元 SparkSQL-Flow 框架对批流支持的一种实现方式。希望对大家的工作有所帮助，也希望能对 DatasetFlow 模型作为框架实现提供一些启发。
4.1.2 大数据应用的技术质量体系综述 1 离线工程系统的测试验证工作，即算法测试
问题导读： Hadoop数据采集框架都有哪些？ Hadoop数据采集框架异同及适用场景？
技术最终为业务服务，没必要一定要追求先进性，各个企业应根据自己的实际情况去选择自己的技术路径。 它不一定具有通用性，但从一定程度讲，这个架构可能比BAT的架构更适应大多数企业的情况，毕竟，大多数企业，数据没到那个份上，也不可能完全自研，商业和开源的结合可能更好一点，权当抛砖引玉。 大数据平台架构的层次划分没啥标准，以前笔者曾经做过大数据应用规划，也是非常纠结，因为应用的分类也是横纵交错，后来还是觉得体现一个“能用”原则，清晰且容易理解，能指导建设，这里将大数据平台划分为“五横一纵”。
最近遇到了很多正在研究ETL及其工具的伙伴向我们抱怨：同样都在用 Kettle ，起点明明没差异，但为什么别人ETL做的那么快那么好，自己却不断掉坑？
1、使用datax工具将postgresql或者greenplum数据库中的数据同步到elasticsearch中。DataX目前已经有了比较全面的插件体系，主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入，目前支持数据如下图：
某游戏公司开发了个游戏APP，该公司在APP中会发布一些游戏场景、游戏角色、装备、精美皮肤等内容，玩家在线娱乐，产生充值购买等行为。 业务的构建涉及到几个端：
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频
