2019 AI开发者大会是由中国IT社区 CSDN 主办的 AI 技术与产业年度盛会，2019 年 9 月 6-7 日，近百位中美顶尖 AI 专家、知名企业代表以及千余名 AI 开发者齐聚北京，进行技术解读和产业论证。
本文主要介绍如何利用大数据技术搭建机器学习平台，包括数据处理、特征提取、算法训练以及模型评估等方面。同时，还介绍了平台的架构和展望，包括个性化、融合其他算法包等方面。
作者 | 黄波，何沧平 责编 | 何永灿 随着人工神经网络算法的成熟、GPU计算能力的提升，深度学习在众多领域都取得了重大突破。本文介绍了微博引入深度学习和搭建深度学习平台的经验，特别是机器学习工作流、控制中心、深度学习模型训练集群、模型在线预测服务等核心部分的设计、架构经验。微博深度学习平台极大地提升了深度学习开发效率和业务迭代速度，提高了深度学习模型效果和业务效果。 深度学习平台介绍 人工智能和深度学习 人工智能为机器赋予人的智能。随着计算机计算能力越来越强，在重复性劳动和数学计算方面很快超过了
机器之心原创 机器之心编辑部 最先落地 AutoML 的那家公司，现在喊出了开源。 自动机器学习 AutoML 技术，可以把特征提取、模型选择、参数调节等机器学习的复杂过程实现自动化。这种能够大幅降低 AI 应用门槛的工具，是目前人工智能业界炙手可热的方向。 第四范式成立之初就开始投入力量研究 AutoML 技术，现在又把自动化 AI 的能力拓展到 AI 应用的大多数环节。 在 6 月 23 日的年度发布会上，第四范式的 AI 操作系统 AIOS 升级到了 2.0 版。更引人关注的是，这家公司还计划在一年内
掌握Linux必备知识，熟悉Python的使用与爬虫程序的编写，搭建Hadoop（CDH）集群，为大数据技术学习打好基础。
自2006年诞生以来，Hadoop技术与社区已走过了13个年头，在经历了大数据技术高速发展之后，迎来了3.x时代。Hadoop如何在腾讯、阿里、滴滴、小米、美团、头条以及京东巧妙落地？有哪些新方向值得关注？Hadoop技术社区又将走向何方？ 今天，Hadoop将首次在中国组织Meetup，为你揭晓大数据Hadoop技术与社区发展的Roadmap。 时间地点 时间：2019年8月10日 10:00 地点：北京希格玛大厦 小剧场 活动议程 09:40-10:00 签到&自由交流 10:00-10:
11月4日，在2021腾讯数字生态大会上，腾讯正式宣布开源其全场景在离线混部系统Caelus。 Caelus由腾讯大数据团队联合腾讯多个业务部门共同研发，旨在解决大数据资源缺口问题，通过Caelus在离线混部，扩充大数据任务可用资源，发挥空闲资源更大价值。在腾讯内部，Caelus混部方案已经被大规模应用到广告、存储、大数据、机器学习等多个业务，平均提升30% 资源利用率，节省了上亿成本。 近年来，随着互联网业务的发展，大数据类任务的资源需求呈指数级增长，资源成本问题突出。但各大权威机构的调研数据显
导读：随着公司业务的快速发展，离线计算集群规模和提交的作业量持续增长，如何支撑超大规模集群，如何满足不同场景的调度需求成为必须要解决的问题。基于以上问题，快手大数据团队基于YARN做了大量的定制和优化，支撑了不同场景下的资源调度需求。
随着信息产业的迅猛发展，大数据应用逐渐落地，行业人才需求量逐年扩大。大数据成为目前最具前景的高薪行业之一，大数据分析工程师、大数据开发工程师等大数据人才也成为市场紧缺型人才，薪资一涨再涨。
腾讯自研搭建了业界一流的太极机器学习平台，致力于让用户更加聚焦业务 AI 问题解决和应用，一站式的解决算法工程师在 AI 应用过程中特征处理，模型训练，模型服务等工程问题。结合对用户的习惯理解和功能沉淀，太极在产品层提供数据/特征工程，模型训练，模型服务三块。闭环了用户离线训练到在线服务的应用，包含了不同场景下的数据访问诉求，不同训练模型的诉求，在线服务可靠性的诉求。算法框架&组件层提供了机器学习、深度学习核心组件。可支持 10TB 级模型训练、TB 级模型推理和分钟级模型发布上线，扩展集群规模则可支持更大
前言：12月19日，在 Cloud Native Days China -云原生AI大数据专场,腾讯技术事业群高级工程师薛磊发表了《云原生AI平台的加速与实践》主题演讲。
刚刚度过了一个特殊的春节，美美在这里给大家拜个晚年。相信大家作为各公司技术团队的骨干，应该也和我的同事们一样，正在紧张忙碌地用技术支撑着各方面的工作，同舟共济，抗击疫情吧。请大家注意做好个人和家庭防护，多加强运动，提高免疫力。让我们一起为武汉加油，愿疫情早日结束！
自2006年诞生以来，Hadoop技术与社区已走过了13个年头，在经历了大数据技术高速发展之后，迎来了3.x的时代。这些年来，Hadoop如何在腾讯、阿里、滴滴、小米、美团、头条以及京东巧妙落地？在全新的时期，有哪些方向值得关注？Hadoop技术社区又将走向何方？2019年8月10日，Hadoop将首次在中国组织meetup，为你揭晓大数据Hadoop技术与社区发展的Roadmap。 活动时间和地点 时间：2019年8月20日 地点：北京希格玛大厦北塔 B1 多功能厅 活动议程 9:40-10:
导读 / Introduction 11月4日，在2021腾讯数字生态大会上，腾讯正式宣布开源全场景在离线混部系统Caelus。 Caelus由腾讯大数据团队联合腾讯多个业务部门共同研发，旨在解决大数据资源缺口问题，通过Caelus在离线混部，扩充大数据任务可用资源，发挥空闲资源更大价值。在腾讯内部，Caelus混部方案已经被大规模应用到广告、存储、大数据、机器学习等多个业务，平均提升30% 资源利用率，节省了上亿成本。 近年来，随着互联网业务的发展，大数据类任务的资源需求呈指数级增长，资源成本问题突
大数据技术已经被应用到各行各业，涉及人们生活的方方面面。大数据技术大大提高了数据存储和计算能力，从而为企业快速决策提供了数据支撑，能够助力企业改进业务流程、控制成本、提高产品质量，应用大数据技术为企业核心竞争力的提升打下了坚实的基础。
内容来源：2018 年 5 月 26 日，美团点评技术专家杨一帆在“饿了么技术沙龙·第25弹【搜索推荐】”进行《Why WAI: 美团点评搜索推荐机器学习平台》演讲分享。IT 大咖说（微信id：itdakashuo）作为独家视频合作方，经主办方和讲者审阅授权发布。
学习编程拼图理论的框架整理 介绍 机器学习是大数据技术的制高点，是大数据技术人员核心竞争力之所在，是企业大数据使用的灵魂，是每个想在大数据领域的有卓越价值的技术人员都必须掌握的内容！ Spark 在机器学习方面有着无与伦比的优势，特别适合需要多次迭代计算的算法。 同时 Spark 的拥有非常出色的容错和调度机制，确保系统的高效稳定运行，Spark 目前的发展理念是通过一个计算框架集合 SQL、Machine Learning、Graph Computing、Streaming Computing 等多种功能
编译 | 刘畅、尚岩奇、林椿眄 审校 | reason_W 2017年末，Facebook应用机器学习组发布最新论文，对整个Facebook的机器学习软硬件架构进行了介绍。纵览全文，我们也可以从中对Facebook各产品的机器学习策略一窥究竟。论文中涉及到机器学习在全球规模(上亿级数据处理)上的全新挑战，并给出了Facebook的应对策略和解决思路，对相关行业和研究极其有意义。 摘要 机器学习在Facebook的众多产品和服务中都有着举足轻重的地位。 本文将详细介绍Facebook在机器学习方面的软硬件
要说当下IT行业什么最火？ABC无出其右。所谓ABC者，AI + Big Data + Cloud也，即人工智能、大数据和云计算(云平台)。每个领域目前都有行业领袖在引领前行，今天我们来讨论下大数据Big Data这个方向。如果您感觉阅读文字太累，可以点击下面音频！
来一起认识下大数据的技术框架有哪些，它们分别用于解决哪些问题？它们的内在逻辑和适用场景有哪些？OK，一起去探索下。
公众号开了快一年了，名字叫学一学大数据。但是一直没有分享关于大数据的文章，如是就抽出时间来给大家分享下大数据整理的技术路线及生态全景。 先扯一下大数据的4V特征： 数据量大，TB->PB 数据类型繁多，结构化、非结构化文本、日志、视频、图片、地理位置等； 商业价值高，但是这种价值需要在海量数据之上，通过数据分析与机器学习更快速的挖掘出来； 处理时效性高，海量数据的处理需求不再局限在离线计算当中。 现如今，正式为了应对大数据的这几个特点，开源的大数据框架越来越多，越来越强，先列举一些常见的： 文件存储：Had
经常有初学者在博客和QQ问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你
摘要 魅族是一家智能手机研发公司，也是一家互联网公司，拥有超大规模的用户量及海量数据量，魅族推荐平台实现了在海量的数据中对算法模型进行在线及离线训练，在高并发的场景下实时进行预测为用户推荐更感兴趣的信
本文介绍了大数据平台在机器学习方面的应用，包括数据存储、数据处理、数据建模、模型验证、模型部署、数据服务、数据治理等方面。同时，还介绍了机器学习框架和算法，以及如何在大数据平台上实现机器学习。
曹建农，欧洲科学院院士，IEEE Fellow，CCF Fellow，计算机协会(ACM) 杰出会员。现任香港理工大学研究生院院长、潘乐陶慈善基金数据科学教授、电子计算学系分步式与移动计算讲座教授、人工智能与物联网研究院院长、互联网和移动计算实验室主任、理大大数据分析中心实验室创始人及副主任，并曾于2011-2017年担任电子计算学系系主任。
导读： 第一章：初识Hadoop 第二章：更高效的WordCount 第三章：把别处的数据搞到Hadoop上 第四章：把Hadoop上的数据搞到别处去 第五章：快一点吧，我的SQL 第六章：一夫多妻制 第七章：越来越多的分析任务 第八章：我的数据要实时 第九章：我的数据要对外 第十章：牛逼高大上的机器学习 经常有初学者在博客和QQ问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你
其实这就是想告诉你的大数据的三个发展方向，平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。请不要问我哪个容易，哪个前景好，哪个钱多。 导读： 第一章：初识Hadoop 第二章：更高
Flink Forward，给了我一个绝佳的机会，向全球 Apache Flink 社区介绍微博如何使用 Apache Flink 在我们的平台上运行实时数据处理和机器学习。在以下各节中，我将向您介绍微博，并将描述我们的机器学习平台的体系结构以及我们如何使用Apache Flink开发实时机器学习管道。最后，我将解释我们如何计划在微博上扩展 Flink 的用途，并简要了解我们在组织中使用开源技术的经验。
导语 | 本文分享了微信游戏推荐系统从调研、设计、搭建到运维的整个流程。这套系统在微信游戏业务上得到广泛应用，服务着几亿微信游戏玩家；它也服务腾讯知名app类游戏分发、游戏相关内容推荐和几万款小游戏分发，并且取得不错的业务效果。如果你对相关内容感兴趣，欢迎阅读和分享。 目录 1 项目背景 2 离线机器学习平台设计 2.1 底层基础库 2.2 算法库设计 2.3 深度学习流程设计 2.4 页面配置化设计方案 3 平台能力拓展 4 推荐引擎设计 5 推荐系统实时化方案 6 挑战与思考
机器学习 (ML) 工程在过去几年已演变为一门学科和职业道路。软件工程师构建 Web、移动和嵌入式体验，而 ML 工程师提供模型版本、推理和整个 RAG 应用程序。
原始视频视频资源已经在优酷公开：2018.8.11 Flink China Meetup·北京站-Flink在美团的应用与实践
- 学习大数据需要的基础 1、java SE、EE（SSM） 90%的大数据框架都是Java写的 2、MySQL SQL on Hadoop 3、Linux 大数据的框架安装在Linux操作系统上 - 需要学什么 大数据离线分析 一般处理T+1数据（T：可能是1天、一周、一个月、一年） a、Hadoop ：一般不选用最新版本，踩坑难解决 （common、HDES、MapReduce、YARN） 环境搭建、处理数据的思想 b、H
【新智元导读】12月18日腾讯大数据宣布推出面向机器学习的第三代高性能计算平台——Angel，并预计于2017年一季度开放其源代码。腾讯首席执行官马化腾在朋友圈发文称：“AI与大数据将成为未来各领域的标配，期待更多业界同行一起开源携手互助。”将于2017年开源的Angel是对标 Spark 的机器学习计算平台。蒋杰说，以前Spark能跑的，现在Angel快几十倍；以前Spark跑不了的，Angel也能轻松跑出来。本文内容包括新智元对蒋杰的专访，以及蒋杰在大会上演讲的文字实录和PPT。 12月18日，腾讯大数
目前大数据已经成为了各家互联网公司的核心资产和竞争力了，其实不仅是互联网公司，包括传统企业也拥有大量的数据，也想把这些数据发挥出作用。在这种环境下，大数据技术的重要性和火爆程度相信没有人去怀疑。
本文会详细介绍vivo在容器集群高可用建设中的具体实践，包括在容器集群高可用建设、容器集群自动化运维、容器平台架构升级、容器平台能力增强、容器生态打通等层面的打磨和建设。目前，vivo容器产品能力矩阵逐渐趋于完善，并将围绕全面容器化、拥抱云原生和在离线混部三个方向继续发力。
大数据这个话题热度一直高居不下，不仅是国家政策的扶持，也是科技顺应时代的发展。想要学习大数据，我们该怎么做呢？大数据学习路线是什么？先带大家了解一下大数据的特征以及发展方向。
过去半年，我们团队在机器学习平台上做过一些工作，因为最近看到几篇关于机器学习算法与工程方面的的文章，觉得十分有道理，萌发了总结一下这块的一些工作的念头，我最近工作主要分为两块：1，机器学习框架的研发、机器学习平台的搭建；2，基础NLP能力的业务支持。本篇文章会总结下在机器学习框架这部分系统工作上的一些工作，主要也分为两部分：1，经典框架的支持；2，自研框架的工作；
导读：风控是金融最常见的场景之一，本文将从业务和技术架构两个层面和大家探讨如何落地智能风控中台系统。分享主要围绕下面五点展开：
整理了当年使用过的一些，大数据生态圈组件的特性和使用场景，若有不当之处，请留言斧正，一起学习成长。
自 Flink 开源以来，越来越多的开发者加入了 Flink 社区。仅仅 2019 年，Flink 在 GitHub 上的 Star 数量翻了一倍，Contributor 数量也呈现出持续增长的态势。而它目前在 GitHub 上的访问量，也位居 Apache 项目中前三，是 Apache 基金会中最为活跃的项目之一。
我们常说的大数据技术，大致主要起源于Google在2004年前后发表的三篇论文，其实数据处理早就存在，每个公司或者个人都有自己的大数据处理系统，并没有形成编程框架和理念，而这三篇论文也就是我们熟知的大数据三驾马车，分别是分布式文件系统GFS、大数据分布式计算框架MapReduce和NoSQL数据库BigTable，这三篇论文影响了当今大数据生态，可以称得上大数据的基石，Doug cutting大佬在基于谷歌的三篇论文开发出了hadoop hdfs分布式文件存储、MapReduce计算框架，实际上从hadoop开源代码中窥见大数据并没有多么高深的技术难点，大部分实现都是基础的java编程，但是对业界的影响是非常深远的。那个时候大多数公司还是聚焦在单机上，如何尽可能提升单机的性能，需求更贵的服务器，谷歌通过把许多廉价的服务器通过分布式技术组成一个大的存储、计算集群给业界应对存储计算问题提供了新的发展思路。
AI 研习社消息，Facebook AI 研究院于近日开源了 C++ 库及数学语言 Tensor Comprehensions，它能有效填补研究人员于数学运算领域的沟通鸿沟，并基于各种硬件后端上大规模运行工程模型。它的最大亮点在于，它采用了 Just-In-Time 的编译自动生成机器学习社区所需的高性能代码。 也就是说，通过 Tensor Comprehensions，研究人员能够以数学符号的方式进行编写，系统能够根据需求进行编译调整，并输出专业的代码。 数量级增长 传统意义上，如果要从零创造一个具有
12月18日，深圳 - 腾讯大数据宣布推出面向机器学习的第三代高性能计算平台——Angel，并预计于2017年一季度开放其源代码，鼓励业界工程师、学者和技术人员大规模学习使用，激发机器学习领域的更多创新应用与良好生态发展。 腾讯12月18日在“腾讯大数据技术峰会暨KDD China技术峰会”上宣布这一消息，腾讯副总裁姚星先生，及腾讯数据平台部总经理、首席数据专家蒋杰先生出席了峰会并发表演讲。 姚星表示：“人工智能的发展在过去60年中几经沉浮，今年终于发出了璀璨光芒，很大的原因就是跟云计算和大数据有
有几天没更博客了，主要这几天一直忙着知识回顾和投简历，所以写博客的任务就一直被耽搁了。
大数据这个词也许几年前你听着还会觉得陌生，但我相信你现在听到hadoop这个词的时候你应该都会觉得“熟悉”！越来越发现身边从事hadoop开发或者是正在学习hadoop的人变多了。作为一个hadoop入门级的新手，你会觉得哪些地方很难呢？运行环境的搭建恐怕就已经足够让新手头疼。如果每一个发行版hadoop都可以做到像大快DKHadoop那样把各种环境搭建集成到一起，一次安装搞定所有，那对于新手来说将是件多么美妙的事情！
AI 研习社按：互联网影响着社会的方方面面，作为 O2O 和共享经济的代表，美团外卖经过几年高速发展，以每天配送超过千万份订单、几十万骑手的规模，成为世界上最大的配送平台。实际上，看上去劳动密集型的外卖行业，其实背后蕴藏着大数据、云计算、物联网、人工智能等高新技术，是这些高科技，使美团外卖能够在激烈竞争中逐渐脱颖而出。
作者：boxianlai，腾讯 WXG 应用研究员 这篇文章整理于 2020 年 12 月 31 号在腾讯 WXG T 族开放技分享材料，分享内容是我们在搭建一套适合微信游戏业务特色推荐系统过程中的设计方案和实践经验。这套系统从 18 年底开始设计 19 年初开发完成，现在已经在业务上运行了一年多，当前部门所有的推荐业务都已经应用上这套能力，包括所有精品 app 游戏分发和游戏相关的内容推荐、几万款小游戏分发，服务着几亿微信游戏玩家。在实际业务应用中，它切实满足了很多业务对推荐的诉求，同时在业务核心指
用户画像这一概念最早源于交互设计领域，由交互设计之父Alan Cooper提出。其指出用户画像是真实用户的虚拟代表，是建立在真实数据之上的目标用户模型。具体而言，在互联网用户分析领域，用户画像可以简单描述为用户信息标签化，即通过收集并分析用户的社会属性、生活习惯、消费偏好等各维度的数据，从而抽象出用户的全方位多视角的特征全貌，最终就是让用户画像比用户更了解自己。
2022 年，火山引擎联合咨询机构 IDC 对超过 4500 个云消耗大于 100 万的企业进行调研，发现使用多云架构的企业占比达到 88%，达到历史新高。另据麦肯锡的报告，到 2025 年，依然会有 42% 的企业保留有私有云。在负载分布层面，边缘云占比在逐步上升，根据 IDC 报告，25 年超过 30% 的数据需要边缘实时处理。
Spark采用一个统一的技术堆栈解决了云计算大数据的如流处理、图技术、机器学习、NoSQL查询等方面的所有核心问题，具有完善的生态系统，这直接奠定了其一统云计算大数据领域的霸主地位； 要想成为Spark高手，需要经历一下阶段： 第一阶段：熟练的掌握Scala语言 1， Spark框架是采用Scala语言编写的，精致而优雅。要想成为Spark高手，你就必须阅读Spark的源代码，就必须掌握Scala,； 2，虽然说现在的Spark可以采用多语言Java、Python等进行应用程序开发，但是最快速的和支持最
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
