案例地址：spolicy.com 案例内容：spolicy平台列表页、搜索页和详情页的模拟请求。...请求分析过程看 《spolicy请求案例》 需要注意，不同接口的ParamsEncode发生了更改。
当前国内的hadoop大数据处理平台可以说是比较杂乱的，有国外的、有在国外版本基础上二次开发，却很少有做原生态开发的。而至于做原生态开发的，目前已知也就是大快搜索了。...image.png hadoop大数据处理平台与案例 大数据可以说是从搜索引擎诞生之处就有了，我们熟悉的搜索引擎，如百度搜索引擎、360搜索引擎等可以说是大数据技处理技术的最早的也是比较基础的一种应用...大数据的应用开发一直是过于偏向底层，面临的问题就是学习难度大，所涉及的技术面也是非常广泛，这在很大程度上了制约了大数据的普及，这也是大部分大数据处理平台都面临的突出问题。...采用类黑箱框架模式，用户直接调用大快的相关类即可完成，过去复杂的编码工作。 大快的大数据通用计算平台（DKHadoop），已经集成相同版本号的开发框架的全部组件。...关于DKhadoop大数据处理平台的案例，其实感兴趣的可以去大快的网站上查询一下，里面有很多案例分享。个人所知的是DKhadoop的政务大数据处理解决方案非常好！
笔者邀请您，先思考： 1 金融领域有哪些典型数据问题？ 2 金融领域应用那些数据科学方法？ ? 近年来，数据科学和机器学习应对一系列主要金融任务的能力已成为一个特别重要的问题。...管理客户数据 对于金融公司来说，数据是最重要的资源。因此，高效的数据管理是企业成功的关键。今天，在结构和数量上存在大量的金融数据：从社交媒体活动和移动互动到市场数据和交易细节。...金融专家经常需要处理半结构化或非结构化数据，手动处理这些数据是一个巨大的挑战。 然而，对于大多数公司来说，将机器学习技术与管理过程集成仅仅是从数据中提取真实知识的必要条件。...人工智能工具，特别是自然语言处理，数据挖掘和文本分析有助于将数据转化为智能数据治理和更好的业务解决方案，从而提高盈利能力。...我们认为，我们主要关注金融领域的7大数据科学用例，但还有很多其他值得一提的。 如果您有任何进一步的想法，请在评论部分分享您的想法。
本篇案例为数据猿推出的大型“金融大数据主题策划”活动（查看详情）第一部分的系列案例/征文；感谢 金信网银 的投递 作为整体活动的第二部分，2017年6月29日，由数据猿主办，上海金融行业信息协会、互联网普惠金融研究院联合主办...点击阅读原文查看）】 在论坛现场，也将颁发“技术创新奖”、“应用创新奖”、“最佳实践奖”、“优秀案例奖”四大类案例奖 来源：数据猿丨投递：金信网银 本文长度为5900字，建议阅读12分钟 新金融业态发展现状...利用大数据、云计算、机器学习等技术手段，实现主动发现风险、评估风险、固化证据、判断趋势、及时干预和联合打击六大目标。...并且分级预警，以便在海量的非法信息中识别出影响力大、危害度高、老百姓痛恨、管理部门头疼的重点打击对象。...“冒烟指数”模型是在利用金融风险分析大数据中心数据的基础上，以大数据和云计算为技术支撑，从海量数据中筛选出与企业非法集资风险高度相关的几类指标，构建针对五大领域十七个行业的分析模型。
本篇案例为数据猿推出的大型“金融大数据主题策划”活动（查看详情）第一部分的系列案例/征文；感谢 东方金信 的投递 作为整体活动的第二部分，2017年6月29日，由数据猿主办，上海金融行业信息协会、互联网普惠金融研究院联合主办...点击阅读原文查看）】 在论坛现场，也将颁发“技术创新奖”、“应用创新奖”、“最佳实践奖”、“优秀案例奖”四大类案例奖 来源：数据猿丨投递：东方金信 本文长度为4800字，建议阅读10分钟 随着城商行业务的发展...客户名称/所属分类 某城商行/数据平台 任务/目标 重点完成银行数据平台建设，包括数据仓库、报表平台、管理驾驶舱等模块。...3.执行程序时，部分主要的大表，运行时间较长，采用分区表的方式，以及调整加载策略的方式，最大程度的调整大表执行时间，使整体运行时间缩短到理想状态。...目前，东方金信公司已在政府、金融、工业、健康、电信等多个行业领域实现大数据战略布局，服务过的客户项目多数成为大数据典型案例和行业标杆。
涵盖了从数据管理到交易策略的各种业务方面，共同点是增强金融解决方案的巨大前景。 笔者邀请您，先思考： 1 金融领域有哪些典型数据问题？ 2 金融领域应用那些数据科学方法？ ?...管理客户数据 对于金融公司来说，数据是最重要的资源。因此，高效的数据管理是企业成功的关键。今天，在结构和数量上存在大量的金融数据：从社交媒体活动和移动互动到市场数据和交易细节。...金融专家经常需要处理半结构化或非结构化数据，手动处理这些数据是一个巨大的挑战。 然而，对于大多数公司来说，将机器学习技术与管理过程集成仅仅是从数据中提取真实知识的必要条件。...人工智能工具，特别是自然语言处理，数据挖掘和文本分析有助于将数据转化为智能数据治理和更好的业务解决方案，从而提高盈利能力。...我们认为，我们主要关注金融领域的7大数据科学用例，但还有很多其他值得一提的。 如果您有任何进一步的想法，请在评论部分分享您的想法。
以下我们罗列银行业使用的数据科学用例清单，让您了解如何处理大量数据以及如何有效使用数据。...欺诈检测的关键步骤包括： 获取数据样本进行模型估计和初步测试 模型估计 测试阶段和部署。 由于每个数据集都不同，每个数据集都需要由数据科学家进行个别训练和微调。...对于新帐户，欺诈检测算法可以调查非常高的热门项目购买量，或者在短时间内使用类似数据打开多个帐户。 2 管理客户数据 银行有义务收集，分析和存储大量数据。...这创建了TB级的客户数据，因此数据科学家团队的第一步是分离真正相关的数据。...机器学习算法和数据科学技术可以显着改善银行的分析策略，因为银行业务的每个使用案例都与分析密切相关。随着信息的可用性和多样性迅速增加，分析变得更加复杂和准确。
数据可视化交互的基本原则：总览为先，缩放过滤按需查看细节。 大屏数据可视化是当前可视化领域的一项热门应用，通常可以分为信息展示类、数据分析类及监控预警类。...大屏数据可视化应用的难点并不在于图表类型的多样化，而在于如何能在简单的一页之内让用户读懂数据之间的层次与关联，这就关系到布局、色彩、图表、动效的综合运用。...制作可视化大屏，最便捷有效的方式是使用DataV、帆软等报表工具，而本示例项目则使用ECharts自行开发。...项目案例 – 上市公司全景概览 地图数据可视化 – 基于ECharts Geo 3D图表展示 – 基于ECharts GL 热力图展示 – 基于ECharts & 百度地图 ECharts...演示地址：https://yyhsong.github.io/iDataV 后记： 除自行开发可视化大屏外，还可以通过第三方服务来快速实现，如阿里云DataV、腾讯云图、百度Sugar等，具体可参考
Airflow Operators及案例Airflow中最重要的还是各种Operator，其允许生成特定类型的任务，这个任务在实例化时称为DAG中的任务节点，所有的Operator均派生自BaseOparator...SSHOperator调度远程节点脚本案例按照如下步骤来使用SSHOperator调度远程节点脚本：1、安装“apache-airflow-providers-ssh ”provider package...score_info(id int,name string,score int) row format delimited fields terminated by '\t';向表 person_info加载如下数据...：1 zs 182 ls 193 ww 20向表score_info加载如下数据：1 zs 1002 ls 2003 ww 3002、在node4节点配置Hive 客户端由于Airflow 使用HiveOperator...op_args(list)：调用python函数对应的 *args 参数，多个封装到一个tuple中，list格式，使用参照案例。
本篇案例为数据猿推出的大型“金融大数据主题策划”活动（查看详情）第一部分的系列案例/征文；感谢 帆软软件 的投递 作为整体活动的第二部分，2017年6月29日，由数据猿主办，上海金融行业信息协会、互联网普惠金融研究院联合主办...点击阅读原文查看）】 在论坛现场，也将颁发“技术创新奖”、“应用创新奖”、“最佳实践奖”、“优秀案例奖”四大类案例奖 来源：数据猿丨投递：帆软软件 本文长度为6000字，建议阅读12分钟 2014年10...同时平台用于辅助串串盈业务的推广分析，并及时发现了恶意刷豆行为，降低了行内的无效损失； 2017年4月至今，将智多星逐步推广至分行科技、计财、营运、公司部门，消除以往集中式响应的低效弊端，同时上线了计财部门微信推送及直销银行实时大屏监控...2）数据大屏：利用智多星实时数据分析工具，用户可以构建强大、全面的“管理驾驶舱”，简单拖拽就可以将企业的数据管理信息完美地投放在任何屏幕，比如生产运维中心等地的LED大屏上，单块或拼接LED屏幕，不论大小...同时大屏可视化组件可实时刷新，可以及时监控、及时预警。 效果总结： 平台上线至今，日均分析量在300左右，参与分析人员30人次。
Flink入门案例 前置说明 API API Flink提供了多个层次的API供开发者使用，越往上抽象程度越高，使用起来越方便；越往下越底层，使用起来难度越大 注意：在Flink1.12时支持流批一体...，DataSetAPI已经不推荐使用了，后续其他案例都会优先使用DataStream流式API，既支持无界数据处理/流处理，也支持有界数据处理/批处理！...-source 3.处理数据-transformation 4.输出结果-sink 5.触发执行-execute 其中创建环境可以使用如下3种方式: getExecutionEnvironment() ...-source * 3.处理数据-transformation * 4.输出结果-sink * 5.触发执行-execute */ public class WordCount3_Lambda...-source * 3.处理数据-transformation * 4.输出结果-sink * 5.触发执行-execute//批处理不需要调用!
大数据征信：李嘉诚孵化器——Traity借大数据构筑信誉平台 在李嘉诚基金会投资的七个科技创业项目中，Traity(信用统计平台)通过抓取每个人社交媒体(Facebook、Twitter、LinkedIn...大数据商业管理：以客流量统计、消费者动线为核心竞争力的朝阳大悦城 在招商、推广、运营、信息研策一体化的大商管模式下，朝阳大悦城会根据商户运营情况和消费者需求进行持续调整，而下一步，则是向生活空间转变，增加生活...其实，除了及时的业态调整和不断创新的营销活动等这些表面上看到的动作，朝阳大悦城真正的核心竞争力是高效的运营管理，是以客流量和消费者动线等大数据为基础来部署，所有的营销、招商、运营、活动推广都围绕着大数据的分析报告来进行的大战略...最后借助腾讯视频社区化的关系链和多平台触达能力，让营销内容得到最大范围的传播，致力于成为国内最大的在线视频媒体交流平台。 在上述大数据应用的成功案例影响下，你或许更加急于投身大数据金池了?...目前致力于大数据应用的相关产品和服务都已日渐成熟，对大数据应用者而言重点是把握时机，与时俱进，才能快速涌入新一轮的大数据浪潮，在全社会的共同努力下，期待2016年大数据态势似银河直下，如万马奔腾！
Hive综合案例 本案例对视频网站的数据进行各种指标分析，为管理者提供决策支持....统计每个类别视频观看数Top10 二、项目表的字段 视频表 字段 备注 详细描述 video id 视频唯一id 11位字符串 uploader 视频上传者 上传视频的用户名String age 视频年龄 视频在平台上的整数天...为了分析数据时方便对存在多个子元素的数据进行操作，我们首先进行数据重组清洗操作。即：将所有的类别用“&”分割，同时去掉两边空格，多个相关视频id也使用“&”进行分割。...job.setMapOutputKeyClass(Text.class); job.setMapOutputValueClass(NullWritable.class); //本案例中没有...2) 向category展开的表中插入数据。 3) 统计对应类别（Music）中的视频热度。
大搜车已经搭建起比较完整的汽车产业互联网协同生态。...在这一生态中，不仅涵盖了大搜车已经数字化的全国 90% 中大型二手车商、9000+ 家 4S 店和 70000+ 家新车二网，还包括大搜车旗下车易拍、车行168、运车管家、布雷克索等具备较强产业链服务能力的公司...， 与大搜车在新零售解决方案上达成深度战略合作的长城汽车、长安汽车、英菲尼迪等主机厂商，以及与中石油昆仑好客等产业链上下游的合作伙伴。...基于这样的生态布局，大搜车数字化了汽车流通链条上的每个环节，进而为整个行业赋能。 说到大数据，对于每个公司都不陌生。...大数据集群现状 大搜车目前大数据集群分为离线计算集群和实时计算集群，离线计算基于 Hive 和 Spark，实时计算基于 Flink，这两类集群分别基于 HDP 和 CDH 两套管理方式。
本篇案例为数据猿推出的大型“金融大数据主题策划”活动（查看详情）第一部分的系列案例/征文；感谢 南大通用 的投递 作为整体活动的第二部分，2017年6月29日，由数据猿主办，上海金融信息行业协会、互联网普惠金融研究院合办...点击阅读原文查看）】 在论坛现场，也将颁发“技术创新奖”、“应用创新奖”、“最佳实践奖”、“优秀案例奖”四大类案例奖 来源：数据猿丨投递：南大通用 本文长度为4800字，建议阅读10分钟 中国农业银行原有数据分析平台基于...2016年11月至今，完成五大集市即对公客户、个人客户、风险、运营风控等数据集市的投产上线，同时建设集数据处理、模型算法、结果展示于一体的数据挖掘平台。...方案价值 这是中国金融行业最大的数据仓库和大数据平台，也是第一次国产化数据库进入4大行的核心业务系统。...在不断的市场实践和用户反馈中，GBase 8a体现出8大价值，可分为两级： 一级价值 这是中国金融行业最大的数据仓库和大数据平台，也是第一次国产化数据库进入4大行的核心业务系统 二级价值 提速：查询分析类性能提升
本篇案例为数据猿推出的大型“金融大数据主题策划”活动（查看详情）第一部分的系列案例/征文；感谢 恒丰银行 的投递 作为整体活动的第二部分，2017年6月29日，由数据猿主办，互联网普惠金融研究院合办...在论坛现场，也将颁发“技术创新奖”、“应用创新奖”、“最佳实践奖”、“优秀案例奖”四大类案例奖 来源：数据猿丨投递：恒丰银行 本文长度为6500字，建议阅读13分钟 近年来，随着高净值人群的迅速增长和金融市场开放程度的提高...挑战 基于大数据平台建设的财富管理应用系统，目前在国内金融行业鲜有成熟、可借鉴的模型。...（价值分析能力、风险鉴别能力、定价能力、创新能力、调研能力、学习能力）；大力实施“12345”行动纲领，即:“1”是做金融综合解决方案的提供商，“2”是金融云平台和大数据平台，“3”是数字银行、交易银行...、银行的银行，“4”是龙头金融、平台金融、家庭金融、O2O金融等四大金融创新业务模式，“5”是投行、资管、平台、人才盘点和以“One Bank”为核心的绩效评价体系等五大战略落地工具，致力于做“知识和科技的传播者
本篇案例为数据猿推出的大型“金融大数据主题策划”活动（查看详情）第一部分的系列案例/征文；感谢 恒丰银行 的投递 作为整体活动的第二部分，2017年6月29日，由数据猿主办，上海金融行业信息协会、互联网普惠金融研究院联合主办...点击阅读原文查看）】 在论坛现场，也将颁发“技术创新奖”、“应用创新奖”、“最佳实践奖”、“优秀案例奖”四大类案例奖 来源：数据猿丨投递：恒丰银行 本文长度为7800字，建议阅读15分钟...恒丰银行于2016年1月完成了传统数据仓库向大数据平台数据仓库的迁移，以新的数据仓库平台为基础，结合行内的通用文件传输平台、统一调度平台，规范了源数据系统的数据报送，梳理构建了新的数据模型，大数据平台解决了传统数仓在批量数据处理能力的不足...商业银行内部价值最大的流数据就是应用系统及各类设备每天产生的日志数据，同互联网公司比，银行的系统种类多，来源广，架构平台杂，主要交易系统的产品化程度高，改造风险大，日志规范性差，不同应用的日志路径、文件个数...、银行的银行，“4”是龙头金融、平台金融、家庭金融、O2O金融等四大金融创新业务模式，“5”是投行、资管、平台、人才盘点和以“One Bank”为核心的绩效评价体系等五大战略落地工具，致力于做“知识和科技的传播者
离线数据分析平台实战——060深入理解MapReduce 01（案例） 用户自定义数据类型 MapReduce中的数据类型至少有两种用途。...用户定制数据输入格式化器 数据输入格式(InputFormat)用于描述MR作业的数据输入格式规范。...MapReduce框架依赖InputFormat进行输入数据分片以及提供读取分片数据的RecordReader实例对象。...getLocations：获取该分片数据对应的位置信息，确定数据本地化时候有用。 用户定制数据输出格式化器 数据输出格式(OutputFormat)用于描述MR作业的数据输出格式规范。...案例-MongoDB Hadoop实例 实现功能：从MongoDB中读取日志数据，将MapReduce程序处理过的数据写出到MongoDB中。
本文主要是通过对比GEE、PIE和AI Earth平台，主要是计算不同平台，同一个NDVI的均值计算，我们已测试结果如何。 1....最终更改后的结果： 3.AI Earth 在AI Earth中并没有Landsat 8 C01数据集，所以这里只能使用Landsat 8 C02数据集.
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
