它揭示了表面看似无关的数学领域之间的深层联系，是数学界的伟大奇观之一。而这也指出了数学之美的另一个组成部分：数学模式必须在某种角度上是有趣的。
身处信息时代之中，我们最能明显感受到的一点就是密集数据大量爆发，人们积累的数据也越来越多。这些庞杂的数据出现在一起，传统使用的很多数据记录、查询、汇总工具并不能满足人们的需求。更有效的将这些大量数据处理，让计算机听懂人类需要的数据效果，从而形成更加自动化、智能的数据处理方式。
freebuf授权转载 作者|mcvoodoo 来源|FreeBuf (http://www.freebuf.com) 如果有一天，别人通过你的身份证号码，可以立刻知道你最近通话记录，近期活动区域，家
偶然间看到一句话，关系代数明白了，就没有不会写的SQL。让我对曾经学过但早就不知道交给谁的“知识”，又重新燃起了兴趣。下面以一个题切入
自从写了上一篇《大数据应用之双色球算奖平台总体设计大纲篇一》，受到许多园友的关注和指导，在此表示感谢，尤其是园友个人知识管理给出的一个评论，让我深思，原文如下“双色球算奖这么简单的活，也称大数据。先生：不是数据多，叫大数据。双色球算奖，用Oracle数据库的索引，1分钟内就算完。关键是人家不想这么快”。话不太好听，尤其是称我为先生那句，但却发人深思，是啊：到底什么是大数据呢？选择双色球算奖作为大数据应用的切入点是否合适呢？然后就是让我诧异的1分钟理论很是吓了我一跳的。
本文探讨了如何使用R语言进行文本挖掘和主题建模，包括预处理、文本向量表示、主题建模和结果可视化。作者还提供了两个示例数据集和代码，让读者可以更好地理解这些概念。
今天在《经济参考报》深度报道《电信诈骗爆炸性增长》一文看到这样的内容： 利用大数据甄别进行源头反制 专家认为，如果能有全国范围的大数据进行搜集、分析，打击效果将事半功倍。还可在及时采录涉嫌诈骗电话信息的基础上，推动运营商对涉嫌诈骗号码进行源头反制。 《经济参考报》记者采访了解到，各地公安机关在要求运营商配合拦截诈骗电话时普遍遭遇一个难题：运营商无法在海量的通讯业务中，对诈骗电话进行有效甄别，因此有的运营商拒绝对潜在诈骗电话进行拦截。 深圳市公安局民警吕福志指出，去年6月
随着数据量的迅速增加如何对大规模数据进行有效的聚类成为挑战性的研究课题，面向大数据的聚类算法对传统金融行业的股票投资分析、 互联网金融行业中的客户细分等金融应用领域具有重要价值， 本文对已有的大数据聚类算法，以及普通聚类算法做一个简单介绍
车库咖啡远走厦门建“公场” 欲建设大数据共享平台 北京中关村著名众创空间——车库咖啡入驻海沧区，成立“厦门车库咖啡大数据创新公场”。利用厦门市和海沧区在信息化与智慧城市建设中取得的成果，结合当地的产业
为什么写Excel，因为昨天给实习产品经理布置了一道题目，对20多万条搜索关键词进行文本分析，半天时间，两位新同学分析完毕，晚上23点给我发的邮件。我也对这20多万条记录进行了分析，然后进行对比，在讲解方法的同时告诉实习同学，用Excel进行数据统计的步骤。 一般的使用Excel的工作习惯是： 1.保留原始文件，新建一个Sheet进行处理数据存放，或者另外COPY一份新的文档，尽量保持原始数据的原貌，因为我们都不知道啥时会出错，需要重新开始。 2.每个sheet进行名称的标注，便于自己，也便于阅读者直观
你是否如漫画所示 经常被夺命连环 call 骚扰？ 甚至接到诈骗电话？ 近日，苹果发布 iOS10 正式版，带来了数十项更新，其中最令人惊喜的莫过于骚扰电话拦截功能。这个新功能对于长期饱受骚扰诈骗电
印度最高法院裁定，政府备受争议的Aadhaar计划在宪法上有效，并且该数据库没有侵犯12亿登记者的隐私。不过，印度最高法院对该计划的关键部分施加了限制。
导读： 直观来看，处理大数据的一个方法就是减少要处理的数据量，从而使处理的数据量能够达到当前的处理能力能够处理的程度。可以使用的方法主要包括抽样和过滤。两者的区别是，抽样主要依赖随机化技术，从数据中随机选出一部分样本，而过滤依据限制条件仅选择符合要求的数据参与下一步骤的计算。
“揭盖有奖”、“再来一瓶”，企业的营销玩法已成为很多人生活中的小乐趣；从金融平台借点钱，为羞涩的钱包做一下周转，这也成为了很多人便利的生活方式之一。但是绝大多数人可能不知道，除了真正的消费者和借贷者之
是不是看腻了铺天盖地的通稿？ 是不是消化不完厚重的战略分析？ 那么在这里 安小妹带你轻松一览 国家网络安全宣传周の 鹅厂风彩 9月19日“第三届国家网络安全宣传周”在武汉国际会议中心正式开幕，为期一周
本文系投稿作品 ，作者 | 丁伟 大数据文摘欢迎各类优质稿件 请联系tougao@bigdatadigest.cn 本文以SPARK技术为核心构建大数据分析平台，针对电信诈骗的行为特点，对被呼手机号码用滑动窗口的方法迭代计算信息熵，从中发现可疑被呼号码；然后，在中国联通网研院对全国334个城市功能微网格划分的基础上，对有信息泄露嫌疑的手机用户进行常驻地分析等四种情景筛选，发现用户个人隐私泄露的主要途径，并经检验取得较好效果。 本项目在工业和信息化部指导、中国信息通信研究院主办的“2017年度电信大数据司马
借助大数据的力量进行巫术般地精准营销，年初爆红的美剧《纸牌屋》将大数据引入了普通人的视野。大数据无疑是当下除移动互联网外IT领域最热的讨论，简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。年底将至，今年互联网圈子里都是谁在接棒大数据，又玩出了什么新花样呢？ 360手机卫士十亿号码“提纯”10KB专治iPhone骚扰电话 日前，困扰iPhone手机用户7年的骚扰电话问题终于得到解决，360手机卫士iOS版发布更新，向非越狱的iPhone手机用户提供骚扰电话识别功能。
现在有如此之多的Python包，几乎没有人能够全盘掌握。 光是PyPI就可单独列出47,000个包！ 近日，听到很多数据科学家切换到Python的消息，我不由地想到，虽然他们得到了pandas、scikit-learn和numpy的一些巨大好处，但却错过了一些稍微老一点但同样能提供帮助的Python库。 在这篇文章中，我将介绍一些鲜为人知的库。即使你已经是Python高手，也应该看看，可能会有那么一两个是你从来没有见过的！ 1）delorean Delorean是一个非常酷的日期/时间库。它是我在Pytho
借助大数据的力量进行巫术般地精准营销，年初爆红的美剧《纸牌屋》将大数据引 入了普通人的视野。大数据无疑是当下除移动互联网外IT领域最热的讨论，简言之，从各种各样类型的数据中，快速获得有价值信息的能
1+1=2还正确吗 网购时代 过了1111和1212的网购狂欢节，新一波的0101元旦已经在路上了。你还准备剁手吗？各式各样的APP已经成为买买买背后的助推器；而往往谁能占得先机并在第一时间退出相关服务，其领头羊的地位就基本得到了保证，接着而来的就是用户、用户还有用户，有了用户就有了一切！这背后，离不开大数据分析的巨大作用。 1+1=？ 1+1=2还正确吗？为什么会有这样的疑问？大数据之所以被称之为“大”，就是因为他不是把数据的简单叠加和线性处理。这一点和程序猿熟悉的编程类型有点相似，即先进的在于不
2016年6月29日，在中国电信与银行行业互联网+金融合作研讨会活动中，中国电信北京研究院大数据专家杨哲超，为国内各大银行的领导们带来了题为《中国电信灯塔大数据金融征信解决方案》的分享。中国电信灯塔大
上周有位粉丝给我发了一个这样的问题：怎么处理17G的sql数据库文件。这个问题的其实有些大数据的处理的方向，当然肯定是把这些数据放在mysql数据库里或者Hive里查询操作比较方便。毕竟像Hadoop全家桶就是为了解决大数据而生的。
大数据与个人隐私的平衡：懂你，但不认识你
COUNTIF函数通常用于统计满足某条件的单元格数量，可用于单条件计数公式，其基本语法为：
大数据管理解决方案商识代运筹申请新三板挂牌上市 识代运筹成立于2011年3月4日，主营大数据管理平台解决方案及应用、数据营销应用产品及服务、以及数据分析与洞察报告产品及服务的研发与销售。东北证券为本次挂牌申请的主办券商。 浙江富润复牌，拟12亿元收购泰一指尚资产，向大数据、互联网领域扩张 泰一指尚具有深厚的大数据技术背景，主要依托大数据技术优势，为客户提供互联网营销及营销数据分析及服务。浙江富润此番交易完成后有望形成“传统行业+大数据+互联网”的多元化业务。 “成都环保私有云”大数据平台试运行，可预测雾霾，
作者：上海社科院研究员 包亚明 摘自文汇报 【核心观点】人类的行为自由与责任，个人进行道德选择的能力，个人梦想未来的追求，都需要隐私权庇护的富有个性和有些散漫的空间。因此，将隐私保护的责任，从民众转移到数据使用者不仅存在充分的理由，而且也具有重大的社会意义 商业伦理堵不住行业后门 由黑客曝光的苹果手机“后门”，已经酿成了移动互联与大数据的一个重大事件。苹果公司承认，可以通过一项未曾公开的技术获取iPhone用户的短信、通讯录和照片等个人数据。苹果辩解称，这个技术是为诊断功能服务的，苹果从未与任何国家的任何
三联虹普拟定增9亿元投向纺织产业大数据工厂 三联虹普近日发布的公告显示，公司拟募集资金总额不超过90100万元。其中81100万元投向纺织产业大数据工厂项目，9000万元用于补充公司流动资金。本次投资
在客户体验与库存管理流程方面，大数据通常会发挥重要作用。下面盘点了7个最有趣、最独特的大数据应用，以及它们可能对我们的生活产生的影响。
数据猿导读 基于社交网络分析的风险控制才刚刚开始，随着互联网金融的快速发展，团伙欺诈也日趋专业化同时迅速膨胀，社交网络分析结合大数据处理技术必将是应对新形势下欺诈的一个利器。 本文为数据猿推出的大型“
需求： ①、原本有10亿个号码，现在又来了10万个号码，要快速准确判断这10万个号码是否在10亿个号码库中？ 解决办法一：将10亿个号码存入数据库中，进行数据库查询，准确性有了，但是速度会比较慢。 解决办法二：将10亿号码放入内存中，比如Redis缓存中，这里我们算一下占用内存大小：10亿*8字节=8GB，通过内存查询，准确性和速度都有了，但是大约8gb的内存空间，挺浪费内存空间的。 ②、接触过爬虫的，应该有这么一个需求，需要爬虫的网站千千万万，对于一个新的网站url，我们如何判断这个url我们是否已经爬过了？ 解决办法还是上面的两种，很显然，都不太好。 ③、同理还有垃圾邮箱的过滤 大数据量集合，如何准确快速的判断某个数据是否在大数据量集合中，并且不占用内存。
0x00 前言 本篇是 大数据算法系列 第一篇《BitMap 的原理和实现》，BitMap 的思想的和原理是很多算法的基础，因此我们以BitMap开篇。 既然是说大数据算法，我们先尝试给大数据算法一个定义，或者说是限定一下这个系列的范围。 大数据算法：在给定的资源约束下，以大数据为输入，在给定时间约束内可以计算出给定问题加过的算法。 大数据算法会有传统的算法有不一样的地方： 资源有约束 时间有约束 大数据作为输入 不一定是精确算法 前三点可以看作是对算法的要求，第四点可以看作是在大数据场景下算法可以做
广东珠海有10万余条中小学生个人信息已经被非法泄露。近日，珠海网警在“净网2021”专项行动中破获一个侵犯公民个人信息的犯罪团伙，抓获6名嫌疑人，查获中小学生个人信息10万余条。
大数据的跨界、交叉融合及基于此的知识与价值创造是大数据价值化的必由之路。在大数据产业链中，拥有数据且靠近最终用户的公司将拥有越来越大的发言权。电信运营商应抓住机会，充分发挥自己的独特优势，创建大数据融合及价值变现的新模式，并由此确立在大数据产业链中的主导地位。
当前社会信息化高速发展，网络信息共享加速互通，数据呈现出规模大、流传快、类型多以及价值密度低的特点。人们可以很容易地对各类数据实现采集、发布、存储与分析，然而一旦带有敏感信息的数据被攻击者获取将会造成个人隐私的严重泄漏；所以在发布数据前，必须通过适当的隐私保护手段来隐藏敏感信息，从而达到能够发布和分析同时又保障隐私信息安全性的目的。
<数据猿导读> 随着2016里约奥运会的临近，本周，搜狐发布了“里约奥运”战略，将用大数据直击奥运会现场；而另一边，一直声势浩大的滴滴打车再出爆炸新闻，据称新一轮融资或将超15亿美元的高价，让人汗颜。
音频栏目上线啦！ 【大数据新闻周报】由大数据文摘（BigDataDigest）和清华大数据产业联合会数据派（Datapi）合作出品。每周一早，最新鲜的大数据资讯，资本动态、行业趋势、学界动向尽在掌握。 音频栏目，同步在喜马拉雅播出 ◆ ◆ ◆ 资本动态 硅谷大数据分析公司Palantir收购Kimono Labs Kimono Labs被Palantir收购，并将于2016年2月29日停止服务。互联网可谓是最大的数据来源， 而这些数据一般都是非结构化， 为开发者的使用带来困难。 Kimono提供的工具帮助
数据猿导读 大数据究竟是什么呢？它能做什么？为我们的生活又带来了什么改变？数据猿专门对族谱科技CEO张力铭进行了专访，由他为大家解答这些问题。 来源：数据猿 记者：大文 本文长度为2500字，建议阅读
不过现实还是要从理想说起，【理想】经常都会和一些时髦的东西沾边，就像10年前无线热的时候，我就在做无线。【其实我们所说的大数据，就是公众数据分析，拥有最大的公众行为数据的公司就是中国移动】。我发现问题都是一样的，历史就是不断的重演，当时中国移动碰到的问题跟今天我们做大数据碰到的问题一模一样，因为能够对用户的行为做很细跟踪和分析了，以前做不到的现在能做到了，那么我们就有了一个理想，就是我们对一个用户的理解比用户自己都深入，他自己都不知道他的需求是什么，我们能告诉他有这样的需求，让他恍然大悟，我果然想要这个。
大数据 上一节说到，大多的AI问题，会有很多个变量，这里深入的解释一下这个问题。 比如说某个网站要做用户行为分析，从而指导网站建设的改进。通常而言如果没有行为分析，并不需要采集用户太多的数据。 比如用户注册，最少只需要用户名、用户密码就够了。随后比如为了当用户过生日的时候，自动给用户发送一封贺卡（潜台词，我们可能需要给用户推送广告），我们再增加两项生日日期和邮箱地址。再下来国家规定网站注册必须实名制，我们可能又增加了用户姓名和身份证号码，可能还需要增加用户手机号码，用于同移动通信部门打通，验证用户实名制
Playing Atari with Deep Reinforcement Learning论文解读
互联网金融，特别是P2P信贷在过去几年可以说经历了大起大落的过山车。在经历了2016、2017年的高速发展后，随着整体经济环境遇冷、政策层面监管趋严，行业已进入洗牌周期。特别是随着18年7月P2P暴雷潮的出现，更是为行业前途蒙上一层迷雾。
“我”算是人工智能领域的“先烈”了，较早进入这个行业。三四年前当“我”申请博士所写的文章里就提到了我对AI的看法：“最终会让人类找到自己”，但是毕竟当时人工智能发展还太早，一定程度有点羡慕现在的年轻人，他们真的有机会打造产业和未来的人工智能科技。 人工智能多次经过跌宕起伏，实际上当时做的每一项工作都是为了人工智能打了很好的基础。当前人工智能最大的突破是深度学习，深度学习发明于2010年，那么什么是深度学习呢？ 比如说在excel上输入一些数字，按一个键就会显示这个季度赚赔情况，深度学习也是这样，
在客户体验与库存管理流程方面，大数据通常会发挥重要作用。近来，我盘点了7个最有趣、最独特的大数据应用，以及它们可能对我们的生活产生的影响。 1.大数据广告牌 户外营销公司Route正使用大
BestSDK开发者工具2016年度盘点：服务类API调用，依旧雄踞榜首;趣拍云全新上线视频MV服务，助力全民导演梦;Udesk智能客服助力海信科技，一键统计数据方便汇报;中金数据语音大数据分析云，助
数据动态，让您了解数据新变化、新创造和新价值。 一、通信行业数据动态 1 合肥推进综合国家科学中心建设，聚集量子通信。主要从事量子力学基本问题研究、量子信息前沿基础研究、量子信息应用技术研究和核心器件
当我们说年轻真好的时候，往往已经不年轻了,就像世事，待我们终于明白过来的时候，往往已经太迟了。
【03期】我的数据心经：欺诈发现的三种思路 更新时间20161121 个人体会：对业务的深度理解，是发现欺诈行为的非常重要前提。此前在中国移动从事短信精准营销时，发现参与
在这样的背景下，全球掀起了监管不断强化的数据安全的立法热潮。欧盟的GeneralData Protection Regulation (GDPR)；美国的CaliforniaConsumer Privacy Act(CCPA)；我国已实施的基础性法规《网络安全法》，其中一个章节单独对个人信息与数据安全给出了诸多原则性的规定与约束，且两部专门的法律《数据安全法》、《个人信息保护法》在加快立法与制定中。（《浅析数据安全与隐私保护之法规》）
今年数据泄露事故每条记录的成本达到154美元。 根据IBM和Ponemon研究所近日发布的报告显示，今年数据泄露事故每条记录的成本达到154美元，这比2014年的145美元增长了12%。 此外，单起数据泄露事故的平均总成本上升了23%，达到379万美元。 而在上个月Verizon的研究结果则显示数据泄露每条记录平均仅为58美分，这两个调查结果简直是天壤之别。 Verizon的计算结果是基于191个保险索赔，这也是其年度数据泄露事故调查报告的一部分。 但是Ponemon研究所主席兼创始人Larry Pon
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
