首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

利用python爬取人人数据

人人网站需要用户登录才能看到其相应的借贷人信息。也就是说在爬取数据时,需要用户登录。回顾之前的代码,我想是保存cookie这种方法是不能用了。必须找到一种新的方法来模拟登录网站。...查了许多资料,数据捉取无外乎有3种方法: 1.直接抓取数据。 2.模拟浏览器抓取数据。...vb_login_username'] = '你的用户名' br['vb_login_password'] = '你的注册密码' 这段代码中老是遇到问题,第一,select_form中的nr怎么找,第二,在人人网站源代码中如何找所谓的...前面废话说了一堆,都是我学的比较菜,也就是我的经验之谈。 2.selenium包的尝试(重点) 首先你得安装好它,直接pip install selenium即可。...相应数据图展示: ?

1.8K50

P2P用户数据分析——以拍拍为例

近两年P2P行业风云变幻,雷声不断,不巧前几日我也中招,之前给亲戚介绍的P2P平台出现到期未还款的现象,吃惊之余赶忙给平台客服打电话,被告知借款人逾期,目前正加紧催收。...在当前经济下行压力增大的环境下,P2P行业风险日益暴露,加之备案一拖再拖,P2P平台举步维艰。...本期“品玩SAS”我们就深入研究下P2P平台的用户情况,以期对P2P的参与者有一个清晰的认识。...,是国内首家P2P平台,2017年11月10日,拍拍在美国纽约证券交易所上市。...2 数据介绍 本文以拍拍2015年1月1日至2017年1月30日的328553条贷款数据(该时间段10%的真实数据)为研究对象。

4K31
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    互金协会P2P大数据揭示的趋势

    虽然部分平台数据披露不够完整,但是这一百多家平台几乎囊括了行业最优秀的平台,大量数据依然值得分析。...数据来源:中国互金协会、麻袋研究院 3、在余额与累计借贷金额不相关 从在余额与累计借贷金额所呈现的散点图可知,各平台这二者相关系数仅0.3,并不呈现明显的相关性。...数据来源:中国互金协会、麻袋研究院整理 从历史数据看,陆金服可谓一枝独秀,几乎没有受到各种现金政策、政策的影响。...你我(2017.6)、翼龙(2017.5)、点荣金融(2017.5)、团(2017.5)、红岭创投(2017.5)、宜信惠民(2017.4)等与首次登记披露相比,在余额变化不超过6%。...增幅最慢的是信普惠,累计增幅仅7.8%,平均每月增长率不到1%。

    70620

    数据维度爆炸怎么办?详解5常用的特征选择方法

    在噪音不多的数据上,或者是数据量远远大于特征数的数据上,如果特征之间相对来说是比较独立的,那么即便是运用最简单的线性回归模型也一样能取得非常好的效果。...在这个例子当中,尽管数据中存在一些噪音,但这种特征选择模型仍然能够很好的体现出数据的底层结构。...六、一个完整的例子 下面将本文所有提到的方法进行实验对比,数据集采用Friedman #1 回归数据(这篇论文中的数据)。数据是用这个公式产生的: ?...七、总结 对于理解数据数据的结构、特点来说,单变量特征选择是个非常好的选择。...对数据进行二次采样然后在子集上运行特征选择算法能够有所帮助,如果在各个子集上的结果是一致的,那就可以说在这个数据集上得出来的结论是可信的,可以用这种特征选择模型的结果来理解数据

    1.6K20

    总结 2014 年中国互联网十段子

    ,目前资产过亿;   国企中国远洋老员工 07 年开始,每月收入买公司股票,坚持 6 年,生活俭朴,宝马车换成了自行车,全家睡澡堂,工资一直很屌丝,目前负债过亿……   点评:都是老员工,差别咋就这么呢...其数据分析结果如下:35% 是人生哲理,25% 是商业广告,30% 是冷笑话、贷款、复制手机卡监听小三等垃圾信息。   ...【段子6】   腾讯的“企鹅银行”名称被工商通过后,大家都坐不住了,纷纷也提交申请,分别是:阿里的“猫猫银行”,百度的“熊掌银行”,京东的“狗狗银行”,搜狐的“狐狸银行”,360 的“老虎银行”,凤凰的...,圈地盖楼改叫科技园区了,借钱给朋友改叫天使投资了,放高利都改叫资本运作了~   点评:“互联网思维”这个词,就跟“小姐”一样,被大家用烂了。   ...【段子 10】   家里老是担心被偷,于是每次出门就把 Wi-Fi 修改成无密码,然后放心上班,每天回家看到十几个蹭的蹲我家门口帮我看门!   点评:Wi-Fi 已成为段子中的男主角。

    1.3K60

    数据24小时 | 医疗保险公司Clover Health获1.6亿美元融资,平台蓝金所将建企业大数据金库

    主要利用“医疗+大数据”模式对患者可能存在的健康隐患进行分析、判断。 此外,该公司还将保险与大数据结合起来,旨在通过数据库检索出潜在高危病患,为其提供预防方案,从而降低患者就医费用。...vArmour主要利用大数据分析技术,通过扫描网络数据的方式,为企业提供安全解决方案,从而使企业有效应对威胁事件。...BigID宣布完成210万美元融资,为企业打造数据隐私管理平台 随着“大数据”的不断发展,数据隐私问题越来越得到企业的重视,即使目前监管机构对对其监管力度已经逐渐增强,然而个人数据仍面临更大风险。...平台蓝金所将建实体企业大数据金库,为企业提供资源对接服务 近日,专注于供应链金融的互联网金融服务公司蓝金所宣布将建立实体企业大数据金库,该大数据金库将集资本、资源以及服务为一体,旨在为企业提供资源对接服务...根据双方签订的协议显示,届时将借助九次方大数据数据采集、清洗以及数据建模、可视化等方面的技术优势,进一步构建“互联网+大数据”生态圈,从而提升公司在大数据领域的应用水平,完善产业布局。

    70540

    早报:资金存管规范出台:银行要为每个出借人、借款人开子账户

    社交媒体上,关于现金规范的政策出来后,林珊(化名)在评论区留言,“撸太多,现在已经还不起了,不知道怎么办了。” 林珊说,自己之前沉迷一款网上的游戏,“把钱全都扔了进去”。...“当初因为三四个月没上班,再加上我女友在一起就开销。分期的暂时不怕,这几天到期的几千块钱要还上,别让征信、家里受到影响,催收来恐吓通讯录的熟人什么的不好。”   ...《业务规范》中显示,资金存管的基本原则有三点,分别是: 1.商业银行作为存管人开展资金存管业务,不视为对交易行为提供的保证或担保,存管人不承担借贷违约责任。...2.资金存管业务有关当事机构应当遵循“诚实履约、勤勉尽责、平等自愿、有偿服务”的市场化原则,促进行业规范发展。...从存管的流程规范中可以看到防止P2P形成资金池的条款。

    1K90

    这可能是最全的金融行业面试题

    没有相关项目经验怎么办? 可以去网上找数据,自己做项目,或跟着相关的课程来做。Kaggle、之家、阿里天池上有大量的金融类数据可以免费使用。 有人会说某些项目太多人做了,到了“做烂”的程度。...但其实,不少项目远没到“做烂了”这种程度,至少有90%都没有实际做过任何一个案例。所以只要你做了,就超过了绝大多数的人。 2.如何写简历? 我们可以站在HR的角度来考虑这个问题。...答案见:行列互换问题,怎么办?送你一个万能模版 面试题:风控模型迭代的时候需要注意什么?...如果可能的话,还可以与合作银行进行数据方面的共享,降低数据孤岛带来的影响。 第二是欺诈风险。可以采取“面签”的方式降低风险。...技术能力决定你的下限,而数据思维则决定了你的天花板。 更多面试题,可以看我参与写的畅销书《数据分析思维》。

    1.1K00

    猎聘单艺:数据分析师的9挑战

    报告正文: 大家好,我是来自猎聘的单艺,很高兴今天下午能够有机会跟大家聊一聊我们做数据分析在这个大数据时代会面临的哪些机会和挑战。我演讲的主题是数据分析师的十机遇和挑战。...我自己现在在猎聘负责所有的跟数据有关的事情,包括数据基础设施,数据分析还有数据挖掘、研发方面的工作。 ? 首先讲讲我们猎聘的一个基本情况,这也是我们能做一些不同行业、不同职能的职业发展的基础。...、很有意思的数据,主要是人的职业发展的数据。...有了这些数据之后我们就可以做一些比较有意思的分析了。首先我们对企业信息,通过文本挖掘的方法形成企业画像,职位描述也是这样,形成了三画像,企业画像、人才画像、职位画像。...所以这个时候你要懂数据收集是怎么回事,数据日志系统是怎么构成的,逻辑上是怎么定义的,数据流水线是怎么过来的,数据库里面是怎么通过ETL的过程拿到中央的数据仓库,这些概念你一定要懂,你没有数据就是没有源头

    1.3K60

    微服务项目:尚融宝(1)(项目介绍)

    行业案例:人人 登录/注册 - 人人、拍拍  行业案例: 人人 https://www.renrendai.com/ 拍拍 https://www.paipaidai.com/ 信用贷款平台的类别...业务流程  1、投资人 希望在平台上找到合适的投资项目,获取利润回报的用户 2、借款人 需要资金周转的用户 3、资金池风险 资金池:一个池子放钱,一边存进来(入水管),一边贷出去(出水管)。...第二种情况:突然来了这么多钱,怎么办?只能把放贷出水管的流量调。放贷的这条出水管上有两个阀门,一个叫找项目,一个叫做风控。...银监会发布的《网络借贷信息中介机构业务活动管理暂行办法》让资金存管成为平台的硬性要求,同时降低了平台建立资金池、挪用用户资金的风险。...MySQL 5.7:关系型数据库     管理工具:Navicat Redis 5.0:缓存技术     管理工具:RedisDesktopManager RabbitMQ 3.8:消息中间件

    83320

    WhatsApp数据泄露,近5亿条用户号码在暗出售

    据Cybernews报道,有黑客正在地下论坛出售近5亿WhatsApp用户的最新手机号码,而通过检验数据库样本,这些数据极有可能是真实数据。...据称,该数据库包含84个国家的WhatsApp用户数据。...Cybernews的研究人员联系WhatsApp数据库卖家,得到了一份数据样本。样本中有1097个英国和817个美国用户号码。...卖家没有具体说明数据库的获得方法,暗示使用了一些策略来收集数据,并保证数据库中所有号码是WhatsApp活跃用户。 WhatsApp母公司Meta对此不予置评。...某黑客论坛上存在超过5.33亿WhatsApp用户纪录的泄露,下载数据库几乎免费。 除了WhatsApp大规模数据泄露,一份据称包含5亿领英用户资料的数据库被挂上黑客论坛出售。

    51310

    数据24小时 | UC更名要做阿里文娱的“尖兵”,背靠乐视大数据神马的不用愁!

    UC正式摆脱浏览器的“枷锁”,要做阿里文娱版块的“尖兵”;海致BDP与两家公司分别达成合作,医疗、社交多点开花;在线放贷平台LendUp完成4750 万美元融资,用APP代替传统银行贷款服务...来源:数据猿 作者:abby 一、UC正式摆脱浏览器的“枷锁”,要做阿里文娱版块的“尖兵” UC浏览器曾经是全球使用量最大的第三方手机浏览器之一,在其最辉煌的时候,市场份额甚至超越了苹果safari...赛飞科技成立于2011年6月,专注于为用户提供商务融合的数字化生态网络,旗下拥有Soffice、Tronker两产品体系,主要为企业用户提供商业智能、数据存储等企业级管理方案,并为创客们提供良好的创业环境及投融资方面的资源...十、挂牌新三板,用大数据打造全新“葡萄酒生态系统” 葡萄酒电商平台“”24日宣布正式登陆新三板挂牌上市,成立于2011年,隶属于乐视控股集团。...因为背靠“乐视”这棵大树,所以网酒最不缺的就是资源。其公司通过与乐视旗下乐视电视、乐视、乐视手机等的合作,掌握了海量用户行为数据以及用户群体资源,从而进一步构建了全新的“葡萄酒生态系统”。 ?

    1.1K70

    联想会成为下个金立吗? | 拔刺

    有非常多人经常会把联想和金立作比较,现在突然间金立倒闭了,就会有人问联想这个昔日的国产品牌在未来会不会也步金立的后尘呢? 我现在来告诉你,联想目前来说在国产品牌中还是数一数二的。...但由于滴滴急于求成,使得易到、神州专车等一批曾经已经奄奄一息的约车公司,死灰复燃。...毕竟由于科技的进步,现在的约车不仅有司机的数据,也有乘客的数据。在大数据的运作下,其实约车公司将更容易让犯罪无处遁形,无论是司机还是乘客。...而且,就约车的性质,本来利用大数据和互联网,安全应该做的更好,而不是更糟。希望滴滴能够担负起自己的责任,做得更好。不然,不仅原来的对手,会死灰复燃,而且会有美团等巨头,跨界杀来!...2、现金的确可以反映一个人的偿还能力 客观地说,现金纳入考核是大势所趋,也是理所应当的事情。有记录不代表一个人一定缺乏偿还能力,但是,记录的确是可以作为参考值的。

    46350

    响铃:网络借贷面临终极大考,未来该何去何从?

    如根据之家的数据显示,截至2017年3月23日,全国共有235家P2P平台与银行签订直接存管协议,只占P2P行业正常运营平台总数的10.06%,其中有142家平台完成直接存管系统对接并上线,...3、银行顾虑犹存 尽管已有民生银行、江西银行、徽商银行、恒丰银行和华兴银行等38家银行布局P2P平台资金直接存管业务。但不管从数据还是市场反响上都可以看出,银行承接P2P存管业务的速度并不快。...不过好消息是背后是大量的个人用户数据,这将有利于银行开展理财等资管业务,再加上对利润的追逐,有些银行已经蠢蠢欲动,比如3月28日,平安银行正式宣布上线“存管家·网络借贷资金存管业务产品”,与此同时,...比如喊着“37°理财家”(37°C为人体安全体温,意思是用大数据风控护航健康理财)的中业兴融选择在社区医疗、三农健康以及出境旅游等垂直领域发展,并提出安心、健康、合规三宣言。...但一旦真刀实枪对垒,政策真正落地,那些逾期、坏账数据等没办法掩饰,平台也将“裸泳”。 “存管家”就宣称自己是一套具备自主管理、自主运营且安全高效的存管业务技术系统,且支持账户资金信息查询需求。

    1.2K10

    行业步入新周期,出借人的投资秘籍在哪?

    文/孟永辉 经历了资本撤离、政策监管的洗礼后,行业发展正迎来新的发展机遇期。以BAT为代表的科技巨头对金融行业的赋能、平台自身合规性建设的加快、出借人的日益成熟都让行业进入到发展新周期。...据第一发布的统计数据显示,截至5月末,全国在营P2P机构多达890家。...很多出借人在选择平台的时候,比较迷信名目繁多的评级和排名,甚至还有一些出借人比较看重平台的获奖情况。...虽然某些时候平台的评级排名和获奖情况可以在一定程度上彰显平台的质量和实力,但是,如果将评级排名和获奖情况看成是唯一的衡量标准,显然有些太过武断了。 首先,评级排名并不能反映平台的真正实力。...特别是平台依然鱼龙混杂的背景下,出借人用某个奖项来甄别平台好坏依然风险颇高。

    41710

    数据猿专访农信互联魏春:如何在养猪场实现“普惠金融”?

    记者 | 文 官 | www.datayuan.cn 微信公众号ID | datayuancn 上周,一家网络借贷平台在纽交所上市的消息又一次引燃了媒体舆论。...再加上其极高的资金配置效率,甚至一度被炒作为“传统银行的终结者”,实现普惠金融的希望之光。 但随着一批不合规平台被取缔,沸沸扬扬的“P2P大潮”戛然而止,留下一地鸡毛。...在热度过去之后,平台和银行们终于想清了答案:相较于传统银行小额贷款,如何体现其优势?银行又如何应对带来的挑战? 答案是:大数据。...平台和银行所面临问题的本质就是:如何在保证较低的坏账率的同时,让资金高效的流转,真正实现普惠金融? 大数据征信成为了平台和银行的必然选择。...农信互联已建成“数据+电商+金融”三核心业务平台,在其平台上搭建的垂直产业生态圈已涵盖猪联网、田联网、渔联网、企联网等。

    636110

    带血的庞氏P2P消亡史:是傻子太多还是骗子不够用?

    0 随着团倒下,红岭创投宣布清盘,2019年的P2P行业又不安稳了。...因为他们中没有一家活到跟我的官司开庭,其中离我最近的是团,差了4个月,白白让我花了很多律师费,可惜了。...315之后的第二个月,高利市场就在回暖,贷款超市的流量就在涨价,大量三方数据公司的调用量就在回升。 大家换了更多的壳公司,继续放高利。 但我说了,血馒头,吃不长了。...一个很简单的道理是,敢来借高利的,没有几个是善茬,大多数都是走投无路的人或者陷入赌博等不良嗜好的人,他们的一特点就是还款率低,潜逃率高。 公司想吸他们的血,他们也想黑公司的钱。...团倒下的前一天,还在不停铺广告,无数V给他们站台; 去年好几家头部P2P倒下前,还在公布自己的融资信息; 甚至所谓的P2P权威评测网站,旗下的P2P都跑路了,老板被抓进去了; 这个整个行业里,如果严格按照合规来算

    63840

    Hadoop应用案例分析:P2P借款人信用风险实时监控模型设计

    今天要分享的这篇是转载的一篇快搜索公众号上的文章,是关于时下比较热闹的P2P金融方面对hadoop应用的一个架构设计。...近年来,随着互联网金融的逐步发展,P2P已成为时下炙手可热的互联网金融新模式。凭借着“高收益”的理财优势,各类P2P平台呈现逐年增长的态势。...目前P2P面临的最大风险是信用风险,信用风险已经成为P2P行业发展的主要瓶颈,而借款人信用评估则是降低信用风险、提高企业风险管理水平的决定性因素。...另一方面,随着数据量和数据种类的不断增加,P2P平台的数据量已达到了PB、EB甚至 EB级别,而随着银行信用系统、其他共享系统等平台数据的不断接入,应用大数据技术进行平台数据管理和分析已是必然。...DKHadoop.jpg 基于上述原因,本研究应用大数据技术,建立借款人信用风险实时监测模型和风控方案,为P2P平台借款人信用风险评估提供大数据架构参考。

    61000

    独家研究 | 强监管下,车平台“深耕细作”or“业务转型”

    一直是P2P行业普遍看好的细分领域。...进入2018年以来,车平台数据表现 近年来,P2P行业正常运营的平台数量下降明显,其中涉及车业务的平台数量也随之减少。...从数据可以看出,2018年监管趋严对车平台的影响较大,涉及车业务的平台数量下降幅度明显高于行业水平。 ?...当前P2P车业务进入了一个红海竞争的局面,行业内头部平台已经形成,不少规模较大的车平台占据了车市场大部分的市场份额,两级分化的趋势越来越明显,的平台占据了市场的主导地位,中小型平台的生存空间继续萎缩...根据之家及盈灿咨询统计,2018年5月,车业务成交量前十的平台为微、人人聚财、投哪、拓道金服、百金、白菜金融、新升、图腾、有融、祺天优,总额占整个车业务成交量的一半以上。 ?

    56820
    领券