首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

单车数据爬虫

MobikeAgent 单车(Mobike)扫描器,自动搜集全国可用的单车。支持输出CSV和KML。 ? 白色底色为Lite版单车,红色底色为老版单车,红包为红包车,你懂的。...完整代码 下载地址: 1、转发本文至朋友圈 2、关注微信公众号 datayx 然后回复 即可获取。...依赖安装 pip install -r requirements.txt 基本使用 第一步(可选): 之前单车服务器对请求频率作出限制,必须使用代理服务器,躲避IP限制。...注意:单车返回的是火星坐标。最新的爬虫已经会自动转换成WGS84了,但是这个文件夹里的数据目前还是使用火星坐标,爬一次还是挺费时间的,以后会统一成WGS84。...TODO: 增加命令行功能,把这个脚本变成一个命令行工具 虽然优化了扫描的算法,但是爬取一次全北京的单车还是需要9w+次请求,耗时40分钟左右,请不要在高峰期运行,以免给单车的服务器造成压力。

85910
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    马化腾出手,全面接入微信,共享9亿用户!要“赢”了?

    马化腾出手,全面接入微信 共享9亿用户! 继“红包车”推出以后,今日,单车召开发布会,宣布全面接入微信!在此之前,2017年1月单车开通小程序;2017年2月,率先支持微信扫码。...也就是说,如今,微信用户可以通过以下三种方式使用单车: 1、通过“扫一扫”功能,扫描单车二维码,进入单车小程序; 2、通过微信钱包第三方服务“九宫格”进入单车小程序; 3、直接点击小程序页面的...腾讯为什么选择单车? 不只是资本考虑,更是一种认可 腾讯作为单车的战略投资者,早在2016年10月即参投了单车的C+轮融资,并于2017年1月领投了单车的D轮融资。...“腾讯喜欢提供平台、云端服务给消费者,给我们提供了非常独特的机会。” 第三,具有海外发展潜力和布局。 微信帮了大忙!...小程序已帮用户节省了100年时间 据单车联合创始人兼CTO夏一平现场介绍: 1、单车上线微信小程序第一天,就获得了数百万量级的访问量。

    59230

    单车爬虫解析——找到API

    在上一篇文章《单车非官方大数据分析》中提到了我在春节期间对单车的数据分析,在后面的系列文章中我将进一步的阐述我的爬虫是如何高效的爬到这些数据的。...为什么爬的数据 是最早进入成都的共享单车,每天我从地铁站下来的时候,在APP中能看到很多单车,但走到那里的时候,才发现车并不在那里。...最直接的来源是单车的APP。现代的软件设计都讲究前后端分离,而且服务端会同时服务于APP、网页等。在这种趋势下我们只需要搞清楚软件的HTTP请求就好了。...而且这个跳动和手机、手机号、甚至移动运营商没有关系,说明这个跳动是接口的问题,也可以从另一方面解释为什么有时候看到车但其实那里没有车。...当然了,如果单车官方并不care数据的事情的话,这样的API设计也是ok的。 下一篇文章将开源爬虫的源代码,敬请期待!如果您觉得文章有用,请打赏一杯咖啡,谢谢:)

    60910

    物联网架构演进之路|数据与架构齐驱,看创造奇迹

    今天我们拣选的是来自的技术副总裁张屹凌的分享。主题围绕的架构演进展开。 作者介绍 ?...张屹凌 技术副总裁 历任微软、Google、房多多技术负责人,专注平台研发,数据挖掘10年 以下是分享的内容及解读: 什么是架构?...架构有很多种,包括研发架构,团队架构各种,今天分享的主题主要围绕技术架构展开,具体来讲,是围绕的系统架构,一起探讨软件技术的演进和发展。 创建的时间并不久,不像许多已经过了早期的大公司。...在这样的增速下,为了保持用户环境的稳定,提高服务的质量,的架构经历了几代的演进,也做了很多的功能和性能的优化。 ?...同时我们做了国际化设计,这是一个高频率发布的事情,有一套适合的代码管理的流程。

    1.3K70

    如何看待美团收购单车?

    美团收购,能给美团带来什么?对的影响又是什么?这是我在知乎的一个回答,希望能够给大家带来一些启发。另外,我的知乎账号也是:非著名程序员,玩知乎的朋友可以一起关注互粉一下。...而美团打车解决的是长距离的画线问题,而收购单车正好解决用户短途和短距离的用车画线需求,这是他们基于生活服务平台这个需求场景而布局的,收购单车是对他们出行服务矩阵的一个补充。...收购,可以和美团的到店,到家,酒店旅游等业务形成共振,跳出共享单车这个小天地。 这样的结合,联动,可以更进一步的释放共享单车的活力,也可以让美团的生活服务体验更加完善。...这项收购可以说,对美团来说是对它出行业务的更好的补充,可以让它的生活服务平台更完善,而对于来说,可以释放更多活力,带来更多的用途和玩法。

    40130

    抓取手机app的数据(单车)

    前几天有人私信我,问能不能帮忙抓取单车的数据。。。 我想着授人以鱼不如授人以渔,所以本次我们就讲讲如何抓取手机app的内容吧  Fiddle的安装及配置 抓手机包我用的是fiddle。...“ 这是因为有防抓取限制(我猜是检测,如果有使用代理的话,直接让你用不了。。。) 那这样的话我们就没办法抓到么???...因为我之前还用过的小程序,所以我们抓抓微信小程序试试看 打开单车的小程序 我们看到已经定位了。。...,并且把附件的单车都显示出来了 我们可以多移动我们的位置,然后等有把附近的车显示出来 可以看到fiddle上面已经有好多请求了 那么如何找到的那一条呢。。。 很简单,看单词就好。。。...一共898个, 然后查了这898个小区附件的单车情况….

    1.8K120

    单车非官方大数据分析

    请看 http://www.jianshu.com/p/058d847ba297 趁着过年的清闲时光,我抓取了单车的数据并进行了大数据分析。...成都的单车的整体情况如下: 标准车型和Lite车型数量相当 单车在成都大约已经有6万多辆车,两种类型的车分别占有率为55%和44%,可见更为好骑的Lite版本的占有率在提高。...从单车的数据看,在流动的单车中,5次以下占据了60%左右的出行。但1次、2次的也占据了30%左右的份额,说明单车的利用率也不是很高。 ? 单车骑行次数 ?...单车骑行次数 从单车看城市发展 从单车的热图分布来看,成都已经逐步呈现“双核”发展的态势,城市的新中心天府新区正在聚集更多的人和机会。 ?

    94430

    TiDB 在的深度实践及应用

    作者介绍 吕磊,单车数据库团队资深DBA,拥有丰富的数据库运维及开发经验。...一、业务场景 单车 2017 年开始将 TiDB 尝试应用到实际业务当中,根据业务的不断发展,TiDB 版本快速迭代,我们将 TiDB 在单车的使用场景逐渐分为了三个等级: P0 级核心业务:线上核心业务...本文会选择三个场景,给大家简单介绍一下 TiDB 在单车的使用姿势、遇到的问题以及解决方案。...图 4 在线业务集群拓扑图 四、数据沙盒集群(离线业务) 数据沙盒,属于离线业务集群,是单车的一个数据聚合集群。...4.2 数据复制中心 Gravity (DRC) 下面简单介绍一下单车自研的数据复制组件 Gravity(DRC)。

    92020

    抓取单车分布数据做区域价值分析

    上图是以单车数据为例,绘制出的2017年某天上午该品牌共享单车在上海市的大致空间分布图。从地图上可以看到,共享单车已经深入了城市的每一个角落,几乎毫无死角。 ?...下面就大致简单地说一说怎么样抓取泉州膜拜单车,或者其他单车的数据: 下图是我要单车小程序上的区域单车分布,因为单车的APP暂时没有API借口,并且不开放抓取,所以就用小程序上单车的分布数据了:...6、打开单车的微信小程序,定位到要抓取的区域上,等单车现实后,就可以在fidder上现实所要的数据,需要提取的是post方法里的含有mobike-api内容的数据: ?...7、接下来就用几行python代码抓取这些数据,相对来说还是比较简单的了。

    1.4K71

    为什么只看到、ofo还在拿到融资?

    文/孟永辉 继单车宣布拿到融资后不久,ofo于近日同样宣布拿到近7亿美元融资。此次融资不仅打破了单车的融资额度,甚至还创下了共享单车行业最高的融资记录。...浩浩荡荡的共享单车市场在经过不断的搏杀和淘汰之后,整个市场上仅仅只剩下单车和ofo两家公司依然还在资本市场之中不断冲杀前进。...于是,人们不仅要问,为什么共享单车市场当前只看到了单车和ofo两家还在拿到融资,还在获得资本关注,难道其他共享单车公司就没有翻身的机会了吗?共享单车市场的资本战役难道就此落幕了吗?...共享单车市场也是如此,单车、ofo不断刷新共享单车市场的融资记录从另外一个角度恰恰说明整个市场的资本正在开始朝着头部集中,资本开始从广泛撒网,逐步趋向精准投资。...等到市场格局确定之后,我们便会看到一些真正触及共享单车本质以及商业模式的概念出现,比如单车此前提出的物联网的概念,还有此次ofo推出的智能锁的概念。

    69280

    单车正式进军日本,积极拓展海外市场

    近日,单车宣布进入日本,并已在福冈市成立单车日本分公司,这是继新加坡和英国之后,单车进入的第3个海外市场。...近日,据媒体报道,单车将正式进军日本,并将在日本福冈市成立单车日本分公司。这对来说,在海外市场又下一城。据悉,这是的第3个海外市场,而在这之前,还在新加坡和英国崭露头角。...据统计,自4月以来,单车单月活跃用户量环比增速超过200%,过去一个月单车新增2400万注册用户,继续保持市场领先地位。...而且,近日单车宣布完成一笔超过6亿美元的新一轮融资,这也是共享单车行业目前为止的单笔融资最高纪录,足见的实力。 此外,也有消息显示,单车今年底将拓展至全球200城。...看来,全球将刮起一场“风”。

    32230

    总是出现服务故障谈谈技术这件小事

    最近几天不知道怎么了,单车总是出现故障。 不是扫不了码就是关闭自行车时,车已经锁了,但是app上显示的还是使用中,也就是在关闭锁的一瞬间刚刚好服务器出问题了,才有可能导致这种情况的发生。...作为一位程序猿,但自己也是的用户,个人感觉拜在下面几个方便需要加强: 服务器抗压 目前不知道并发时的最大压力有多少,最近的故障估计是红包活动导致大量的用户频繁的开车,锁车,领取红包导致的。...这个时候合理的架构就派上用场了,并不一定说要的很高大上,用很多新技术,只要能满足业务需求就行,如果的后端服务拆分的够细,对API也有限流应该不足以导致服务器瘫痪,影响所有用户的场面。...当然也有做的很好的地方,有个地方就非常打动我,这就提现了细节决定成败。...个人感觉拿了这么多次投资,也有这么多押金,多招几个大牛坐阵吧。。

    72090

    python抓取单车API数据并做可视化分析(源码)

    是最早进入成都的共享单车,每天我从地铁站下来的时候,在APP中能看到很多单车,但走到那里的时候,才发现车并不在那里。...而且这个跳动和手机、手机号、甚至移动运营商没有关系,说明这个跳动是接口的问题,也可以从另一方面解释为什么有时候看到车但其实那里没有车。...单车的API返回的是一个正方形区域中的单车,我只要按照一块一块的区域移动就能抓取到整个大区域的数据。...成都的单车的整体情况如下: 标准车型和Lite车型数量相当 单车在成都大约已经有6万多辆车,两种类型的车分别占有率为55%和44%,可见更为好骑的Lite版本的占有率在提高。...从单车的数据看,在流动的单车中,5次以下占据了60%左右的出行。但1次、2次的也占据了30%左右的份额,说明单车的利用率也不是很高。 ? 单车骑行次数 ?

    1.2K50

    python抓取单车API数据并做可视化分析(源码)

    源代码请关注公众号并回复“”获取源代码 是最早进入成都的共享单车,每天我从地铁站下来的时候,在 APP 中能看到很多单车,但走到那里的时候,才发现车并不在那里。...而且这个跳动和手机、手机号、甚至移动运营商没有关系,说明这个跳动是接口的问题,也可以从另一方面解释为什么有时候看到车但其实那里没有车。...单车的API返回的是一个正方形区域中的单车,我只要按照一块一块的区域移动就能抓取到整个大区域的数据。...成都的单车的整体情况如下: 标准车型和 Lite 车型数量相当 单车在成都大约已经有 6 万多辆车,两种类型的车分别占有率为 55% 和 44%,可见更为好骑的 Lite 版本的占有率在提高。...从单车的数据看,在流动的单车中,5 次以下占据了 60% 左右的出行。但 1 次、2 次的也占据了 30% 左右的份额,说明单车的利用率也不是很高。 ? 单车骑行次数 ?

    1.5K80
    领券