首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

单车数据爬虫

MobikeAgent 摩单车(Mobike)扫描器,自动搜集全国可用的单车。支持输出CSV和KML。 ? 白色底色为Lite版单车,红色底色为老版摩单车,红包为红包车,你懂的。...依赖安装 pip install -r requirements.txt 基本使用 第一步(可选): 之前摩单车服务器对请求频率作出限制,必须使用代理服务器,躲避IP限制。...不过似乎近期服务器在切换为OpenResty后不再限制请求频率。...服务器已经全面切换为HTTPS,能支持HTTPS的代理不多。...TODO: 增加命令行功能,把这个脚本变成一个命令行工具 虽然优化了扫描的算法,但是爬取一次全北京的单车还是需要9w+次请求,耗时40分钟左右,请不要在高峰期运行,以免给摩单车的服务器造成压力。

85910
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    马化腾出手,摩全面接入微信,共享9亿用户!摩要“赢”了?

    马化腾出手,摩全面接入微信 共享9亿用户! 继“摩红包车”推出以后,今日,摩单车召开发布会,宣布全面接入微信!在此之前,2017年1月摩单车开通小程序;2017年2月,率先支持微信扫码。...也就是说,如今,微信用户可以通过以下三种方式使用摩单车: 1、通过“扫一扫”功能,扫描摩单车二维码,进入摩单车小程序; 2、通过微信钱包第三方服务“九宫格”进入摩单车小程序; 3、直接点击小程序页面的...腾讯为什么选择摩单车? 不只是资本考虑,更是一种认可 腾讯作为摩单车的战略投资者,早在2016年10月即参投了摩单车的C+轮融资,并于2017年1月领投了摩单车的D轮融资。...“腾讯喜欢提供平台、云端服务给消费者,摩给我们提供了非常独特的机会。” 第三,摩具有海外发展潜力和布局。 微信帮了摩大忙!...小程序已帮摩用户节省了100年时间 据摩单车联合创始人兼CTO夏一平现场介绍: 1、摩单车上线微信小程序第一天,就获得了数百万量级的访问量。

    59230

    单车爬虫解析——找到API

    在上一篇文章《摩单车非官方大数据分析》中提到了我在春节期间对摩单车的数据分析,在后面的系列文章中我将进一步的阐述我的爬虫是如何高效的爬到这些数据的。...为什么爬摩的数据 摩是最早进入成都的共享单车,每天我从地铁站下来的时候,在APP中能看到很多单车,但走到那里的时候,才发现车并不在那里。...最直接的来源是摩单车的APP。现代的软件设计都讲究前后端分离,而且服务端会同时服务于APP、网页等。在这种趋势下我们只需要搞清楚软件的HTTP请求就好了。...而且这个跳动和手机、手机号、甚至移动运营商没有关系,说明这个跳动是摩接口的问题,也可以从另一方面解释为什么有时候看到车但其实那里没有车。...当然了,如果摩单车官方并不care数据的事情的话,这样的API设计也是ok的。 下一篇文章将开源爬虫的源代码,敬请期待!如果您觉得文章有用,请打赏一杯咖啡,谢谢:)

    60910

    物联网架构演进之路|数据与架构齐驱,看摩创造奇迹

    今天我们拣选的是来自摩的技术副总裁张屹凌的分享。主题围绕摩的架构演进展开。 作者介绍 ?...架构有很多种,包括研发架构,团队架构各种,今天分享的主题主要围绕技术架构展开,具体来讲,是围绕摩的系统架构,一起探讨软件技术的演进和发展。 摩创建的时间并不久,不像许多已经过了早期的大公司。...但不久,在我们第二次聊天的中途,可能是因为车辆需求的增加, 服务器突然因为遭遇bug就宕机了,当时还是很严重了,整个系统都崩溃了,但在我们的努力下,最终把系统的bug修复了。 ?...由于没有做很好的流量管控,整个服务是一套,如果这个加了一百个服务器以后,后面系统连接数就很多,很可能就爆掉,这时候再加机器也没用了。 于是我们设计了第三代架构 V2 ?...同时我们做了国际化设计,这是一个高频率发布的事情,有一套适合摩的代码管理的流程。

    1.3K70

    如何看待美团收购摩单车?

    美团收购摩,能给美团带来什么?对摩的影响又是什么?这是我在知乎的一个回答,希望能够给大家带来一些启发。另外,我的知乎账号也是:非著名程序员,玩知乎的朋友可以一起关注互粉一下。...而美团打车解决的是长距离的画线问题,而收购摩单车正好解决用户短途和短距离的用车画线需求,这是他们基于生活服务平台这个需求场景而布局的,收购摩单车是对他们出行服务矩阵的一个补充。...收购摩,可以和美团的到店,到家,酒店旅游等业务形成共振,跳出共享单车这个小天地。 这样的结合,联动,可以更进一步的释放共享单车的活力,也可以让美团的生活服务体验更加完善。...这项收购可以说,对美团来说是对它出行业务的更好的补充,可以让它的生活服务平台更完善,而对于摩来说,可以释放更多活力,带来更多的用途和玩法。...非著名程序员 这里的分享不仅有技术,还有职场,行业观察!

    40130

    抓取手机app的数据(摩单车)

    前几天有人私信我,问能不能帮忙抓取摩单车的数据。。。 我想着授人以鱼不如授人以渔,所以本次我们就讲讲如何抓取手机app的内容吧  Fiddle的安装及配置 抓手机包我用的是fiddle。...打开cmd命令行 输入ipconfig,如图所示,192.168.31.146就是我的ip地址 打开手机WiFi设置,找到你当前链接的WiFi 我当前链接的是Xiaomi_E172_5G 设置代理服务器为你电脑的...“ 这是因为摩有防抓取限制(我猜是检测,如果有使用代理的话,直接让你用不了。。。) 那这样的话我们就没办法抓到么???...因为我之前还用过摩的小程序,所以我们抓抓微信小程序试试看 打开摩单车的小程序 我们看到已经定位了。。...一共898个, 然后查了这898个小区附件的摩单车情况….

    1.8K120

    当筹码落下时: 登的半导体战争

    乔·登的就职典礼正值这场半导体战争的高潮。业内人士期待他的审查和特朗普出口管制政策的潜在逆转。...登迄今采取的措施表明,他打算对中国实施更有针对性的出口管制政策,将国家安全放在优先地位。...鉴于中国强大的市场潜力和成熟的经济实力,加上其巨大的地缘政治影响力,登对科技联盟的愿景并非易事。 登政府现在更加迫切地与国际半导体合作伙伴合作。...登政府已经加大了建立双边半导体联盟的努力。...登还优先考虑了与东亚国家的多边伙伴关系以及四边安全对话(四国)国家和七国集团(G7)国家。 鉴于中国强大的市场潜力和成熟的经济实力,加上其巨大的地缘政治影响力,登对科技联盟的愿景并非易事。

    36030

    抓取摩单车分布数据做区域价值分析

    上图是以摩单车数据为例,绘制出的2017年某天上午该品牌共享单车在上海市的大致空间分布图。从地图上可以看到,共享单车已经深入了城市的每一个角落,几乎毫无死角。 ?...下面就大致简单地说一说怎么样抓取泉州膜拜单车,或者其他单车的数据: 下图是我要摩单车小程序上的区域单车分布,因为摩单车的APP暂时没有API借口,并且不开放抓取,所以就用小程序上单车的分布数据了:...3、在手机上打开http代理模式,并且将手机的服务器地址设置为电脑的ip地址,端口设置为8888 ? 4、在手机浏览器输入(ip地址:8888)内容,下载手机http证书: ?...6、打开摩单车的微信小程序,定位到要抓取的区域上,等单车现实后,就可以在fidder上现实所要的数据,需要提取的是post方法里的含有mobike-api内容的数据: ?

    1.4K71

    单车非官方大数据分析

    请看 http://www.jianshu.com/p/058d847ba297 趁着过年的清闲时光,我抓取了摩单车的数据并进行了大数据分析。...成都的摩单车的整体情况如下: 标准车型和Lite车型数量相当 摩单车在成都大约已经有6万多辆车,两种类型的车分别占有率为55%和44%,可见更为好骑的Lite版本的占有率在提高。...从摩单车的数据看,在流动的单车中,5次以下占据了60%左右的出行。但1次、2次的也占据了30%左右的份额,说明摩单车的利用率也不是很高。 ? 单车骑行次数 ?...单车骑行次数 从单车看城市发展 从摩单车的热图分布来看,成都已经逐步呈现“双核”发展的态势,城市的新中心天府新区正在聚集更多的人和机会。 ?...软件园白天 在线网站 如果你对数据感兴趣,我已经创建了一个网站供大家使用,请用电脑访问:http://www.april1985.com/mobike/ (为节省开支,后端服务器已经关闭)

    94530

    Serverless+SCF=打倒服务器,解放程序员

    程序员。” “那正好,你帮我修一下电脑吧!” 在很多外行人的眼里,程序员就是神一样的存在。...他们全年996,节假日无休,不仅Java、PHP、C++要样样精通,还要会修电脑修音响修手机,做前端要懂运维,做后台要懂运营……可是程序员毕竟是人不是神,给程序员减负不仅事关他们的头发数量,也关乎工作质量...这一技术旨在让开发者不再过多考虑服务器问题,让服务器真正的服务开发者,而不是因果颠倒。智能运维解放开发者的双手, 无服务器让开发者更为专业和专注。...本是想解放程序员的双手,结果却得到了更大的麻烦,这显然是难以接受的。 寻求真正的解放,就要精准的技术和高效的环境。...我们将会探索Serverless架构应用、小程序云开发、API网关以及对象存储等多个领域,直到真正实现为程序员减负!

    93541

    TiDB 在摩的深度实践及应用

    作者介绍 吕磊,摩单车数据库团队资深DBA,拥有丰富的数据库运维及开发经验。...一、业务场景 摩单车 2017 年开始将 TiDB 尝试应用到实际业务当中,根据业务的不断发展,TiDB 版本快速迭代,我们将 TiDB 在摩单车的使用场景逐渐分为了三个等级: P0 级核心业务:线上核心业务...本文会选择三个场景,给大家简单介绍一下 TiDB 在摩单车的使用姿势、遇到的问题以及解决方案。...图 4 在线业务集群拓扑图 四、数据沙盒集群(离线业务) 数据沙盒,属于离线业务集群,是摩单车的一个数据聚合集群。...4.2 数据复制中心 Gravity (DRC) 下面简单介绍一下摩单车自研的数据复制组件 Gravity(DRC)。

    92120
    领券