如果12306自建系统,但在春运以后,又该如何处理服务器过剩的问题,才不会造成资源浪费呢? 根据百度百科对混合云的定义,“混合云是融合公有云和私有云,是近年来云计算的主要模式和发展方向。...资源的弹性扩展:迁移到公有云的业务子系统是否能实现按需弹性扩展,利用云计算数据中心的网络和服务器资源来提供服务?...最耗用网络资源 Web服务器 应用服务器缓存服务器 余票查询/计算服务器 4....,最耗系统资源;其他适合放在公有云提供服务有三大服务器集群,Web服务器集群,应用服务器缓存集群,和余票查询/计算集群。...综合上述的分析,推测和描绘12306混合云的架构如下图: 12306两地三中心,混合云架构 四、12306两地三中心混合云探讨 12306两地三中心的混合云架构是目前国内规模最大,业务系统最复杂的混合云服务
聊到验证码,简单的看图输入型的数字验证码,英文验证码,中文验证码,都已经被爬虫工程师机灵的攻克了,孕育而生的又有需要按照图片显示的数据公式进行计算后输入结果的验证码,以及非常有名的12306魔鬼点选验证码...本篇就针对12306的点选验证码进行讲解和破解。让我们一起来学习一下。 ? 点选验证码是近代用于验证是否为人类的一种措施之一。...回到12306的验证码,验证码所显示的图片类型是完全随机的,一会是洗洁精图片,一会是黑板的图片,一会是玛雅神殿的图片,对于一般的开发者来说,不可能通过深度学习训练出一个适合12306的图片预测器,因为数据量实在是太大了...总结 在这篇文章里,我们针对“12306”魔鬼验证码进行了实验。可以看到精度还是相当高的,确实是给爬虫操作解决了大麻烦。
今天,12306数据泄露莫名其妙地被炒起来了。。。这年头想火还真是简单。12306数据泄露传言是来自一个公众号,说暗网中贩卖12306数据。。。 ?...可信度分析 标题是泄露60W账户+410万联系人,从数据量来讲,这明显不是12306官方平台发生的数据泄露,因为实在太少了。12306好几亿人在用,这是常识,既然有能力脱裤,还不脱完???说不过去。...确实有一些测试数据,是真实的,那既然这些数据不可能是来自12306平台,那会来自哪里呢?...主要的途径不难想象: 旧数据 + 撞库+ 第三方抢票平台 旧数据 三四年之前12306平台登录机制过于简单,导致黑产进行“撞库”攻击,撞出来几十万条数据。...撞库 现在的12306的登录机制,挺变态了。直接去撞12306,然后识别恶心的验证码,说实话这种撞库,不是不可能,但是投入很大,和产出不成正比,黑产应该会理性一点。
bor.maximize_window() # bor.execute_script("document.body.style.zoom='0.8'") #打开登录界面 bor.get('https://kyfw.12306...code_img.location 这一个代码既可以得到他的位置也可以直接通过他进行截屏处理,真的是太nice,就像下边一样 那么接下来的填写数据也就是顺理成章的事情了,简直不要太简单 就是最后12306
“黄牛”的秘密武器是外挂,用最快的服务器不断地刷新和监控12306,刷票速度往往是正常购票的几十倍。 实际上,市面上通行的“抢票软件”,原理与“黄牛”并无本质区别。...还有至关重要一点是,假如完全用机器去堆,在实际业务峰值超出了初始评估量时,服务将面临无法完全承载而瘫痪,因为大规模服务器的采购、交付、部署到应用上线所耗费时间以月计,根本无法在业务量激增时"即插即用"。...淘宝/天猫大促的时候,也会增加服务器,但阿里的业务盘子大,这些新增的机器很快会被其他业务(包括阿里云)消化掉,可能还不够。但是对于 12306来说,就比较难做到这一点。...在 2015 年的时候,12306 跟阿里云达成合作,通过云的弹性和“按量付费”的计量方式,来支持巨量的查询业务,把架构中比较“重”(高消耗、低周转)的部分放在云上,将75%的余票查询业务切换到了阿里云上...将余票查询模块和12306现有系统做分离,在云上独立部署一套余票查询系统。 通过动态的云计算,在高峰时段动态去扩容,可以达到分钟级的扩容,这样就避免在平时浪费大量的机器。
因为12306怎么可能允许你一直爬它呢 开发工具准备: 开发工具:PyCharm 内置模块:sys,time,datetime,os,json,re 第三方模块:PyQt5,pyqt5-tools,requests...通过正则表达式匹配处理相应的字符串 import os #判断某个路径下的某个文件 import requests #处理网络请求 def get_selling_time(): url='https://www.12306...time.text') #调用写入方法 def get_station(): #发送请求获取所有车站名称,通过输入的站名称转化查询地址的参数 url='https://kyfw.12306....cn/mormhweb/logFiles/error.html 也就是上面说的错误页面,就说明12306爬虫失败,你的ip应该被锁住了。....cn/index/otn/index12306/queryScSname' #表单参数,station参数为需要搜索车站的英文缩写 form_data={ "station_telecode":station
在前一篇的基础上,现在对服务器进行环境搭建,其实就是安装你需要的软件,配置环境变量,然后安装tomcat。...环境搭建 1、git bash连接服务器(或者XShell等工具) 2、搭建mysql环境 首先查看系统版本 输入下载命令 sudo apt install mysql,tab键会出现很多版本...进入etc下找到tomcat的server.xml(有可能在conf下) 之后保存,重启web服务器(此处位tomcat): 首先关闭服务器: 开启tomcat: 如果还是没有成功,可能是
12306 抢票,极限并发带来的思考 虽然现在大多数情况下都能订到票,但是放票瞬间即无票的场景,相信大家都深有体会。...尤其是春节期间,大家不仅使用 12306,还会考虑“智行”和其他的抢票软件,全国上下几亿人在这段时间都在抢票。...“12306 服务”承受着这个世界上任何秒杀系统都无法超越的 QPS,上百万的并发再正常不过了!...笔者专门研究了一下“12306”的服务端架构,学习到了其系统设计上很多亮点,在这里和大家分享一下并模拟一个例子:如何在 100 万人同时抢 1 万张火车票时,系统提供正常、稳定的服务。...调度器具有很好的吞吐率,将请求均衡地转移到不同的服务器上执行,且调度器自动屏蔽掉服务器的故障,从而将一组服务器构成一个高性能的、高可用的虚拟服务器。
# 依赖模型 自托管云打码服务器搭建:12306_code_server version: "3" services: code_12306: image: yinaoxiong/12306...code_server ports: - 5002:80 #可以根据需要修改端口 environment: - WORKERS=1 #gunicorn works 默认为1可以根据服务器配置自行调整...设置为1或2都有些问题,建议设置为3 COOKIE_TYPE = 3 # 获取Cookie RAIL_EXPIRATION = "xxx" RAIL_DEVICEID = "xxx" # 此处设置云打码服务器地址...,如果有自建的服务器,可以自行更改 HOST = "172.16.87.10:5002" REQ_URL = "/verify/base64/" HTTP_TYPE = "http" **关于无法安装tensorflow...登录网页版12306官网 网址旁边有个锁子 点击锁子>点击Cookie>点击12306.cn 在12306.cn的Cookie项下面找到RAIL_EXPIRATION和RAIL_DEVICEID 把值复制进去
git clone https://github.com/pjialin/py12306 cd py12306 && pip install -r requirements.txt cp env.py.example...如果运行时出现网络错误的提示 修改下面的配置: # 网络错误问题临时解决方案 # 以IE为例,网页登陆12306 网站: https://kyfw.12306.cn/otn/resources/login.html...CACHE_RAIL_ID_ENABLED = 1 RAIL_EXPIRATION = 'xxx' #浏览12306 网站中的Cache的RAIL_EXPIRATION 值 RAIL_DEVICEID...= 'xxx' #浏览12306 网站中的Cache的RAIL_DEVICEID 值 最后,如果有其他问题和需求请查看项目主页:https://github.com/pjialin/py12306[1...] 参考资料 [1] https://github.com/pjialin/py12306: https://github.com/pjialin/py12306
12306系统架构优化 coolshell陈皓优化方案 原文:http://coolshell.cn/articles/6470.html 一、业务复杂度比对 (1)qq业务模型:只访问自己的数据 (2...秒杀业务模型:秒杀能够只接受前N个请求,后续请求直接返回 (3)奥运会售票业务模型:注册+抽奖,非先来先抢,可以事后线下处理 (4)电子商务业务模型:c2c只需关注自己的库存 结论:库存是b2c的噩梦,12306...12306的业务特点是,突然放票,大家去抢。几十分钟内,马上几千万的访问量,非常恐怖(据说高峰访问是10亿PV,集中在早上8点到10点)。...云风的BLOG优化方案 原文:http://blog.codingnow.com/2012/01/ticket_queue.html 一、核心思想:排队论,餐馆里拿到号的人才能进来吃饭 (1)生成一些签名过的...也会安心等待 曹政的和谐blog优化方案 原文:http://hi.baidu.com/ncaoz/item/9bdefa308f1bb7f3e7bb7a84 ( SK注:caoz同学很自信,2人2周,40台服务器搞定
一直都用浏览器抢票,那个验证码自动识别的准确率和效率真心不敢恭维! 实在没办法,这几天只能抢临客了,想起了之前听同事说过在某宝可以买到什么抢票神器,于是去某宝搜...
腾讯云云服务器简介 云服务器(Cloud Virtual Machine,CVM)为您提供安全可靠的弹性计算服务。 只需几分钟,您就可以在云端获取和启用 CVM,来实现您的计算需求。...腾讯云服务器地址点击打开 腾讯云服务器特点 弹性计算 在腾讯云上您可以在几分钟之内快速增加或删减云服务器数量,以满足快速变化的业务需求。...管理简单 用户拥有腾讯云 CVM 的管理员账号,对 CVM 有完全的控制权,您可以使用腾讯云控制台、API 或 CLI 等工具登录到您的 CVM 实例,进行网络配置更改、重启等重要操作,这样管理 CVM...安全的网络 腾讯云 CVM 运行在一个逻辑隔离的私有网络里,通过网络访问控制列表(Access Control List)和安全组,切实保证您云上资源的安全性。...服务集成 CVM 与腾讯云的大部分业务都可以做到高度集成,比如对象存储 COS,云数据库 CDB,私有网络 VPC 等,合力在计算,存储,网络传输方面为用户的各种业务提供完善的解决方案。
然而,你有没有想过12306的抢票算法是怎么实现的呢? 没有吧,想过,还是没有头绪? 今天,我们就来曝光让人又爱又恨的12306是如何实现抢票的。...OK,这只是位图的一个很简单的用法,位图还有很多高级的用法,比如统计活跃用户数、限流、权限控制等,当然,还有我们今天要曝光的12306抢票算法。...12306抢票算法 我们知道,一列火车,有很多个座位,可以到很多站,以北京到广州的一列火车G67为例: G67次列车一共有18个站,有的人可能到武汉就下车了,有的人可能到长沙下车,还有的人可能从武汉上车从衡山西下车...后记 本节,我们一起重温了位运算的操作,并学习了如何使用位图实现12306的抢票算法,关于位图,其实还有很多用途,比如,各种统计、限流、权限控制等。
下单 进入下单界面了 https://kyfw.12306.cn/otn/confirmPassenger/initDc ?...还有一个请求https://kyfw.12306.cn/otn/confirmPassenger/getPassengerDTOs ?...选乘客票种提交 https://kyfw.12306.cn/otn/confirmPassenger/checkOrderInfo ? 看看参数,头晕吗?...https://kyfw.12306.cn/otn/confirmPassenger/confirmSingleForQueue ?...有需求再补上 总结 通过整篇文章想给大家提供一个思路,主要是对于请求的参数而言: 首先你应该知道这个参数肯定是在当前请求之前出现的,至于是在哪个请求之后出现的这个就看情况了 我们的参数无外乎就两种情况,一种是服务器发个客户端的
,不过因为成本比较高很多中小型公司并不会选择,多数使用的都是云服务器,那么云服务器如何配置?...云服务器如何加密?小编接下来就为大家来介绍一下相关的知识。 云服务器如何配置? 云服务器在使用过程中是需要进行配置各种参数的,那么云服务器如何配置?...想要配置云服务器首先大家要前往服务器购买的商户,根据相关的参数以及要求进行设置,后续使用过程中如果需要修改的话也是要到官方网站上面。 云服务器如何加密?...很多人都会担心自己使用的云服务器不安全,想要给云服务器进行多重加密,首先云服务器进行配置的时候会需要用户们设定账号和密码,这属于第一层保护,其次就是云服务器也是需要加装防火墙的,很多用户们还会为自己的云服务器安装相关的安全组件...相信大家看了上面的文章内容已经知道云服务器如何配置了,不同公司需要的云服务器类型也是不一样的,所以现在市面上的云服务器类型也是很全面的,大家可以根据自己的需求去选择使用。
因为要使用muduo库,需要先安装个boost。 boost的安装按照这篇教程就好:C++搭建集群聊天室(一):安装boost库 问题不大,不过可能会花费半...
12306 抢票,极限并发带来的思考 虽然现在大多数情况下都能订到票,但是放票瞬间即无票的场景,相信大家都深有体会。...尤其是春节期间,大家不仅使用 12306,还会考虑“智行”和其他的抢票软件,全国上下几亿人在这段时间都在抢票。...“12306 服务”承受着这个世界上任何秒杀系统都无法超越的 QPS,上百万的并发再正常不过了!...笔者专门研究了一下“12306”的服务端架构,学习到了其系统设计上很多亮点,在这里和大家分享一下并模拟一个例子:如何在 100 万人同时抢 1 万张火车票时,系统提供正常、稳定的服务。...调度器具有很好的吞吐率,将请求均衡地转移到不同的服务器上执行,且调度器自动屏蔽掉服务器的故障,从而将一组服务器构成一个高性能的、高可用的虚拟服务器。 3.
这个版本预计会在双十一之前完成,所以时间也不算很赶,也不算很长,画甘特图啥的就没意思了。 昨天先是写了两篇博客,一篇是:“我是怎么写项目的”,一篇是:“我的毕...
最近这几天,学习了一下python,对于爬虫比较感兴趣,就做了一个简单的爬虫项目,因为快过年了么,要买回家的火车票,所以呢,通过分析12306网站,写了一个爬虫,现在,就将代码贴出来,分析的过程就不详细的介绍了...meishandong|msd|2380@msh|庙山|MSN|miaoshan|ms|2381@mxi|岷县|MXJ|minxian|mx|2382@myu|门源|MYO|menyuan|my|2383@myu|暮云|...ycb|2572@ycd|永川东|WMW|yongchuandong|ycd|2573@ych|宜春|YEG|yichun|yc|2574@ych|岳池|AWW|yuechi|yc|2575@ydh|云东海...30 31 def setStation(from_station,to_station,queryDate,purpose_codes): 32 url = 'https://kyfw.12306
领取专属 10元无门槛券
手把手带您无忧上云