首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

技术揭秘12306改造(二):探讨12306两地三中心混合架构

如果12306自建系统,但在春运以后,又该如何处理服务器过剩的问题,才不会造成资源浪费呢? 根据百度百科对混合的定义,“混合是融合公有云和私有,是近年来计算的主要模式和发展方向。...资源的弹性扩展:迁移到公有的业务子系统是否能实现按需弹性扩展,利用计算数据中心的网络和服务器资源来提供服务?...最耗用网络资源 Web服务器 应用服务器缓存服务器 余票查询/计算服务器 4....,最耗系统资源;其他适合放在公有提供服务有三大服务器集群,Web服务器集群,应用服务器缓存集群,和余票查询/计算集群。...综合上述的分析,推测和描绘12306混合的架构如下图: 12306两地三中心,混合架构 四、12306两地三中心混合探讨 12306两地三中心的混合架构是目前国内规模最大,业务系统最复杂的混合服务

3.1K90

12306破解!

聊到验证码,简单的看图输入型的数字验证码,英文验证码,中文验证码,都已经被爬虫工程师机灵的攻克了,孕育而生的又有需要按照图片显示的数据公式进行计算后输入结果的验证码,以及非常有名的12306魔鬼点选验证码...本篇就针对12306的点选验证码进行讲解和破解。让我们一起来学习一下。 ? 点选验证码是近代用于验证是否为人类的一种措施之一。...回到12306的验证码,验证码所显示的图片类型是完全随机的,一会是洗洁精图片,一会是黑板的图片,一会是玛雅神殿的图片,对于一般的开发者来说,不可能通过深度学习训练出一个适合12306的图片预测器,因为数据量实在是太大了...总结 在这篇文章里,我们针对“12306”魔鬼验证码进行了实验。可以看到精度还是相当高的,确实是给爬虫操作解决了大麻烦。

1.7K40
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    你也认为12306。。。

    今天,12306数据泄露莫名其妙地被炒起来了。。。这年头想火还真是简单。12306数据泄露传言是来自一个公众号,说暗网中贩卖12306数据。。。 ?...可信度分析 标题是泄露60W账户+410万联系人,从数据量来讲,这明显不是12306官方平台发生的数据泄露,因为实在太少了。12306好几亿人在用,这是常识,既然有能力脱裤,还不脱完???说不过去。...确实有一些测试数据,是真实的,那既然这些数据不可能是来自12306平台,那会来自哪里呢?...主要的途径不难想象: 旧数据 + 撞库+ 第三方抢票平台 旧数据 三四年之前12306平台登录机制过于简单,导致黑产进行“撞库”攻击,撞出来几十万条数据。...撞库 现在的12306的登录机制,挺变态了。直接去撞12306,然后识别恶心的验证码,说实话这种撞库,不是不可能,但是投入很大,和产出不成正比,黑产应该会理性一点。

    64740

    12306技术内幕

    “黄牛”的秘密武器是外挂,用最快的服务器不断地刷新和监控12306,刷票速度往往是正常购票的几十倍。 实际上,市面上通行的“抢票软件”,原理与“黄牛”并无本质区别。...还有至关重要一点是,假如完全用机器去堆,在实际业务峰值超出了初始评估量时,服务将面临无法完全承载而瘫痪,因为大规模服务器的采购、交付、部署到应用上线所耗费时间以月计,根本无法在业务量激增时"即插即用"。...淘宝/天猫大促的时候,也会增加服务器,但阿里的业务盘子大,这些新增的机器很快会被其他业务(包括阿里)消化掉,可能还不够。但是对于 12306来说,就比较难做到这一点。...在 2015 年的时候,12306 跟阿里达成合作,通过的弹性和“按量付费”的计量方式,来支持巨量的查询业务,把架构中比较“重”(高消耗、低周转)的部分放在上,将75%的余票查询业务切换到了阿里上...将余票查询模块和12306现有系统做分离,在上独立部署一套余票查询系统。 通过动态的计算,在高峰时段动态去扩容,可以达到分钟级的扩容,这样就避免在平时浪费大量的机器。

    26410

    python爬12306并买票_python开发12306抢票

    因为12306怎么可能允许你一直爬它呢 开发工具准备: 开发工具:PyCharm 内置模块:sys,time,datetime,os,json,re 第三方模块:PyQt5,pyqt5-tools,requests...通过正则表达式匹配处理相应的字符串 import os #判断某个路径下的某个文件 import requests #处理网络请求 def get_selling_time(): url='https://www.12306...time.text') #调用写入方法 def get_station(): #发送请求获取所有车站名称,通过输入的站名称转化查询地址的参数 url='https://kyfw.12306....cn/mormhweb/logFiles/error.html 也就是上面说的错误页面,就说明12306爬虫失败,你的ip应该被锁住了。....cn/index/otn/index12306/queryScSname' #表单参数,station参数为需要搜索车站的英文缩写 form_data={ "station_telecode":station

    2K40

    12306”的架构从头剖析

    12306 抢票,极限并发带来的思考 虽然现在大多数情况下都能订到票,但是放票瞬间即无票的场景,相信大家都深有体会。...尤其是春节期间,大家不仅使用 12306,还会考虑“智行”和其他的抢票软件,全国上下几亿人在这段时间都在抢票。...“12306 服务”承受着这个世界上任何秒杀系统都无法超越的 QPS,上百万的并发再正常不过了!...笔者专门研究了一下“12306”的服务端架构,学习到了其系统设计上很多亮点,在这里和大家分享一下并模拟一个例子:如何在 100 万人同时抢 1 万张火车票时,系统提供正常、稳定的服务。...调度器具有很好的吞吐率,将请求均衡地转移到不同的服务器上执行,且调度器自动屏蔽掉服务器的故障,从而将一组服务器构成一个高性能的、高可用的虚拟服务器

    99110

    12306抢票小助手

    # 依赖模型 自托管打码服务器搭建:12306_code_server version: "3" services: code_12306: image: yinaoxiong/12306...code_server ports: - 5002:80 #可以根据需要修改端口 environment: - WORKERS=1 #gunicorn works 默认为1可以根据服务器配置自行调整...设置为1或2都有些问题,建议设置为3 COOKIE_TYPE = 3 # 获取Cookie RAIL_EXPIRATION = "xxx" RAIL_DEVICEID = "xxx" # 此处设置打码服务器地址...,如果有自建的服务器,可以自行更改 HOST = "172.16.87.10:5002" REQ_URL = "/verify/base64/" HTTP_TYPE = "http" **关于无法安装tensorflow...登录网页版12306官网 网址旁边有个锁子 点击锁子>点击Cookie>点击12306.cn 在12306.cn的Cookie项下面找到RAIL_EXPIRATION和RAIL_DEVICEID 把值复制进去

    97431

    12306系统架构优化

    12306系统架构优化 coolshell陈皓优化方案 原文:http://coolshell.cn/articles/6470.html 一、业务复杂度比对 (1)qq业务模型:只访问自己的数据 (2...秒杀业务模型:秒杀能够只接受前N个请求,后续请求直接返回 (3)奥运会售票业务模型:注册+抽奖,非先来先抢,可以事后线下处理 (4)电子商务业务模型:c2c只需关注自己的库存 结论:库存是b2c的噩梦,12306...12306的业务特点是,突然放票,大家去抢。几十分钟内,马上几千万的访问量,非常恐怖(据说高峰访问是10亿PV,集中在早上8点到10点)。...风的BLOG优化方案 原文:http://blog.codingnow.com/2012/01/ticket_queue.html 一、核心思想:排队论,餐馆里拿到号的人才能进来吃饭 (1)生成一些签名过的...也会安心等待 曹政的和谐blog优化方案 原文:http://hi.baidu.com/ncaoz/item/9bdefa308f1bb7f3e7bb7a84 ( SK注:caoz同学很自信,2人2周,40台服务器搞定

    2.5K40

    服务器

    腾讯云云服务器简介 服务器(Cloud Virtual Machine,CVM)为您提供安全可靠的弹性计算服务。 只需几分钟,您就可以在云端获取和启用 CVM,来实现您的计算需求。...腾讯服务器地址点击打开 腾讯服务器特点 弹性计算 在腾讯上您可以在几分钟之内快速增加或删减服务器数量,以满足快速变化的业务需求。...管理简单 用户拥有腾讯 CVM 的管理员账号,对 CVM 有完全的控制权,您可以使用腾讯控制台、API 或 CLI 等工具登录到您的 CVM 实例,进行网络配置更改、重启等重要操作,这样管理 CVM...安全的网络 腾讯 CVM 运行在一个逻辑隔离的私有网络里,通过网络访问控制列表(Access Control List)和安全组,切实保证您上资源的安全性。...服务集成 CVM 与腾讯的大部分业务都可以做到高度集成,比如对象存储 COS,数据库 CDB,私有网络 VPC 等,合力在计算,存储,网络传输方面为用户的各种业务提供完善的解决方案。

    52.1K61

    12306抢票算法大曝光

    然而,你有没有想过12306的抢票算法是怎么实现的呢? 没有吧,想过,还是没有头绪? 今天,我们就来曝光让人又爱又恨的12306是如何实现抢票的。...OK,这只是位图的一个很简单的用法,位图还有很多高级的用法,比如统计活跃用户数、限流、权限控制等,当然,还有我们今天要曝光的12306抢票算法。...12306抢票算法 我们知道,一列火车,有很多个座位,可以到很多站,以北京到广州的一列火车G67为例: G67次列车一共有18个站,有的人可能到武汉就下车了,有的人可能到长沙下车,还有的人可能从武汉上车从衡山西下车...后记 本节,我们一起重温了位运算的操作,并学习了如何使用位图实现12306的抢票算法,关于位图,其实还有很多用途,比如,各种统计、限流、权限控制等。

    93420

    服务器如何配置?服务器如何加密?

    ,不过因为成本比较高很多中小型公司并不会选择,多数使用的都是服务器,那么服务器如何配置?...服务器如何加密?小编接下来就为大家来介绍一下相关的知识。 服务器如何配置? 服务器在使用过程中是需要进行配置各种参数的,那么服务器如何配置?...想要配置服务器首先大家要前往服务器购买的商户,根据相关的参数以及要求进行设置,后续使用过程中如果需要修改的话也是要到官方网站上面。 服务器如何加密?...很多人都会担心自己使用的服务器不安全,想要给服务器进行多重加密,首先服务器进行配置的时候会需要用户们设定账号和密码,这属于第一层保护,其次就是服务器也是需要加装防火墙的,很多用户们还会为自己的服务器安装相关的安全组件...相信大家看了上面的文章内容已经知道服务器如何配置了,不同公司需要的服务器类型也是不一样的,所以现在市面上的服务器类型也是很全面的,大家可以根据自己的需求去选择使用。

    67.7K20

    12306是怎么设计架构的

    12306 抢票,极限并发带来的思考 虽然现在大多数情况下都能订到票,但是放票瞬间即无票的场景,相信大家都深有体会。...尤其是春节期间,大家不仅使用 12306,还会考虑“智行”和其他的抢票软件,全国上下几亿人在这段时间都在抢票。...“12306 服务”承受着这个世界上任何秒杀系统都无法超越的 QPS,上百万的并发再正常不过了!...笔者专门研究了一下“12306”的服务端架构,学习到了其系统设计上很多亮点,在这里和大家分享一下并模拟一个例子:如何在 100 万人同时抢 1 万张火车票时,系统提供正常、稳定的服务。...调度器具有很好的吞吐率,将请求均衡地转移到不同的服务器上执行,且调度器自动屏蔽掉服务器的故障,从而将一组服务器构成一个高性能的、高可用的虚拟服务器。 3.

    2.3K40
    领券