首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    分享-python爬虫遇到封IP+验证码+登陆限制,如何解决?

    现在国家在鼓励做大数据、全面进行数字化中国建设,很多企业包括很多有前瞻性的创业人都开始进军大数据,各种根据自己的擅长领域开始储备数据源,我们需要做大数据第一步就是利用网络爬虫技术解决数据源聚合问题。我2018年主要利用python3+mysql+cookie池+代理IP池自己研发了一套AI智能深度数据挖掘系统,主要是解决企业工商数据源、商标数据源、专利数据源、招标中标数据源、土地数据源、食品药品数据源等多种国家开放的数据源的聚合。当时在做企业工商数据源聚合挖掘时候遇到了封IP、验证码、还有会员登陆等等各种反爬机制,最终我通过各种技术方式解决了所有问题,下面将分享一下个人的一些经验。

    05

    高可用负载均衡架构:Nginx+Keepalived主从模式

    Keepalived 保证集群高可用 高并发:能够同时供多台机器访问 高可用:防止集群中的某个节点坏掉,而导致整个集群不能使用。 负载均衡:接收客户端的请求,服务端的响应。 最少两台 Keepalived 起初就是为了和lvs进行搭配使用,配合lvs对后端的集群进行健康检查,当后端的集群中有一个服务宕机,它会把这个服务剔除集群,保证集群的可用性。当后端服务器能够正常运行的时候,再将该服务加入到集群当中。 后来keepalived加上了vrrp协议 Vrrp协议 虚拟路由冗余协议 Keepalived为Lvs负载均衡服务器来做节点检查,实现高可用,避免单点故障。 负载均衡集群中,分为(master backup)如果发生故障,从节点将会在集群中选举出一个主来,来代替主的位置,主和从之间会发送特定的消息(这个消息的时间一般为1s),当从服务器接收不到主给的消息,就意味着主服务宕机,然后接替vip来进行工作,从而保障集群的高可用。当主修好时,会继续主的位置。

    01

    浅谈网络地址转换(NAT)

    随着网络的发展,公网IP地址的需求与日俱增。为了缓解公网IP地址的不足,并且保护公司内部服务器的私网地址,可以使用NAT(网络地址转换)技术将私网地址转化成公网地址,以缓解IP地址的不足,并且隐藏内部服务器的私网地址。 NAT通过将内部服务器的私网IP地址转换成全球唯一的公网IP地址,是内部网络可以连接到互联网等外部网络上。 NAT的实现方式有三种: 静态NAT(static translation) 动态转换(dynamic translation) PAT(port-base address translation,基于端口的地址转换) 其中常用到的是静态转换和PAT,动态转换不太实用。因为动态转换的话,我们拥有的公网IP地址要和局域网要上网的ip地址一样多。这是不现实的。所以这里就不说动态ip了。 静态转换是一对一(一个公网IP地址对应一个私网IP地址)、一对多(一个公网IP地址对应多个私网IP地址)的转换,主要是用于我们内部需要让外网客户访问的服务器会做静态转换,简单的静态转换只能一对一,可以通过NAT端口映射来实现一对多的转换。 一对一转换的实现过程如下: Router(config)#ip nat inside source static 192.168.1.1 20.0.0.2 #将内网ip地址192.168.1.1在与外网通信时转换为20.0.0.2

    03
    领券