在Linux服务器被攻击的时候，有的时候会有几个主力IP。如果能拒绝掉这几个IP的攻击的话，会大大减轻服务器的压力，说不定服务器就能恢复正常了。
我的一个地方站（www.cxzaixian.com）曾经遇到过被无故断网的事情，阿里云给的原因是绑定了未备案的域名。
iptables是一个linux的基础组件，主要应用于防火墙应用，例如禁止某IP访问，或者禁止一些端口，提升网站的安全性。一般情况下，系统默认就会安装，如果没有安装，可自行安装。 yum install iptables #centos系统 apt-get install iptables #debian/ubuntu系统 一、先说一下几个常用命令： service iptables -status #查看iptables是否运行 iptables -F #大写F，清空当前所有规则 iptables-sav
Nginx实现灰度发布的功能 1. 对URL进行单独的过滤发布 upstream A { ip_hash; server 10.0.XX.XX:9000; server 10.0.XX.XX:9010; } upstream B { #server 10.0.5.76:9000; server 10.0.5.76:9010; } server { listen 80; server_n
你在爬虫的时候，是否会经常的担心IP被封掉呢？ 或者说，在使用免费IP的时候，并不知道那个IP是不是已经被封了。
在Linux下，使用ipteables来维护IP规则表。要封停或者是解封IP，其实就是在IP规则表中对入站部分的规则进行添加操作。
细心的小伙伴应该知道上次小编发布了一篇关于IP代理的文章，基于Python网络爬虫技术，主要介绍了去IP代理网站上抓取可用IP，并且Python脚本实现验证IP地址的时效性，如遇到爬虫被禁的情况就可以用文章中的办法进行解决。如果没有来得及上车的小伙伴，可以戳这篇文章看看：手把手教你用免费代理ip爬数据。
对于大批量的爬取数据的时候，我在第五篇做并发爬虫的时候就发现了，第一篇提供的那个免费代理很多都已经被封掉了。
之前，听道友们讲Linux服务器被入侵、被挂马等等，当时感觉很不可思议，怎么会轻轻松松被入侵呢？安全防护得多low！(不过，这次并未打脸，被入侵的是大数据的机器，不归运维管理)
对于MJ12bot爬虫蜘蛛要看抓取次数是否很多，如果抓取次数很多，而且网站访问速度有所降低的话，就屏蔽掉，另外这种还有可能是其他采集软件伪装的搜索引擎制作，通过nslookup反查一下IP地址，如果是采集软件伪装的蜘蛛，立马封掉。
今天，我们讲讲用远程工具来管理我们的Linux，以及一些常用的网络命令。如果没还没学过基本的Linux命令以及网络配置，可以看我前两篇文章哦。
ping、traceroute、mtr这三个都是Linux下查看本机或服务器网络状态等所用的命令，下面一一介绍：
作者：13 GitHub：https://github.com/ZHENFENG13 版权声明：本文为原创文章，未经允许不得转载。 前言 承接前文《短信发送接口被恶意访问的网络攻击事件(一)紧张的遭遇战险胜》，在解决了短信发送的问题后，长长地舒了口气，也就各忙各的事情去了，本以为应该是个完美的收场，哪知道只是泥泞道路的前一段，收场是收不了了，还是要去应付接下来的烂摊子，因为攻击者并没有停止攻击，虽然恶意请求已经可以被识别并且不会被业务服务器处理，也不会去触发短信发送接口，但是请求依然会源源不断的到达服
SYN Flood介绍 前段时间网站被攻击多次，其中最猛烈的就是TCP洪水攻击，即SYN Flood。 SYN Flood是当前最流行的DoS（拒绝服务攻击）与DDoS（分布式拒绝服务攻击）的方式之一，这是一种利用TCP协议缺陷，发送大量伪造的TCP连接请求，常用假冒的IP或IP号段发来海量的请求连接的第一个握手包（SYN包），被攻击服务器回应第二个握手包（SYN+ACK包），因为对方是假冒IP，对方永远收不到包且不会回应第三个握手包。导致被攻击服务器保持大量SYN_RECV状态的“半连接”，并且会重试默认
什么是爬虫和反爬虫？ 爬虫：使用任何技术手段，批量获取网站信息的一种方式。 反爬虫：使用任何技术手段，阻止别人批量获取自己网站信息的一种方式。 常见的反爬虫机制 通过UA 识别爬虫 有些爬虫的UA是
Windows系统下，ipconfig加上/all参数，可查看本机的IP地址、掩码、默认网关、DHCP和DNS服务器等信息。Linux或Mac系统下，请使用ifconfig命令代替。
当我们大量的处理爬虫的时候,我们的IP地址容易被封掉 这个时候我们就需要代理IP来帮助我们完成接下来的任务了
最近为了使用redis，配置远程连接的使用需要使用iptable是设置允许外部访问6379端口，但是设置完成后重启总是失效。因此百度了一下如何设置永久生效，并记录。
反爬虫常见套路 判断user-agent 校验referer头 校验cookie 同一IP访问次数限制 js/ajax动态渲染页面 反反爬虫应对策略 1、user-age
nginx配置防止域名恶意解析 为什么要禁止ip访问页面呢? 这样做是为了避免其他人把未备案的域名解析到自己的服务器IP，而导致服务器被断网，我们可以通过禁止使用ip访问的方法，防止此类事情的
今天教大家去爬取下厨房的菜谱 ，保存在world文档，方便日后制作自己的小菜谱。
今天有一个童鞋，使用AB脚本来攻击小夜博客，算是小白级别的。写个教程，记录一下，如果再有同学问这个问，直接扔给他就行。 一、首先观测到对方是使用apachebech来攻击你。 这个查看nginx日志，非常明显。cat ssl.vpsmm.log 一片带有ab的ua 二、使用nginx设置，301掉所有ab过来的访问 if ($http_user_agent ~* ApacheBench ) { rewrite ^(.*)$ http://www.baidu.com/ permanent; } 三、设置脚本
做过网站的人都清楚，如果要将一个网站发布到公网上，一般会用到http80端口，这也是默认的网站端口。这个端口网络运营商不会轻易给你开放，工信部要求，凡是域名用作网站使用，只有当域名做过备案后，运营商才会给你开80，可以简单的认为把你的域名和IP地址做个记录，万一的网站有什么问题，可能直接就将你的IP封掉，由此可见你还必须有一个固定公网IP才可以备案。
继上次服务器被黑之后，今天发现又一次被黑进当成挖矿肉鸡（当然不是同一台啦），从CPU使用率报警90%之后，登陆服务器发现有一个进程达到了100%之上，请看下图：
cubieboard3(cubietruck)板子、塑料壳、ttl线、usb数据线 + 山寨apple usb充电头
爬虫这两年貌似成为了一项必备技能，无论是搞技术的，做产品的，数据分析的，金融的，初创公司做冷启动的，都想去抓点数据回来玩玩。这里面绝大多数一共都只抓几万或几十万条数据，这个数量级其实大可不必写爬虫，使用 chrome 插件 web scraper 或者让 selenium 驱动 chrome 就好了，会为你节省很多分析网页结构或研究如何登陆的时间。
现在在疫情阶段，想找一份不错的工作变得更为困难，很多人会选择去网上看招聘信息。可是招聘信息有一些是错综复杂的。而且不能把全部的信息全部罗列出来，以外卖的58招聘网站来看，资料整理的不清晰。
今天使用了他的服务器优化功能，基本上点了一键优化，网站出现无法访问的现象，报错“ERR_CONNECTION_TIMED_OUT”。
聊聊并发与并行 并发我们经常提及之，不管是web server，app并发无处不在，操作系统中，指一个时间段中几个程序处于已经启动运行到完毕之间，且这几个程序都是在同一处理机上运行，并且任一个时间点只有一个程序在处理机上运行。很多网站都有并发连接数量的限制，所以当请求发送太快的时候会导致返回值为空或报错。更有甚者，有些网站可能因为你发出的并发连接数量过多而当你是在恶意请求，封掉你的ip。 相对于并发，并行可能陌生了不少，并行指一组程序按独立异步的速度执行，不等于时间上的重叠（同一个时刻发生），通过增加cpu
前一两年抓过某工商信息网站，几三周时间大约抓了过千万多万张页面。那时由于公司没啥经费，报销又拖得很久，不想花钱在很多机器和带宽上，所以当时花了较多精力研究如何让一台爬虫机器达到抓取极限。
Nginx防盗链 vim /usr/local/nginx/conf/vhost/test.com.conf 配置如下，可以和上面的配置结合起来： location ~* ^.+\.(gif|jpg|png|swf|flv|rar|zip|doc|pdf|gz|bz2|jpeg|bmp|xls)$ { expires 7d; valid_referers none blocked server_names *.test.com ; //定义白名单 if ($invalid_re
有一个自己的代理ip池，并且经常去维护它的话，自身的ip就没那么容易被封掉， 下面是检测代理ip是否可用的方法， 原理是从我存入数据库的ip中提取出所有的ip逐个去检测，（访问一个稳定的网站，如果返回200就视为可用） 如果可用的话就保留，如果不可用就调用delete方法，从数据库中删除掉。 这就是筛选的方式，挺简单的，那么肯定会有人问，爬取的过程和这个步骤一起做了不行吗？ emm答案是肯定行的，因为我爬取西刺代理被封过一次ip，爬取速度太快了，所以我还是分步吧。 封一次ip又要等几天。很烦。。。。。。。。
CPA之家app推广平台是国内很大的推广平台。该网址的数据信息高达数万条，爬取该网址的信息进行数据的分析。
我招谁惹谁了呀，烦死了。昨天半夜11点收到报警短信，搞到了半夜12点，太耽误我睡觉了。
一个小伙伴找到我，说新做的创业项目刚有点起色，每天断断续续有了收入。这几天，莫名其妙的就没法访问了，要不就卡得要死。也不知道什么原因？让我帮忙看看。
大家都知道金三银四是每年的求职高峰期，是中国招聘市场中最热门的季节之一。这段时间内，许多公司会发布大量的招聘信息，吸引大批求职者前来应聘。同时，也有许多人选择这个时候跳槽，因为这个时候找到新工作的机会相对较大。
boos直聘，想必对于找工作的同志都非常熟悉，以其＇招人快 人才多 匹配准 公开透明＇等优点位居行业的前沿，今天我们就用scrapy框架配合selenium进行岗位，薪资．待遇，公司 等信息进行爬取。boss直聘网站: www.zhipin.com 我想爬取过这个网站的同学都知道他的反爬还是很讨厌的，信息都是用cookies渲染生成的，cookies时效很短，很快就失效了，快速访问还会封掉你的ip ，封了ip第一反映就使用代理吧，有时候使用代理你就会发现，会提示ip异常，然后进验证 并且需要接入接码平台了。当然这些都是在获取比较详细的信息的前提下，如果我们只是访问首先信息就没有那么大的难度了，这种情况下我们就直接加上代理IP就搞定了。不过也需要高质量的代理IP才可以，比如由亿牛云提供的隧道IP，我们可以示例下使用隧道IP获取数据的成功率是什么样的。简单示例如下：
Linux中traceroute 命令用于显示数据包到目的主机的路径 Windows中路由追踪命令是tracert。
最近我的网站流量呈上升的趋势，经常被同行恶意攻击，但是我的网站还是没有垮，我就详细给遇到和我同样问题的朋友们分享我的网站到底是如何防御住黑客攻击的，因为正常的情况下，我们的客户端发送请求到达服务器端，如果你服务器没有处理好高频并发访问的话，很有可能被别人攻击，一旦被攻击之后，有可能你的服务器会瞬间CPU标高，标高之后，整个服务器直接瘫了垮了，那我们到底应该怎么去防御这种情况。
八、九月份是一年中的求职高峰期，一大波应届毕业生涌入市场，加上疫情因素下，很多行业都没有那么景气，很多人应届生表示想要找到理想工作变得难上加难！ 现在大家找工作都是通过各种招聘app,信息全部罗列出来，可是招聘信息有一些是错综复杂的。而且不能把全部的信息全部罗列出来,这样也让人很苦恼，所以今天我们就通过爬虫技术，为大家解决这个问题。首先我们的爬取目标是获取招聘信息，并批量把地点、 公司名、工资 、等详细资料做成文档。这里我们就以boss直聘为例。在获取数据之前简单的对网站进行了分析，该网站上的反爬主要有两点。1、 直接使用requests库，在不设置任何header的情况下，网站直接不返回数据。2、同一个ip连续访问多次，直接封掉ip。 为了解决这两个问题，最后经过研究，使用以下方法，可以有效解决。1、获取正常的 http请求头，并在requests请求时设置这些常规的http请求头。2、使用代理IP进行访问。代理IP的选择比较多，比如现在我们使用的亿牛云代理，简单实现过程如下：
traceroute是用来检测发出数据包的主机到目标主机之间所经过的网关数量的工具。traceroute的原理是试图以最小的TTL（存活时间）发出探测包来跟踪数据包到达目标主机所经过的网关，然后监听一个来自网关ICMP的应答。发送数据包的大小默认为38个字节。
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
通过traceroute我们可以知道信息从你的计算机到互联网另一端的主机是走的什么路径。当然每次数据包由某一同样的出发点（source）到达某一同样的目的地(destination)走的路径可能会不一样，但基本上来说大部分时候所走的路由是相同的。linux系统中，我们称之为traceroute,在MS Windows中为tracert。 traceroute通过发送小的数据包到目的设备直到其返回，来测量其需要多长时间。一条路径上的每个设备traceroute要测3次。输出结果中包括每次测试的时间(ms)和设备的名称（如有的话）及其IP地址。
上两个章节熟悉并了解了什么是防火墙，防火墙的工具iptables以及iptables原理和应用。这一篇是具体的详细实验操作。
今天一台服务器突然停了，因为是阿里云的服务器，赶紧去阿里云查看，发现原因是阿里云监测到这台服务器不断向其他服务器发起攻击，便把这台服务器封掉了 明显是被入侵做为肉鸡了 处理过程 （1）查看登陆的
举例来说，我开了一家餐厅，正常情况下，最多可以容纳30个人同时进餐。你直接走进餐厅，找一张桌子坐下点餐，马上就可以吃到东西。
做自媒体博主时间久了，就会遇见各种各样的粉丝问一些问题，这些问题就是内行看着很简单，外行感觉一脸懵。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
