python爬取网站的一些技巧总结

学习python也有一段时间了，今天整理了一份爬取网站数据的基本步骤分享给大家，对于很多爬虫高手来说可能没有什么意义，但是对新学爬虫的小伙伴来说可以参考下。爬取一个网站的数据整体是比较简单的，难度大小跟这个网站有关。以下就是一些小编整理的步骤： 1、设定爬取目标， 目标网站：微博 https://weibo.com/ 目标数据每天更新的热搜关键词的链接、标题、标签。 2、 分析目标网站 爬取页面：https://s.weibo.com/weibo?q=%E4%BF%9D%E7%A0%94&topic_ad= 待爬取数据：网页下的超链接的标题和链接，标签列表 目标网站反爬：网站反爬的方式有很多，都有应对策略，比如遇到网站限制IP访问次数时，只需要加上代理IP就可以轻松解决。代理IP的选择有很多，比如这里我们给大家示例代理使用方式的亿牛云代理。代理如何在程序里面添加，示例代码如下： Plain Text 复制代码 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 // 要访问的目标页面 string targetUrl = “http://httpbin.org/ip”;

// 代理服务器(产品官网 www.16yun.cn) string proxyHost = “http://t.16yun.cn”; string proxyPort = “31111”;

// 代理验证信息 string proxyUser = “username”; string proxyPass = “password”;

// 设置代理服务器 WebProxy proxy = new WebProxy(string.Format(“{0}:{1}”, proxyHost, proxyPort), true);

ServicePointManager.Expect100Continue = false;

var request = WebRequest.Create(targetUrl) as HttpWebRequest;

request.AllowAutoRedirect = true; request.KeepAlive = true; request.Method = “GET”; request.Proxy = proxy;

//request.Proxy.Credentials = CredentialCache.DefaultCredentials;

request.Proxy.Credentials = new System.Net.NetworkCredential(proxyUser, proxyPass);

// 设置Proxy Tunnel // Random ran=new Random(); // int tunnel =ran.Next(1,10000); // request.Headers.Add(“Proxy-Tunnel”, String.valueOf(tunnel));

//request.Timeout = 20000; //request.ServicePoint.ConnectionLimit = 512; //request.UserAgent = “Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.82 Safari/537.36”; //request.Headers.Add(“Cache-Control”, “max-age=0”); //request.Headers.Add(“DNT”, “1”);

//String encoded = System.Convert.ToBase64String(System.Text.Encoding.GetEncoding(“ISO-8859-1”).GetBytes(proxyUser + “:” + proxyPass)); //request.Headers.Add(“Proxy-Authorization”, "Basic " + encoded);

using (var response = request.GetResponse() as HttpWebResponse) using (var sr = new StreamReader(response.GetResponseStream(), Encoding.UTF8)) { string htmlStr = sr.ReadToEnd(); } 3、实现HTML解析，得到目标数据。获取数据需要进行清洗整理才能得到一份干净有效的数据。 4、将结果数据存储 这只是其的一些必要步骤，细分还有很多的步骤需要学习，但是我们只要掌握了整体框架，把这些都学透了那么爬虫就没有那么难了。