Selenium+PhantomJS抓取数据

Selenium在前面的一篇文章中说过是一种浏览器自动化测试的工具，可以利用浏览器的驱动去控制浏览器访问网站，从

而模拟浏览行为抓取数据，这种方式可以抓到更多的数据，但是效率不是很高，而且浏览器的页面必须一直开着，比较

吃资源。最近看到了一个无页面的浏览器PhantomJS，访问网站效率高，速度快，无页面全后台抓取数据，而且可以和

Selenium结合使用个性化定制网站的数据抓取，下面会详细讲一下Selenium与PhantomJS在vs2013中是如何抓取数据

的，以携程网的酒店数据为例。

首先下载Selenium的dll文件和PhantomJS资源，在我的资源中都已经上传了地址在这里~

http://download.csdn.net/detail/u013407099/9687589

然后引用Selenium中的4个dll文件，将PhantomJS中bin目录下的exe文件放到工程目录下就好了

第一步我们先初始化PhantomJS类型的Selenium中的driver来控制浏览器

var driver = new OpenQA.Selenium.PhantomJS.PhantomJSDriver("../../Phantomjs");

第二步就让这个drivier去访问我们想要访问的地址

 driver.Navigate().GoToUrl("http://hotels.ctrip.com/citylist");

第三步先在浏览器中访问这个网址，观察网页的DOM结构的规律，去将所有的城市的酒店列表地址所在的元素获取到，也就是使用css选择器来筛选DOM结构

  //锁定留个城市名模块             ReadOnlyCollection<IWebElement> elements = driver.FindElementsByClassName("des_cont");             foreach (var e in elements)             {                 //每个字母对应的城市集合                 ReadOnlyCollection<IWebElement> hreflist = e.FindElements(By.TagName("a"));                 foreach (var h in hreflist)                 {                     string cityname = h.GetAttribute("innerHTML");                     string hotellisthref = h.GetAttribute("href");                     Console.WriteLine(cityname + hotellisthref);                     City city = new City(cityname, hotellisthref);                     if (!list.Contains(city))                     {                         list.Add(city);                     }                 }             }

因为携程网的城市按字母排序的，而且切换字母时的数据就是在一个页面中，所以可以一次性把所有的城市对应的酒店介绍地址获取到，下面就可以去分别访问每个城市的酒店列表，获取每个酒店更加详细的信息 ，这里因为单线程比较慢，所以开了多线程去跑，跑多线程的时候原来想把每个城市建一个文本文件记录的，但是多线程的执行方式会是的有很多重复数据写入（坑了自己好久），所以就将数据分组，然后一组一个文本文件就好了

分组代码：

  int p = 10;             //商             int value = list.Count / 10;             //余数             int remainder = list.Count % 10;             List<List<City>> citylist = new List<List<City>>();             for (int i = 0; i < p; i++)             {                 List<City> grouplist = new List<City>();                 if (i < p - 1)                 {                     for (int j = i * value; j < value * (i + 1); j++)                     {                         grouplist.Add(list[j]);                     }                 }                 else                 {                     for (int j = i * value; j < list.Count; j++)                     {                         grouplist.Add(list[j]);                     }                 }                 string filename = "../../Data/File/Cash" + DateTime.Now.ToString("yyyyMMddHHmmss") + "_" + i + ".txt";                 File.Create(filename);                 cachelist.Add(filename);                 citylist.Add(grouplist);             }

获取每个酒店的详细页面地址

  public async Task<string> StartDetailTask(List<City> list, string CacheFileName)         {             return await Task.Run(() =>              {                  var driver = new OpenQA.Selenium.PhantomJS.PhantomJSDriver("../../Phantomjs");                  var result = string.Empty;                  try                  {                      foreach (var city in list)                      {                          driver.Navigate().GoToUrl(city.Url.ToString());                          ReadOnlyCollection<IWebElement> elements = driver.FindElementsByClassName("searchresult_name");                          foreach (var e in elements)                          {                              IWebElement w = e.FindElement(By.TagName("a"));                              string hotelname = w.GetAttribute("title");                              string allhref = w.GetAttribute("href");                              //string hotelhref = allhref.Substring(0, allhref.IndexOf('?') - 1);                              result += hotelname + "|" + allhref + "\r\n";                              Console.WriteLine(hotelname + allhref);                              StreamWriter sw = new StreamWriter(CacheFileName);                              try                              {                                  sw.Write(result);                              }                              catch (Exception)                              {                                  throw;                              }                              finally                              {                                  sw.Flush();                                  sw.Close();                              }                          }                      }                  }                  catch (Exception e)                  {                      Console.WriteLine(e.StackTrace); ;                  }                  finally                  {                      driver.Close();                      driver.Quit();                  }                  return result;              });

在访问 的过程中可以设置PhantomJS的一些属性，比如HideCommandPromptWindow属性可以控制是否弹出PhantomJS的命令框，LoadImages可以控制是否加载页面图片等

最后一步就是获取每个酒店的详细评论了，在获取房间评论的过程中因为网站需要滑动才会动态加载完毕，从而选择切换到评论，所以需要人为的控制窗口滑动

  var driver = new PhantomJSDriver(driverService);             //var driver = new ChromeDriver(@"C:\Program Files (x86)\Google\Chrome\Application");             driver.Navigate().GoToUrl("http://hotels.ctrip.com/hotel/434938.html");             //滚动到底部             Actions action = new Actions(driver);             for (int i = 0; i < 4; i++)             {                 action.MoveToElement(driver.FindElementByClassName("gns")).Perform();             }

其中“gns”是网站的底部一个元素的class，来定位网站的底部在哪里，然后控制div的店家来切换到评论窗口

   //切换到评论             driver.FindElementById("commentTab").Click();

最后来抓取详细评论

  //评论集合             ReadOnlyCollection<IWebElement> commentlist = driver.FindElementsByCssSelector("div[class^='comment_block']");             foreach (var comment in commentlist)             {                 Console.WriteLine("用户账号:" + comment.FindElement(By.ClassName("name")).FindElement(By.TagName("span")).GetAttribute("innerHTML"));                 Console.WriteLine("用户评分：" + comment.FindElement(By.ClassName("score")).FindElement(By.ClassName("n")).GetAttribute("innerHTML"));                 Console.WriteLine("入住时间:" + comment.FindElement(By.ClassName("date")).GetAttribute("innerHTML"));                 Console.WriteLine("房间类型:" + comment.FindElement(By.CssSelector("a[class^='room J_baseroom_link']")).GetAttribute("innerHTML"));                 Console.WriteLine("详细评论" + comment.FindElement(By.ClassName("J_commentDetail")).GetAttribute("innerHTML"));                 Console.WriteLine();             }

在这个过程中有一个问题没有解决，就是只能抓取5条评论，即使设置了等待时间或者等待条件也没有用，而等待条件的设置与chromedriver配合确可以完美解决，如果大家有什么好的解决方法可以提给我哦，等待条件的设置给大家看一下

  //等待加载完毕             WebDriverWait wait = new WebDriverWait(driver, TimeSpan.FromSeconds(5));             wait.Until<bool>((d) =>             {                 return d.FindElement(By.XPath("//*[@id='commentList']")).Displayed && d.FindElement(By.XPath("//*[@id='hotel_info_comment']/div[@id='commentList']")).Displayed                     && !d.FindElement(By.XPath("//*[@id='hotel_info_comment']/div[@id='commentList']")).Text.Contains("点评载入中");             });