现在开始要学习使用Python进行动态爬虫了,而Selenium是来进行动态爬虫的一种工具
介绍Selenium
众所周知很多网站的内容需要登录后能去获取他们的内容,这个时候我们就需要先登录进去,所以就有了这篇模拟登录文章
模拟登录我们要使用到 自动化测试工具,这个工具需要另行安装,如果你是使用 ,你可以直接去setting中点击一键安装,
然后还要去下载浏览器驱动,这里我推荐使用Firefox,因为相对Chrome来说,它是没有版本限制的,不容易出错. Firefox 直接百度就能下载,有一个推荐下载的, Firefox的驱动也可以百度一下 下载后安装,最后要记得设置环境变量,不然会带来一系列麻烦与错误的,所以这里切记一定要设置。
webdriver.Firefox() 这是获取Firefox浏览器的驱动,
元素.click()这是模拟网页的某个控件的点击事件
元素.clear() 清除元素的值
元素.send_keys(username) 给元素赋值
元素定位
再说一下元素的定位方法,元素的定位方法有很多种,下面我列举一下,这些方法看单词就能明白意思.
find_element_by_id
find_element_by_name
find_element_by_xpath
find_element_by_link_text
find_element_by_partial_link_text 通过部分超连接文本定位
find_element_by_tag_name
find_element_by_class_name
find_element_by_css_selector
窗口切换
切换window
driver.switch_to_window('windowname')
切换frame
driver
弹窗处理
alert = driver.switch_to_alert()
alert.dismiss
使用Selenium来模拟登录知乎
说明:这种模拟登录还不怎么完全,因为这没有涉及到验证码的操作,如果设计到了登录需要输入验证码,就更复杂了。后面我会进一步讲解.
领取专属 10元无门槛券
私享最新 技术干货