Selenium+PhantomJS+python怎么实现爬虫功能

这篇文章主要讲解了“Selenium+PhantomJS+python怎么实现爬虫功能”，香港云主机文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“Selenium+PhantomJS+python怎么实现爬虫功能”吧！一、简介
selenium是一个用于Web应用自动化程序测试的工具，测试直接运行在浏览器中，就像真正的用户在操作一样
selenium2支持通过驱动真实浏览器（FirfoxDriver，IternetExplorerDriver，OperaDriver，ChromeDriver）
selenium2支持通过驱动无界面浏览器（HtmlUnit，PhantomJs）
二、安装
Windows
第一种方法是：下载源码安装，解压并把整个目录放到C:Python27Libsite-packages下面
第二种方法是：可以直接在C:Python27Scripts 下输入命令安装pip install -U selenium
PhantomJS
一、简介
PhantomJS 是一个基于 WebKit（WebKit是一个开源的浏览器引擎，Chrome，Safari就是用的这个浏览器引擎）的服务器端 JavaScript API，主要应用场景是：无需浏览器的 Web 测试，页面访问自动化，屏幕捕获，网络监控
二、安装
Windows
下载源码安装，解压并把解压缩的路径添加到环境变量中即可，我自己的放到了C:Python27Scripts 下面
Linux
Selenium + PhantomJS + python 简单实现爬虫的功能
python可以使用selenium执行javascript，selenium可以让浏览器自动加载页面，获取需要的数据。selenium自己不带浏览器，可以使用第三方浏览器如Firefox，Chrome等，也可以使用headless浏览器如PhantomJS在后台执行。
在工作用遇到一个问题,当加载一个手机端的URL时候，会加载不上，需要我们在请求头中设置一个User-Agent，设置完以后就可以打开了（Windows下执行，linux下执行的话就不用加executable_path=’C:Python27Scriptsphantomjs.exe’）一、超时设置
webdriver类中有三个和时间相关的方法：
1.pageLoadTimeout 设置页面完全加载的超时时间，完全加载即完全渲染完成，同步和异步脚本都执行完
2.setScriptTimeout 设置异步脚本的超时时间
3.implicitlyWait 识别对象的智能等待时间
下面我们以获取校花网title为例来验证效果，因为校花网中图片比较多，所以加载的时间比较长，更能时间我们的效果（另一原因我就不说了，这样才能让我们学起来带劲，哈哈！！！）二、元素的定位
对象的定位是通过属性定位来实现的，这种属性就像人的身份证信息一样，或是其他的一些信息来找到这个对象，那我们下面就介绍下Webdriver提供的几个常用的定位方法上面这个是百度的输入框，我们可以发现我们可以用id来定位这个标签，然后就可以进行后面的操作了
三、浏览器的操作
1、调用启动的浏览器不是全屏的，有时候会影响我们的某些操作，所以我们可以设置全屏2、设置浏览器宽、高3、操作浏览器前进、后退
四、操作测试对象
定位到元素以后，我们就应该对相应的对象进行某些操作，以达到我们某些特定的目的，那我们下面就介绍下Webdriver提供的几个常用的操作方法
五、键盘事件
1、键盘按键用法2、键盘组合键使用六、中文乱码问题
selenium2 在python的send_keys（）中输入中文会报错，其实在中文前面加一个u变成unicode就能搞定了
七、鼠标事件
1、鼠标右击2、鼠标双击　
感谢各位的阅读，以上就是“Selenium+PhantomJS+python怎么实现爬虫功能”的内容了，经过本文的学习后，相信大家对Selenium+PhantomJS+python怎么实现爬虫功能这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是开发云，小编将为大家推送更多相关知识点的文章，欢迎关注！

相关推荐: PhotoMarks for Mac是一款什么软件

这篇文章主要为大家展示了“PhotoMarks for Mac是一款什么软件”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“PhotoMarks for Mac是一款什么软件”这篇文章吧。在寻找图像批量添加水印软件吗…