我们在做网页抓取的时候，一般来说使用urllib和urllib2就能满足大部分需求。
但是有时候我们遇见那种使用js动态加载的网页。就会发现urllib只能抓出一个部分内容空白的网页。就像下面百度图片的结果页：
相关推荐：《Python基础教程》
审查元素之后，发现百度图片中，显示图片的div为：pullimages
这个div里面的内容是动态加载的。而使用urllib&urllib2是抓取不到的。
要抓取动态加载的元素，首先考虑使用selenium来调用浏览器进行抓取。
而我们运行的环境是linux，最理想的方法是在无界面情况下进行抓取，所以使用selenium+phantomjs来进行无界面抓取。
phantomjs是什么呢？它是一个基于webkit内核的无头浏览器，即没有UI界面，即它就是一个浏览器。
selenium和phantomjs的安装配置可以google，这里就略过不谈了。
代码如下：
from selenium import webdriver
driver = webdriver.PhantomJS(executable_path='/bin/phantomjs/bin/phantomjs')
#如果不方便配置环境变量。就使用phantomjs的绝对路径也可以
driver.get('http://image.baidu.com/i?ie=utf-8&word=%E5%91%A8%E6%9D%B0%E4%BC%A6')
#抓取了百度图片，query：周杰伦
driver.page_source
#这就是返回的页面内容了，与urllib2.urlopen().read()的效果是类似的，但比urllib2强在能抓取到动态渲染后的内容。
driver.quit()到这里。就抓取动态页面成功了。
常见问题FAQ
- 免费下载或者VIP会员专享资源能否直接商用？
- 本站所有资源版权均属于原作者所有，这里所提供资源均只能用于参考学习用，请勿直接商用。若由于商用引起版权纠纷，一切责任均由使用者承担。更多说明请参考 VIP介绍。
- 提示下载完但解压或打开不了？
- 找不到素材资源介绍文章里的示例图片？
- 模板不会安装或需要功能定制以及二次开发？
发表评论
还没有评论，快来抢沙发吧！