页面解析和数据处理
爬虫一共就四个主要步骤:
1.明确目标 (要知道你准备在哪个范围或者网站去搜索)
2.爬 (将所有的网站的内容全部爬下来)
3.取 (去掉对我们没用处的数据)
4.处理数据(按照我们想要的方式存储和使用)
一般来讲对我们而言,需要抓取的是某个网站或者某个应用的内容,提取有用的价值。内容一般分为两部分,非结构化数据和结构化数据。
非结构化数据:先有数据,再有结构。
结构化数据:先有结构,再有数据。
相关推荐:《Python视频教程》
1.非结构化的数据处理
1.文本、电话号码、邮箱地址 -->正则表达式 2.HTML文件 -->正则表达式,XPath,CSS选择器
2.结构化的数据处理
1.JSON文件 -->JSON Path -->转化成python类型进行操作 2.XML文件 -->转化成python类型(xmltodict) -->XPath -->CSS选择器 -->正则表达式
相关推荐:
Python爬虫正则表达式如何使用
常见问题FAQ
- 免费下载或者VIP会员专享资源能否直接商用?
- 本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
- 提示下载完但解压或打开不了?
- 找不到素材资源介绍文章里的示例图片?
- 模板不会安装或需要功能定制以及二次开发?
发表评论
还没有评论,快来抢沙发吧!