爬虫用java还是python

python流行起来，从某程序员聚集的网站来看 python爬虫教程满天飞。著名的scrapy便是python开发的。

python开发爬虫非常灵活，最适合一次性采集数据，写几行代码就可以把初步结构化的数据库入库。urllib、requests、beautifulsoup等模块可以轻松构建一个基本的采集程序。

使用python时会遇到中文乱码问题，window开发 Linux 部署乱码问题会让你感觉更棘手，最好统一开发部署环境，有钱公司用macbookpro,没钱装个ubuntu。

python遇到复杂的js是表现和java差不多，你都会想自己实现一个浏览器，phantomjs 不够稳定，中介再加上一层selenium 写写demo还可以

也有人用node.js 开发爬虫，自带V8 引擎，乍一看可以推平所有带js 的页面，node本身是为了js 实现后台来设计的，对于信息采集，node和python 和java 没有本质区别，js 引擎和浏览器引擎并不是一个东西，倒是有牛人用开源浏览器实现了一套浏览器采集程序，不过这牛人有时间折腾，一般公司招不到这种人，也没时间给你折腾，即便你折腾出来了，后续也没人接。

chrome的无头浏览器出来了，遇到复杂的js 页面可以少折腾。

最终使用哪种语言开发企业级采集应用，需要考虑多种因素。

主流的还是java和python，java 比python繁琐，python比java招人难。node适合做过前端的高手。更多学习内容，请点击Python学习网。