爬取网站一般用java和python 较多。python 作为当下势头正热的胶水语言，用来爬去网站内容再合适不过了，语法简介优雅，易入门，并可快速应用于案例。

那么如何爬取一个网站呢？

1. 首先需要分析网站结构，一般用Chrome 浏览器，分析自己需要爬取的内容位于哪个DIV，如果是网站作用了ajx技术，就需要爬取XHR了。
   
2. 对于一般要爬取的数据一般是用requests模块，使用简单，有丰富的中文文档，如果是大型项目建议用scripy, 是一个极其优秀的爬虫框架。
3. 对于爬取到的数据，当然是需要先清洗一边，用推荐用beautifulsoup这个包，上手简单。
4. 清洗后的数据需要导出存储，如果需要导出到表格可以用XlsxWrter。

---

随着越来越多的网站开始重视自己的数据信息，网站管理员都开始注重网站的反爬虫，验证码，按文字提示顺序点击图片等，越来越多的验证码让用户不厌其烦，而数据泄露仍旧是当下互联网的一大问题，有盾便有矛，爬虫和反爬虫技术本身也在不断的发展，反爬虫技术则需要在用户体验和网站安全性之间做一个很好的平衡。

以上。