Scrapy爬虫在抓取的时候，主要是根据页面元素结构进行解析。有多种方式，如：Jsoup、正则、xpath等解析。或者selenium自动化工具等。 Xpath XPath 是一门在 XML 文档中查找信息的语言。XPath 使用路径表达式...

Scrapy介绍 Scrapy是python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化数据。scrapy用途广泛，可以用于数据挖掘、检测和自动化测试。 Scrapy是一个为遍历爬行...

最近要做一些爬取数据的工作, 综合网上的信息python语言是不错的选择, 其中scrapy也是很多人的不二选择。所以这里学习记录下，做些数据爬取的准备   1先去下载python3.7.x版本(mac默认2.7安装报错) ...