记起以前获取数据的时候碰到过一个情况，用光了机器的内存，导致应用服务都无法正常使用，所以这里简单记录一下。 场景描述 - 做一些数据的分析，所以要抓点数据进行测试。于是分析目标网站之后，进行简单的编...

之前尝试利用JAVA处理图片点选验证码失败【点击这里】，遂改变思路通过设置IP代理来达到效果。 首先在JAVA中设置代理可以通过httpClient设置，也可以通过Jsoup设置；当你使用了selenium工具进行模拟操作时，还可...

上一篇JAVA使用selenium破解极验验证码(下载背景图+识别缺口+移动轨迹处理)实验完之后，感觉滑动挺好模拟的，那么其他的验证码方式应该也容易吧。 所以，就像试试点选验证码。但是这个复杂度感觉陡然上升了。测...

工作中偶然需要用到，于是有一些利用及学习。发现它是一个在某些方面很有效率的工具、比如功能测试、获取数据、分析业务等。python也许是爬虫的最优开发语言，但自己的主语言是Java，使用起来更得心应手一些。所...

谷歌和火狐的驱动程序下载，可以浏览器程序的版本相符，否则会出现一些奇怪的问题。 http://npm.taobao.org/mirrors/chromedriver/ https://github.com/mozilla/geckodriver/releases 这里使用的版本为 谷歌浏...

验证码这是一个很好的防御发明，但总有人会破解掉它。包括它的各种变种。极验验证码就有很多公司使用。心血来潮，试试滑动类型的验证码。 这里使用的是官方测试地址 https://www.geetest.com/demo/slide-bind.ht...

还记的刚工作的时候，看到网上很多的网站都有图形验证码，感觉很是高级啊。所以就想到在公司内部使用的系统里添加这样一个功能。做完以后，看到登录界面出现了一个验证码图片，又是扭曲，又有干扰线，又有字母|数...

问题描述 利用jsoup进行网页抓取时，通过document获取 element元素。但是中文内容会随机出现几个字符乱码。每次出现的位置还会不一样，如下 /禁毒办/艾���病署 处理过程 刚开始就以为是简单的编码...

jsoup解析url中的html元素 有时候需要通过解析不同网站的网站元素、数据等信息做些基本的调研或者分析。随着技术的不断发展及升级，很多网站已经升级使用vue或者相关前端框架作为首选。这样的话，使用jsoup...

Scrapy爬虫在抓取的时候，主要是根据页面元素结构进行解析。有多种方式，如：Jsoup、正则、xpath等解析。或者selenium自动化工具等。 Xpath XPath 是一门在 XML 文档中查找信息的语言。XPath 使用路径表达式...

Scrapy介绍 Scrapy是python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化数据。scrapy用途广泛，可以用于数据挖掘、检测和自动化测试。 Scrapy是一个为遍历爬行...

最近要做一些爬取数据的工作, 综合网上的信息python语言是不错的选择, 其中scrapy也是很多人的不二选择。所以这里学习记录下，做些数据爬取的准备   1先去下载python3.7.x版本(mac默认2.7安装报错) ...