背景 做一个功能,在有一批的数据的情况下,处理 内容-->图片,图片-->上传的逻辑。 一个数据集大概几百条数据。需求是可能同时处理几十、几百个数据集。在处理完数据后,需要做汇总处理。 过程 先撸代码在说...
学习札记
任务会重试处理,关于scheduleWithFixedDelay定时线程池的使用
需求 循环处理业务,当一个任务正常执行/延时执行后,顺延2s继续执行下一个。一个任务有点慢,所以就取5条吧。 Executors.newScheduledThreadPool()线程池的scheduleWithFixedDelay方法正好有这种处理机制。...
Window系统bat脚本或Linux系统shell脚本处理-钉钉-邮件等报警服务
有时候线上服务器或者什么乱七八糟的服务器突然停止、中断了。就需要有个监控来做告警。 最近公司在window系统上了做了个.net服务用来做图片转换,老是崩溃。所以业务使用中经常发现不明所以的问题。 公司用钉...
碰到的一个反爬场景,它吃光了对应机器的内存,导致应用服务也没法正常使用
记起以前获取数据的时候碰到过一个情况,用光了机器的内存,导致应用服务都无法正常使用,所以这里简单记录一下。 场景描述 - 做一些数据的分析,所以要抓点数据进行测试。于是分析目标网站之后,进行简单的编...
JAVA利用httpClient-jsoup-chromeDriver设置IP代理或者三方动态代理
之前尝试利用JAVA处理图片点选验证码失败【点击这里】,遂改变思路通过设置IP代理来达到效果。 首先在JAVA中设置代理可以通过httpClient设置,也可以通过Jsoup设置;当你使用了selenium工具进行模拟操作时,还可...
JAVA模拟点选验证码的简单尝试
上一篇JAVA使用selenium破解极验验证码(下载背景图+识别缺口+移动轨迹处理)实验完之后,感觉滑动挺好模拟的,那么其他的验证码方式应该也容易吧。 所以,就像试试点选验证码。但是这个复杂度感觉陡然上升了。测...
JAVA处理爬虫逻辑的相关信息整理、代码实现、逻辑整理
工作中偶然需要用到,于是有一些利用及学习。发现它是一个在某些方面很有效率的工具、比如功能测试、获取数据、分析业务等。python也许是爬虫的最优开发语言,但自己的主语言是Java,使用起来更得心应手一些。所...
java使用webmagic爬取网页内容的基本环境准备
谷歌和火狐的驱动程序下载,可以浏览器程序的版本相符,否则会出现一些奇怪的问题。 http://npm.taobao.org/mirrors/chromedriver/ https://github.com/mozilla/geckodriver/releases 这里使用的版本为 谷歌浏...
JAVA使用selenium破解极验验证码(下载背景图+识别缺口+移动轨迹处理)
验证码这是一个很好的防御发明,但总有人会破解掉它。包括它的各种变种。极验验证码就有很多公司使用。心血来潮,试试滑动类型的验证码。 这里使用的是官方测试地址 https://www.geetest.com/demo/slide-bind.ht...
JAVA生成图片验证码的简单代码实现(干扰线、字扭转、ocr识别)
还记的刚工作的时候,看到网上很多的网站都有图形验证码,感觉很是高级啊。所以就想到在公司内部使用的系统里添加这样一个功能。做完以后,看到登录界面出现了一个验证码图片,又是扭曲,又有干扰线,又有字母|数...
Arthas,一个JAVA项目分析/诊断工具在mac上的试用记录
之前看到的一个分析java项目的工具arthas,最近有时间试用整理下。用熟了就可以分析很多问题了,岂不美哉。虽然已经有很多分析工具 jvisualvm,jstat,jmap,jstack,Eclipse Memory Analyzer等。但可能不是大杂烩,...
Redis5.0支持的九种数据类型及使用场景整理(Redis学习笔记)
Redis简介 Redis是一个开源的,内存中的数据结构存储系统,它可以用作数据库、缓存和消息中间件。JAVA客户端是jedis。Redis6.0已经支持多线程了(面试提问单线程问题的时候要注意了)。 redis稳定版下载地址 Red...
redis sentinel的介绍,主要功能描述,如何启动运行,及多种部署方式等笔记整理
Redis Sentinel sentinel为redis提供高可用性(master-slave模式下, 多节点模式用集群)。使用故障转移请至少部署3个哨兵。每个sentinel是个独立运行的进程。 sentinel水平扩容时,数据迁移是个问题(要保证re...
排序算法的时间复杂度\空间复杂度比较,以及JAVA实现的整理(快排、选择、堆、归并、基数、冒泡、插入)
选择排序、快速排序、希尔排序、堆排序不是稳定的排序算法, 冒泡排序、插入排序、归并排序和基数排序是稳定的排序算法。 时间复杂度 O(n)这样的标志叫做渐近时间复杂度,是个近似值.各种渐近时间复杂度由小...
synchronized同步锁是什么?整理分析下这个一直没去细看,面试时问到又不会回答的问题
还在刚工作的时候,碰到了简单的并发问题,通过上网搜索,看到了synchronized关键字,往方法上一放,并发问题解决。由于没有很大很复杂的业务量,所以感觉很厉害的样子。 随着工作年限的增加,发现了问题原来不...