背景说明 由于目标页面是vue结构写的，所以无法用urlConnection获取获取连接后，使用Document/Jsoup等解析。页面元素是通过js动态渲染出来的。后来尝试通过webMagic框架，配合selenium\Chrome等进行基础数据...

处理流程 记录accesslog日志 切割整理accesslog日志 入库数据 数据抽取、分割 制作报表 适用场景 accesslog日志记录了比较全面的访问日志。针对访问日志进行不同接口/页面/用户/终端的PV/UV统计，...

链式编程可以使得代码可读性更佳，部分情况下减少编码量。通过.的方式设置对象很方便，但有时不利于调试。我们编程过程中常用到的链式编程典型非StringBuilder莫属了 new StringBuffer().append("1").append("b"...

假程序猿之前做了个网关项目，介绍地址如下： https://www.deathearth.com/486.html 做之前有整理了一些资料或信息。可能不太完全，这里记录回顾下。   制作网关项目的好处： （1）网关层对外...

由于公司项目工程的庞大，为了精简以及管理业务流程，诞生了网关项目，我正好有机会参与处理这个项目，整个设计思路如下。 网关的主要功能是，在整个项目的访问环节提供了一个统一的入口层。该层通过dubbo的高...

这个程序的设计思路是通过位运算(&，|)的原理，实现对数据的状态标记。 其数据具有规律性。相对于一般定义int变量，从1~无穷大作为状态标记的做法，安全性高一些(因为要多一层位运算才能确定状态)...

一、缓存执行策略的设计思路 一方面通过一级、二级缓存的策略减少数据库层面的压力 一方面通过定时任务主动更新缓存，减少用户并发带来的查询压力   二、缓存...

我认为这是一种更简单\方便的设计思路，可以有很多的适用场景。 用到了Spring框架的特性，所以先将相关特性的开关打开 开启注解: 切面代理: 1. 先创建两个注解  NeedLogin验证登录   SignFree验签处...

在做项目的过程中，会碰到各种各样的技术问题或者业务规范问题。为了方便开发者或者使用者的操作/阅读习惯。务必定义一套较完善的异常处理机制。不光是提示在开发时碰到问题是出现在了哪里，更是为了业务的统一性...

一、网关接口调用的基本流程 二、签名规则 - 采用MD5加密方式 1. 访问时需要先创建用户，并创建APP，得到相应的app_key,app_secret 2. 客户端保存app_secret 3. 客户端请求时的格式为 url: ...