代理池
存储模块
使用Redis的有序集合,用来做代理的去重和状态标识,同时它也是中心模块和基础模块,将其他模块串联起来。
获取模块
定时从代理网站获取代理,将获取的代理传递给存储模块,并保存到数据库。
检测模块
定时通过存储模块获取所有代理,并对代理进行检测,根据不同的检测结果对代理设置不同的标识。
接口模块
通过Web API提供服务接口,接口通过连接数据库并通过Web形式返回可用的代理。
写BUG的程序猿
使用Redis的有序集合,用来做代理的去重和状态标识,同时它也是中心模块和基础模块,将其他模块串联起来。
定时从代理网站获取代理,将获取的代理传递给存储模块,并保存到数据库。
定时通过存储模块获取所有代理,并对代理进行检测,根据不同的检测结果对代理设置不同的标识。
通过Web API提供服务接口,接口通过连接数据库并通过Web形式返回可用的代理。