Skip to content

codesofun/web-bee

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

停止维护

Build Status Coverage Status DownloadsLicense Sauce Test Status

webBee 为乐趣而爬

  • webBee 基于jdk8 是一个持续成长的垂直爬虫框架项目

  • webBee 遵循MIT开源协议

  • webBee 是一个不错的java进阶项目

  • 欢迎大家贡献代码,如果觉得这个项目不错,请为它 点赞

演示站点

设计初衷

  • 设计简洁,面向接口
  • 配置简单,明了
  • 一次配置,自动匹配

涉及技术栈

  • httpcomponents
  • jsoup
  • redis
  • 代理
  • 多线程
  • 分布式爬取
  • 代理接口
  • 通过配置智能寻找目标 url
  • 图片、视频的处理

todo

  • 制作一个炫酷的官网实例

开源讨论群

  • 147255248 已解散

开源协议