feapder v1.5.9
更新
- 优化批次爬虫下发新批次任务时需等待1分钟,防止爬虫内部缓存的批次时间没来得及更新的问题,,改为根据运行的爬虫数智能判断是否需要等待
- 优化因下发任务时意外退出,锁不释放,导致加锁失败的问题
- 优化爬虫意外退出,因任务防丢策略,需等待10分钟才能取到任务问题,改为根据运行的爬虫数智能判断是否需要等待
- 强化user_agent_pool, 支持指定UA类型,包括
'chrome'、'opera'、 'firefox'、 'internetexplorer'、'safari'