风铃虫 2.2.0 发布,优化义务停止机制

易水风萧
 易水风萧
发布于 2020年06月29日
收藏 26

精选30+云产品,助力企业轻松上云!>>>

风铃虫是一款轻量级的高效爬虫对象,设备简单,便利二次开辟,能抓取js衬着的网页,可以抓取任何数据,支撑保存网页快照,智能防封杀,天然合适分布式。

本次更新内容以下:

1 修复测试接口中传入参数异常时不克不及正常任务的bug。

2 优化多义务多线程时的同步机制,能加倍灵活扩大

3 优化义务状况监控机制

4 优化义务停止逻辑,停止逻辑加倍公道

5 其他一些bug优化

风铃虫平台后果演示

1 设备根本信息

输入图片解释

设备链接爬取信息

设备链接爬取信息

设备站点信息  

设备站点信息

提取项设备

内容页设备

属性提取设备

属性提取设备

本站文章除注明转载外,均为本站原创或编译。迎接任何情势的转载,但请务必注明出处,尊敬他人休息共创开源社区。
转载请注明:文章转载自 OSCHINA 社区 [http://www.aledoyoga.com]
本文标题:风铃虫 2.2.0 发布,优化义务停止机制
加载中
此消息有 6 条评论,请先登录后再检查。
前往顶部
顶部