开源地址 https://github.com/crawlab-team/crawlab
超好用的爬虫管理平台Crawlab
功能支持 Scrapy. 爬虫识别，settings.py 配置，日志级别选择，爬虫选择. #435Git 同步. 允许用户将 Git 项目同步到 Crawlab.长任务支持. 用户可以添加长任务爬虫，这些爬虫可以跑长期运行的任务. 425爬虫列表优化. 分状态任务列数统计，任务列表详情弹出框，图例. 425版本升级检测. 检测最新版本，通知用户升级.批量操作爬虫. 允许用户批量运行 /停止爬虫任务，以及批量删除爬虫.复制爬虫. 允许用户复制已存在爬虫来创建新爬虫.微信群二维码.产品规划结果展示支持其他数据库可配置爬虫可配置爬虫支持 Splash可配置爬虫支持 CrawlSpider可配置爬虫支持正则表达式字段可配置爬虫支持转化为自定义爬虫任务任务重试机制定时任务日历展示全局支持版本更新检测支持版本更新日志展示服务器支持终端操作 Docker 镜像SDK更多命令支持支持 Golang、Java插件系统
作者最新文章
科技TOP
- 1 禁止卖给欧美?拜登彻底抓狂,外媒:没想到中国出手竟这么狠
- 2 苹果发布会第三天,市场反响出乎意料,外媒预言成真了!
- 3 向全世界宣布!50亿光刻机工厂落户浙江,ASML不愿意看到的情况出现
- 4 拜登彻底抓狂!清华大学再次打出“王炸”,外媒:美国科技神话被彻底破灭了
- 5 几乎“全军覆没”?ASML突然宣布,外媒:“弯道超车”还是失败了
- 6 又一个捅破天的国产手机来了,这次比华为还过分
- 7 反超华为、阿里!中国第一大民企诞生,员工超60万,营收破1万亿
- 8 家长怒砸儿童手表!小天才紧急下架整改
- 9 微信将停止适配iPhone手机?苹果正式回应,事情越闹越大了
- 10 历史性时刻!淘宝、微信、支付宝集体官宣,网友:这一天等太久了
科技最新文章
- 1 华为三折叠秒空,iPhone16系列热度不再,谁能引领手机新潮流?
- 2 你会冲iPhone16首发吗?这些建议可以看看
- 3 10000毫安+256GB+IP68防水,跌至1079元,售价更加亲民了
- 4 唯一安卓平板小钢炮!骁龙8Gen3+8.8寸2.5K屏,性能无敌游戏王!
- 5 荣耀200跌价841元,发布不到4个月,5200mAh+5000万三主摄
- 6 既然电脑不能插四条内存，为什么要设计四个插槽？
- 7 荣耀X60GT放大招:全场景三摄+6220mAh电池,有些离谱
- 8 还是小米猛,顶级性能+龙晶玻璃+IP68仅2439元,拿下性价比第1名
- 9 雷军开启清仓模式,16GB+1TB跌价3063元,iPhone16也要让路了
- 10 持久战落幕!苹果败诉,罚款1020亿人民币,双重标准引发争议
热门分类