开源地址 https://github.com/crawlab-team/crawlab
超好用的爬虫管理平台Crawlab
说个云也原生
2024-03-20 03:49:53
功能支持 Scrapy. 爬虫识别，settings.py 配置，日志级别选择，爬虫选择. #435Git 同步. 允许用户将 Git 项目同步到 Crawlab.长任务支持. 用户可以添加长任务爬虫，这些爬虫可以跑长期运行的任务. 425爬虫列表优化. 分状态任务列数统计，任务列表详情弹出框，图例. 425版本升级检测. 检测最新版本，通知用户升级.批量操作爬虫. 允许用户批量运行 /停止爬虫任务，以及批量删除爬虫.复制爬虫. 允许用户复制已存在爬虫来创建新爬虫.微信群二维码.产品规划结果展示支持其他数据库可配置爬虫可配置爬虫支持 Splash可配置爬虫支持 CrawlSpider可配置爬虫支持正则表达式字段可配置爬虫支持转化为自定义爬虫任务任务重试机制定时任务日历展示全局支持版本更新检测支持版本更新日志展示服务器支持终端操作 Docker 镜像SDK更多命令支持支持 Golang、Java插件系统
0
阅读：1
