ScrapydWeb是一个用于Scrapyd集群治理的Web应用程序，能够实用地治理散布式Web抓取名目。在将SCRAPY_PROJECTS_DIR选项配置为蕴含Scrapy名目标门路以后，ScrapydWeb将列出该目录中的所有名目，并抉择最新修改的名目。只要抉择一个名目并按按钮就可提交，而后在后盾主动打包。
软件特色
💠 Scrapyd集群治理
💯 反对于所有Scrapyd JSON API
☑️ 分组，过滤以及抉择任意数目的节点
🖱️ 只要单击多少下就可在多节点上实行命令
🔍 Scrapy日志剖析
📊 统计资料收罗
📈 进度可视化
📑 日志分类
🔋 增强性能
📦 汽车包装
🕵️♂️ 与整合 🔗 LogParser
⏰ 计时器事件
📧 监控以及警报
📱 舆论应用者介面
🔐 Web UI的基础身份考证
浏览器反对于
最新版本的Google Chrome，Firefox以及Safari。
应用说明
访问http://127.0.0.1:5000，而后应用下面的USERNAME / PASSWORD登录。
效劳器页面将主动显示所有Scrapyd效劳器的事件状态。您能够经太过组以及过滤来抉择任意数目的Scrapyd效劳器，而后只要单击多少下就可在聚集上调用Scrapyd的HTTP JSON API。
与LogParser集成后，“作业”页面能够主动显示您的抓取作业的页面以及名目信息。默认状况下，ScrapydWeb会定期建立您的抓取作业的快照并将其生存在数据库中，以阻挠在从新启动Scrapyd效劳器时丢失作业信息。
更新内容
新的性能
增添用于通过Slack，Email发送文本或者警报的API
革新之处
侧边栏以及多节点按钮上的UI革新
其余
将配置文件更新为scrapydweb_settings_v10.py
作者:Admin本文地址：https://www.360admin.cn/scrapydweb-pa-chong-guan-li-ping-tai--guan-fang-ban-v140.html发布于 2021-04-26
文章转载或复制请以超链接形式并注明出处磁力引擎导航网
发表评论