java 查看线程状态 爬虫相关(5)

sudo pip install scrapyd-client # 安装scrapyd客户端

2. 启动scrapyd服务

scrapyd # 启动服务，端口号 6800

远程连接： 打开浏览器，192.168.105.99:6800

3. 部署scrapy项目到scrapyd上的配置

# 1. scrapyd的配置名

[deploy:scrapy_Tencent]

# 2. 启动scrapyd服务的远程主机ip，localhost默认本机的

url = :6800/

#url = http:192.168.xx.xxx:6800

#- 3.项目名称

project = Tencent

4. 将scrapy项目部署到scrapyd上

# -p 执行项目名，将Tencent按指定的配置信息部署到scrapyd

scrapyd-deploy scrapy_Tencent -p Tencent

5. 启动项目下指定的爬虫

curl :6800/schedule.json -d project=Tencent -d spider=tencent

{"status": "ok", "jobid": "2f240b1171bc11e7ae5aa45e60e36247", "node_name": "PowerMac.local"}

6. 停止项目下指定的爬虫

curl :6800/cancel.json -d project=Tencent -d job=2f240b1171bc11e7ae5aa45e60e36247

7. 停止scrapyd的服务

Control + C

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-77069-5.html