小码农

好记性不如烂笔头....

喜大普奔,爬虫服务不再“裸奔”

在以前,我们为了避免scrapyd裸奔,多数时候都是采用nginx代理,额外装个nginx不是很舒服,很多人又搞了一个docker的版本,确实方便不少。。。

时隔五年,Scrapyd终于原生支持basic auth

2014年,有人在scrapy/scrapyd下提了这么一个 issues

https://github.com/scrapy/scrapyd/issues/43

《喜大普奔,爬虫服务不再“裸奔”》

2019年,终于有大佬站了出来

https://github.com/scrapy/scrapyd/pull/326

《喜大普奔,爬虫服务不再“裸奔”》

pip install -U git+https://github.com/my8100/scrapyd.git@add_basic_auth

OR

pip install -U git+https://github.com/scrapy/scrapyd.git

更新配置文件scrapyd.conf,其余配置项详见官方文档

[scrapyd]
username = yourusername
password = yourpassword

启动 scrapyd 测试

In [1]: import requests

In [2]: requests.get('http://127.0.0.1:6800/').status_code
Out[2]: 401

In [3]: requests.get('http://127.0.0.1:6800/', auth=('admin', 'admin')).status_code
Out[3]: 401

In [4]: requests.get('http://127.0.0.1:6800/', auth=('yourusername', 'yourpassword')).status_code
Out[4]: 200

感谢大佬推动这个事:https://github.com/my8100

点赞

发表评论

电子邮件地址不会被公开。 必填项已用*标注