推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 2169 天前的主题，其中的信息可能已经有所发展或是发生改变。
 |
1
ranlele OP 有大佬吗
|
|
2
ranlele OP 没大佬们遇到这种问题吗
|
 |
3
meik2333 2019-01-21 16:47:54 +08:00 via Android
突然全部连接超时，情况有很多的啊。可能是触发网站防火墙了，可能你网络波动了，可能对方网站突然 GG 了。
你可以考虑贴个报错信息出来。 |
|
4
ranlele OP 我爬取很多个不同网站，不只是一个网站。同时都是连接超时、
|
 |
5
15399905591 2019-01-22 10:41:18 +08:00  1
你是不是推送了太多请求队列了，scrapy-splash 是异步的，它的超时计算是按你发起的请求时间就计算的，比如你发起 1W 个请求， 超时时间 10S，当处理到 1000 条时已经达到了 10S，那后面 9000 条全部会返回 timeout
|
|
6
ranlele OP @15399905591 有没有什么解决办法啊。
|
|
7
15399905591 2019-01-23 18:15:00 +08:00 1
控制频率啊，或者添加多个 scrapy-splash 做个负载均衡，然后调整一下你的 scrapy-splash 配置。
|
|
8
ranlele OP @15399905591 就是每一个 spider 都各自配一个 scrapy-splash 吗。假如各自都配一个还是连接超时的话。有没有办法让一个 spider 使用多个 scrapy-splash。在配置的时候不都是在 settings 里面加一个端口号么
|
|
9
15399905591 2019-01-24 09:28:46 +08:00
你可以考虑配置一个 scrapy-splash+haproxy 搭建一个集群就行了。但是还是看你的频率，如果频率过高的话，使用 scrapy-splash 其实并不合适。你应该考虑直接研究具体的请求。
|
|
10
ranlele OP @15399905591 这个频率大概是多少啊 可以自己设置吗。
|
|
11
ranlele OP @15399905591 如果全部都超时了，只能重启系统吗？
|
|
12
15399905591 2019-01-24 17:05:33 +08:00
@ranlele 你现在的请求量是多大呢？ 超时了只是因为推送请求的效率大于处理请求的效率，你把速度降下来，等堆积的任务处理完就好了啊
|
Select Language