推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
tornado.httpclient.HTTPClient() 抓取 新浪微薄数据
wushuang · 2014-05-16 22:05:15 +08:00 · 4038 次点击这是一个创建于 3881 天前的主题，其中的信息可能已经有所发展或是发生改变。
用了网上的 python 非API方式 模拟登录新浪微薄 的代码，登录成功后抓取 微薄个人页面信息。
登录代码： https://github.com/yoyzhou/weibo_login/blob/master/weibo_login.py
同样的一个微薄页面，用urllib2的方式抓取一点问题都没，如果用tornado.httpclient.HTTPClient().fetch(url)的方式抓取就会跳转到注册界面，而且始终登录不成功，何解？
注：
如果是urllib2方式的话所有页面都能抓取成功；
tornado httpclient的方式只是部分页面会跳转到注册地址，还是有些页面可以成功抓取的。
登录代码： https://github.com/yoyzhou/weibo_login/blob/master/weibo_login.py
同样的一个微薄页面，用urllib2的方式抓取一点问题都没，如果用tornado.httpclient.HTTPClient().fetch(url)的方式抓取就会跳转到注册界面，而且始终登录不成功，何解？
注：
如果是urllib2方式的话所有页面都能抓取成功；
tornado httpclient的方式只是部分页面会跳转到注册地址，还是有些页面可以成功抓取的。
 |
1
maga 2014-05-17 00:27:58 +08:00
为什么一定要用tornado.httpclient？
|
 |
2
binux 2014-05-17 00:39:20 +08:00
|
 |
3
wushuang OP @maga 因为我web框架就用的tornado，其他的懒得折腾了，哈哈，然后我看网上有Toro这个玩意儿，跟tonado配合好像还行，就试试看效果如何。
|
|
5
wushuang OP @binux 我感觉是cookies的问题，但是不知道怎么处理，我把代码贴到了这里http://segmentfault.com/q/1010000000510093 ，麻烦帮看下，谢谢！
|
 |
6
pyshift 2014-05-17 23:43:33 +08:00
我感觉还是cookie的问题，com端的cookie很蛋疼，而且你抓包会发现还是会返回一个cn端的cookie值，如果没有硬性的去抓取com端，推荐还是去cn端抓吧，还能避开unicode转换编码。。
|
Select Language