Python + selenium + phantomjs 求助，爬一个网站的信息

from selenium import webdriver

driver = webdriver.PhantomJS()
driver.get('http://www.kuajingjishi.com/Purchase/SearchPurchase#pageIndex=2')
result = driver.find_element_by_tag_name('table')
print(result.get_attribute('innerHTML'))

求助求助~

Selenium

phantomjs

Python

webdriver

6 条回复 • 2017-02-27 10:32:01 +08:00

aploium

2017-02-26 22:02:57 +08:00

```python
import requests

data = {
'X-Requested-With': 'XMLHttpRequest'
}

for i in range(1,10):
url='http://www.kuajingjishi.com/Purchase/SearchPurchase?pageIndex={page}'.format(page=i)
r=requests.post(url, data=data)
print(r.text)
```

aploium

2017-02-26 22:17:25 +08:00

它是用 ajax 加载的, 浏览器里用 F12, 选 network 那个 tab, 手动点一下那几个页面, 能看到它发出去的请求, 然后自己一模一样发好了
这个站还没对请求进行验证......orz

至于为什么 selenium 弄不到......天知道:)

tips: 在请求上右键->copy->copy as cURL 然后在这个网站能直接转换为 requests 格式 https://curl.trillworks.com/

doulmi

2017-02-26 23:39:58 +08:00

@aploium 谢谢你！

mingyun

2017-02-26 23:44:20 +08:00

@aploium 这个网站好

MyFaith

2017-02-27 08:38:03 +08:00

pageIndex:9
POST 的时候把这个参数加上就好了，只是一个 AJAX 加载

cranelee13

2017-02-27 10:32:01 +08:00

python 爬虫只有到完全没办法，反爬实在厉害才用 selenium + phantomjs ，绝大多数情况用 requests 应付就行。