Warm tip: This article is reproduced from serverfault.com, please click

其他-使用python Scraping Ajax页面

(其他 - Scraping ajax pages using python)

发布于 2013-05-05 23:38:57

我已经看到了有关 Scraping Ajax的问题,但是那里没有提到python。我考虑过使用scrapy,我相信他们有一些关于该主题的文档,但是如你所见,该网站已关闭。所以我不知道该怎么办。我要执行以下操作:

我只有一个网址,例如example.com,你可以通过单击“提交”来逐页浏览,该网址不会更改,因为它们使用的是ajax来显示内容。我想抓取每个页面的内容,怎么做?

可以说我只想抓取数字,除了scrapy以外,还有其他方法可以做到吗?如果没有,你能不能给我一个摘要,只是因为他们的网站关闭了,所以我找不到文档。

Questioner
Lynob
Viewed
0
2017-05-23 19:47:26

首先,可从https://scrapy.readthedocs.org/en/latest/获得草率文档

谈到在抓取Web时处理Ajax。基本上,这个想法很简单:

  • 打开浏览器开发者工具的“网络”标签
  • 前往目标地点
  • 单击提交按钮,查看将向服务器XHR发送什么请求
  • XHR在你的蜘蛛中模拟此请求

另请参阅:

希望能有所帮助。