我已经看到了有关 Scraping Ajax的问题,但是那里没有提到python。我考虑过使用scrapy,我相信他们有一些关于该主题的文档,但是如你所见,该网站已关闭。所以我不知道该怎么办。我要执行以下操作:
我只有一个网址,例如example.com,你可以通过单击“提交”来逐页浏览,该网址不会更改,因为它们使用的是ajax来显示内容。我想抓取每个页面的内容,怎么做?
可以说我只想抓取数字,除了scrapy以外,还有其他方法可以做到吗?如果没有,你能不能给我一个摘要,只是因为他们的网站关闭了,所以我找不到文档。
我指的
blog.scrapy.org/scraping-ajax-sites-with-scrapy
是不再可用的这个URL ,谢谢您让我想起readthedocs.com知道了。如果您在Spider实现方面遇到问题,请考虑发布另一个问题,以获取您要爬网的URL,单击的按钮等。抓取愉快!
@Lynob,这是您正在谈论的URL:web.archive.org/web/20130525095330/http : //blog.scrapy.org/…