scrapy

请问scrapy如何使用内部的spider，selenium 来 shell?

发布于 2020-07-28 11:34:13

有些页面做了防爬，单独使用scrapy 的shell命令是获取不到数据，需要调用内部spider selenium才能获取网页。请问如何使用基于spider的shell呢？

关注者

0

被浏览

1.3k

莫小豆 2020-07-28

这家伙很懒，什么也没写！

可以在，你的spider的parse方法里添加：

from scrapy.shell import inspect_response
inspect_response(response, self)

然后运行或者debug，就会进入shell模式，而这个shell就是就有该spder的

1 个回答

撰写答案

请登录后再发布答案，点击登录

登录注册新账号

关于作者

Elavarasan

这家伙很懒，什么也没写！

提问

回答

被采纳

0

关注TA

发私信

相关问题

1

conda 环境启动 scrapy 提示：Fatal error in launcher: Unable to create process using '"d:\bld\scrapy_1587736

2

请问 scrapy selenium 的 webdriver 如何使用post请求?

3

如何设置scrapy 最大redirect重定向次数

热门问题

1

锁算力的显卡到底锁了什么？

2

如何让docker-compose.yml 修改配置后容器生效

3

查询列表一直报reflect: reflect.flag.mustBeAssignable using unaddressable value

4

要不要等 m2 芯片，好焦虑~~~

5

fastadmin 的表单怎么填写data-rule验证规则？比如输入的字不少于两个字符

6

你们感觉gin和beego哪个好？

7

用go有没有人遇到fatal error: runtime: out of memory这个问题

8

docker出现：Cannot start service mysql: b'driver failed programming external connectivity on endpoint

9

react 的 hooks怎么监测路由变化，useEffect可以检测到吗

10

docker 容器里不能ping，提示：ping: permission denied (are you root?)

热门标签

fastdfs python docker golang QT paddle java 机器学习 mysql 树莓派 m1 linux php git android 数据科学 scrapy win10 安卓 elasticsearch api nested Xunsearch vue jwt yar react 统计学习 padddle centos conda springboot go macos uniapp openstack NPU nginx selenium c++ namecheap sitemap javascript paddlehub fastadmin devops ipad 前端 ubuntu mongodb

推荐专家

answer

16个答案 16次被采纳

叶知秋

0个答案 0次被采纳

fate

1个答案 0次被采纳

埃及野男

2个答案 0次被采纳

莫小豆

98个答案 64次被采纳

发布
问题

手机
浏览

扫码手机浏览