文章/答案/技术大牛

发布

社区首页 >问答首页 >scrapy shell 调试返回200，但是在scrapy crawl启动爬虫返回443？

问scrapy shell 调试返回200，但是在scrapy crawl启动爬虫返回443？

提问于 2023-04-25 07:34:04

回答 0关注 0查看 119

在scrapy组件中执行爬虫命令，无法访问https地址，返回443无法返回数据；

查了很多方法，添加r=requests.get(url,verify=False) 添加verify=False,依然无效。scrapy 自带可以访问https的验证，关闭SSL验证也是不起作用。为什么scrapy shell调试此网站没问题，用scrapy组件写爬虫执行就报错呢

网站

爬虫

shell

scrapy

调试

回答 3

烟熏妆

发布于 2018-04-28 04:25:04

这不是QQ屏幕分享就可以做到了吗

Sept斯科菲尔

发布于 2018-04-28 03:20:19

互动直播可以的。

小叮当的肚兜

发布于 2018-04-28 03:19:54

属于互动直播吧，看看这个：

https://cloud.tencent.com/product/ilvb

和开发者交流更多问题细节吧，去写回答

MySQL之到底该查哪个分区？

mysql 函数连接搜索索引

MySQL 在5.1以后的版本支持了分区表，从物理的角度上来看分区是将一个表分解成多个独立不相交的子表，但从逻辑的角度来看所有的分区共同组成一个独立的表。MySQL目前只支持水平分区（表的不同行分布在不同的子表中）并不支持垂直分区（表的不同列分布在不同的子表）。分区可以更方便的管理数据，比如：可以通过删除分区来快速的删除某部分数据；可以只扫描少量的几个分区来查询符合条件的结果；不同的分区可以使用不同的物理设备，更高效的利用查询物理设备；避免ext3文件系统中inode锁竞争等等。

腾讯数据库技术

2023/09/02

3930

python 和 java 到底该学哪个？

python java 大数据神经网络

随着互联网的高速发展，越来越多的人选择加入到IT行业，而近年来，编程语言界也可以说是百花齐放……

全栈程序员站长

2022/09/08

4790

Ruby vs Elixir | 2022 该选哪个？

ruby ruby on rails 网站

Ruby 和 Ruby on Rails 可能并不需要过多的介绍，因为它们已经被广泛的应用在 Web 开发领域。

RiemannHypothesis

2022/09/28

1.9K0

项目中NAT网关该选哪个规格？

tcp/ip nat NAT 网关

今天有同事在销售云桌面，需要用到NAT网关用于访问互联网，但NAT网关有4个规格，不同规格的价格差异较大，不知道该用到哪一款，今天我们来一起找一找小技巧。

希望的田野

2019/09/24

1.6K0

Vue、React 和 Angular：该选择哪个框架？

angularjs react vue.js

本文对三个最流行的 JavaScript 框架进行了全面的比较：Vue、React 和 Angular，如果你是正在开发或者目前正在考虑使用这些流行框架之一来启动项目的开发人员，我们希望本文对你选择正确的解决方案能有所帮助。

深度学习与Python

2020/08/07

1.9K0

大学生毕业找工作，该选择哪个方向？

游戏 go 电商 java c++

虽然都是写代码，虽然大家都叫程序员，但其实，分为很多种类。程序员大体上分为前端和后端。

小白debug

2022/06/20

3660

HTTP客户端工具该选哪个？进来看

spring spring boot http 网站

HTTP（超文本传输协议）是一种应用层协议，用于客户端和服务端进行通信，按照标准格式如JSON、XML等进行网络数据的传输，通常也作为应用程序之间以RESTAPI形式进行通信的常用协议。

玖柒的小窝

2021/11/28

5.4K0

DNS 使用哪个 Port

dns udp tcp/ip linux

Domain Name System aka DNS is used to match domain names to the IP addresses. DNS is provided over the intranet and internet servers with different port numbers.DNS can use both transmission protocols TCP and UDP. But general usage is over UDP protocol because of its simplicity and speed.

用户8418197

2021/08/08

3.7K0

K8S内存消耗，到底该看哪个图？

缓存 kubernetes linux

最近的一项工作，是查看服务在过去一段时间的内存实际使用量，给K8S平台上的POD内存设置一个基于历史数据的合理上限，既不会限制服务的正常运行，也可以尽量减少不必要的占坑。

HelloMin

2022/05/30

4.7K0

K8S内存消耗，到底该看哪个图？

缓存 kubernetes linux

HelloMin

2022/08/11

5.9K2

Java 桶排序实现如何判断该放到哪个桶里

编程算法

int num = (array[i] - min) * (bucketNum - 1) / (max - min); =偏移量 * (桶数量-1) / 差值 =偏移量 / ( 差值 / (桶数量-1) )

heasy3

2020/08/02

5840

产品网站的FAQ页面该如何编辑？

网站

无论是B2B还是B2C，网站的访问者在看到网站内容后，或多或少都会有一些相关的问题想要得到答案。但是，由于网站设置的原因，一些网站没有发布相关的联系方式，也没有安装即时聊天工具，或者访问者本身也不想与网站联系人进行深入的交流，因此 FAQ页面常常成为解决问题的一大途径。

Baklib

2022/11/04

3.4K0

当你在做一款产品之前，该如何做产品规划？

产品

产品设计要做的“细”，而产品规划要做的“远”。产品规划不但是做计划，而且是在选择产品的发展历程。也许产品规划的价值并非体现在用户体验的细腻程度、页面的美观展现，但却体现了对用户体验、交互设计等执行层面

前朝楚水

2018/04/03

8130

扫盲！SPSS、SAS、Stata、R有何区别，你该学哪个？

sas r 语言数据分析

来自经管之家对于各式各样的数据统计分析软件，你了解多少呢？经管之家的这篇帖子经过潜心搜集，整理，总结了一些软件的大体介绍及区别，欢迎大家指正和补充。这里先略过Excel和Eviews这种入门软件的介绍，直接从SPSS开始吧！ SPSS:傻瓜相机 SPSS（Statistical Product and Service Solutions），“统计产品与服务解决方案”软件，是数据定量分析的工具，适用于社会科学（如经济分析，市场调研分析）和自然科学等林林总总的统计分析，国内使用的最多，领域也多。 SPSS就

CDA数据分析师

2018/02/23

23.8K0

学习 Java，使用哪个版本最好

jdk java 打包

工欲善其事，必先利其器。我们要学习和使用 Java 语言，就需要搭建好 Java 的开发环境，边学习知识，边实践编码，可以更好的体会 Java 这门语言的精髓。

蜗牛互联网

2021/03/01

2.3K0

Azure 命令行工具大混战，都是什么，该选哪个？

windows DevOps 解决方案 powershell shell 自动化

最近在学习 Azure 的命令行玩法，发现官方有不止一种命令行工具，容易对新手产生混淆，本文将介绍各种工具都是干啥的，以及如何选择。

Edi Wang

2019/08/16

2.7K0

Node.js VS Python：程序员该选择哪个作为爬虫语言？

python 爬虫

对于程序员来说，选择合适的语言作为爬虫开发工具很重要。在这篇文章中，我们将探讨使用Node.js和Python进行爬虫开发的优势和劣势，帮助你做出明智的选择，并提供一些实际操作价值的建议。

华科云商小徐

2023/09/22

1.2K0

Async的线程池使用的哪个？

java

在Spring中我们经常会用到异步操作，注解中使用 @EnableAsync 和 @Async 就可以使用它了。但是最近发现在异步中线程号使用的是我们项目中自定义的线程池 ThreadPoolTaskExecutor 而不是之前熟悉的 SimpleAsyncTaskExecutor

青衫染红尘

2022/08/02

1.2K0

Kafka 与 RabbitMQ 如何选择使用哪个？

rabbitmq 分布式 kafka 消息队列 CMQ 版

消息队列：多个生产者可以向同一个消息队列发送消息，但是一个消息只能被一个消费者消费。

新亮

2021/09/08

1.1K0

Android技术选型：你该选择哪个网络请求开源库（Volley、OkHttp、Retrofit）？

android 开源 http javascript node.js

前言网络请求在 Android 开发中非常常见，为了降低开发周期和难度，我们经常会选用网络请求的开源库而现在网络请求的开源库越来越多，我们应该选用哪种呢？今天我就给大家分别介绍 & 对比现今主流

Carson.Ho

2019/02/22

3.5K0

相似问题

在线教育的场景，使用哪个服务合适？

1357

我该如何使用该产品进行浏览国外内容？

1250

在线教育咨询？

1336

视频对讲选用哪个产品？

1361

请问我这种需求该买哪个？

0175

问scrapy shell 调试返回200，但是在scrapy crawl启动爬虫返回443？

回答 3

烟熏妆

Sept斯科菲尔

小叮当的肚兜

在线教育的场景，使用哪个服务合适？

我该如何使用该产品进行浏览国外内容？

在线教育咨询？

视频对讲选用哪个产品？

请问我这种需求该买哪个？

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐