前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Pycharm 调试代码显示错误行_pycharm远程调试

Pycharm 调试代码显示错误行_pycharm远程调试

作者头像
全栈程序员站长
发布于 2022-11-17 04:29:56
发布于 2022-11-17 04:29:56
1.5K00
代码可运行
举报
运行总次数:0
代码可运行

大家好,又见面了,我是你们的朋友全栈君。

版本说明

python: 3.6 pycharm: 4.5.5 scrapy: 1.3.2

学习 scrapy 是发现调试和以往不同,无法像普通python项目一样,通过设置断点,调试启动,然后在断点处停止,开始调试。 scrapy 是通过 scrapy 的解释器 scrapy.exe 完成,所以官方教程中提供的执行命令: scrapy crawl quotes -o quotes.json

调试设置

打开pycharm工程调试配置界面(Run -> Edit Configurations)。

  1. 选择工程。选择调试工程 quotes_spider,官方文档提供的示例工程。
  2. 设置执行脚本(Script)。设置为 H:\Python\Python36\Lib\site-packages\scrapy\cmdline.pycmdline.pyscrapy 提供的命令行调用脚本,此处将启动脚本设置为 cmdline.py,将需要调试的工程作为参数传递给此脚本。
  3. 设置执行脚本参数(Script parameters)。设置为 crawl quotes -o quotes.jl,参数命令参照官方文档提供的爬虫执行命令:scrapy crawl quotes -o quotes.json,与之不同的是设置参数时不包含 scrapy
  4. 设置工作目录(Work Directory)。设置为工程根目录 H:\work\python\myscrapy\tutorial,根目录下包含爬虫配置文件 scrapy.cfg

配置如下图:

配置完成后,在 parse 函数处设置断点,调试运行配置好的工程,断点命中,并在控制台输出调试信息。

遇到问题

1. Unknown command: crawl

调试运行,断点并未命中,控制台输出信息如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
H:\Python\Python36\python.exe "H:\Program Files (x86)\JetBrains\PyCharm Community Edition 4.5.4\helpers\pydev\pydevd.py" --multiproc --client 127.0.0.1 --port 59810 --file H:/Python/Python36/Lib/site-packages/scrapy/cmdline.py crawl quotes -o quotes.jl
pydev debugger: process 4740 is connecting

Connected to pydev debugger (build 141.3058)
Scrapy 1.3.2 - no active project

Unknown command: crawl

Use "scrapy" to see available commands

Process finished with exit code 2

工作目录设置有误,造成无法识别 scrapy 命令,按照上文所说,将工作目录设置为包含 scrapy.cfg,重新运行,问题解决。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/226873.html原文链接:https://javaforall.cn

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2022年10月30日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
PyCharm下进行Scrapy项目的调试
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/sinat_35512245/article/details/72835653
大黄大黄大黄
2018/09/14
1.3K0
PyCharm下进行Scrapy项目的调试
pycharm如何调试代码_pycharm怎么分段运行代码
  (2)已经创建了一个python工程并且添加了内容,具体参考: Getting Started tutorial
全栈程序员站长
2022/09/27
2.5K0
pycharm如何调试代码_pycharm怎么分段运行代码
scrapy 调试功能
  在使用 scrapy 来爬取网页的时候,我们难免会使用到调试功能,下面介绍两种调试方法: 1.终端使用 scrapy shell exampleurl exampleurl 为你要爬取网站的 ur
希希里之海
2018/06/07
6930
pycharm远程运行_pycharm打开远程项目
Python是时下最流行、最火爆的编程语言之一,具体原因如下: 1、简单、易学,适应人群广泛
全栈程序员站长
2022/09/27
2K0
pycharm远程运行_pycharm打开远程项目
关于Scrapy爬虫项目运行和调试的小技巧(上篇)
扫除运行Scrapy爬虫程序的bug之后,现在便可以开始进行编写爬虫逻辑了。在正式开始爬虫编写之前,在这里介绍四种小技巧,可以方便我们操纵和调试爬虫。
Python进阶者
2019/04/14
8810
关于Scrapy爬虫项目运行和调试的小技巧(上篇)
pycharm的scrapy框架-断点调试「建议收藏」
在文件根目录,也就是settings.py的上级目录,scrapy.cfg的同级目录,创建main.py:
全栈程序员站长
2022/08/25
4620
Scrapy源码剖析(二)Scrapy是如何运行起来的?
在上篇文章:Scrapy源码剖析(一)架构概览,我们主要从整体上了解了 Scrapy 的架构和数据流转,并没有深入分析每个模块。从这篇文章开始,我将带你详细剖析 Scrapy 的运行原理。
_Kaito
2021/03/23
1.2K0
Scrapy源码剖析(二)Scrapy是如何运行起来的?
一日一技:如何正确在 PyCharm 中调试 Scrapy 爬虫?
最近有不少同学在粉丝群里面问,如何调试Scrapy 爬虫。有些人不知道如何让 Scrapy 爬虫进入调试模式;还有一些人不知道怎么单步调试。
青南
2021/06/23
3.2K0
一日一技:如何正确在 PyCharm 中调试 Scrapy 爬虫?
创建scrapy项目_项目构建是什么意思
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
全栈程序员站长
2022/10/03
2930
创建scrapy项目_项目构建是什么意思
Scrapy爬虫框架教程(三)-- 调试(Debugging)Spiders
前言 春节放假在老家没有网,所以最近没有更新。这周加班闲暇抽空赶紧来更新一篇。我们在写爬虫的时候经常需要修改xapth规则来获取所需的数据,而Scrapy的爬虫通常是在命令行中启动的,我们怎么去调试呢?下面我就为大家介绍两种我常用的方法。 工具和环境 语言:python 2.7 IDE: Pycharm 浏览器:Chrome 爬虫框架:Scrapy 1.2.1 正文 方法1 通过 scrapy.shell.inspect_response 函数来实现。以上一篇教程的爬虫为例: # -*- coding:
木制robot
2018/04/13
1.1K0
Scrapy爬虫框架教程(三)-- 调试(Debugging)Spiders
Scrapy爬取数据初识
Scrapy爬取数据初识 初窥Scrapy Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的, 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。 基本步骤 选择一个网站 定义您想抓取的数据 编写提取数据的Spider 执行spider,获取数据 查看提取到的数据 安装 控制台执行命令p
听城
2018/04/27
1.7K0
Scrapy爬取数据初识
pycharm调试教程_程序调试时应当用
在了解Python编程之前,我们需要先弄明白如何编写运行代码。所以非常有必要先讲解一下Python的集成开发环境,也就是IDE(Integrated Development Environment)。PyCharm是一款优秀的开源Python语言集成开发工具。PyCharm能够调试运行程序,另外它还提供了强大的代码提示功能。在PyCharm的下载页面能够指定安装系统选择付费版(Professional)或者免费版(Community)进行安装。付费版的PyCharm提供了更强大的Python服务器后端开发功能。这里我们以windows系统免费版(PyCharm Community)下载安装。我们只对PyCharm的基本功能进行简单概括,详细内容请查阅官方文档。PyCharm下载地址(https://www.jetbrains.com/PyCharm/download/#section=windows)
全栈程序员站长
2022/09/25
1.4K0
pycharm调试教程_程序调试时应当用
初识Scrapy框架+爬虫实战(7)-爬取链家网100页租房信息
Item 是保存爬取到的数据的容器。比如我下面将要爬取的链家网租房信息的地点、平米数、价格,我会在item.py文件中定义相应的字段。
秦子帅
2019/08/17
1.3K0
初识Scrapy框架+爬虫实战(7)-爬取链家网100页租房信息
Scrapy 爬虫完整案例—从小白到大神(银行网点信息为例)
采用selenium界面抓取信息,需要渲染界面,并且也是单线程操作,效率极低,一晚上只爬去了一个工行的数据。
全栈程序员站长
2022/09/07
4440
Scrapy 爬虫完整案例—从小白到大神(银行网点信息为例)
Scrapy基础(一): 安装和使用
安装 pip install -i http://pypi.douban.com/simple scrapy // -i http://pypi.douban.com/simple 为加速安装 新建scrapy项目 scrapy startproject ArticleSpider //会在当前路径创建项目 ArticleSpider为项目名 cd ArticleSpider && genspider example example.com //创建爬虫模板 example为spide
Meet相识
2018/09/12
4190
Scrapy基础(一):  安装和使用
Scrapy源码解读
Scrapy一个比较完整的爬虫框架,包含了爬取任务的调度、多个线程同时爬取(异步多线程,不用等一个请求完成后才开始另一个请求)、自动过滤重复的链接等功能。使用者通过定义比较简单的爬虫类(例如目标网址、爬取的具体页面元素、存储的格式字段、数据清理逻辑),剩余的就可以交给scrapy完成爬取工作。
大数据技术架构
2023/03/08
8940
Scrapy源码解读
Scrapy框架的使用之Scrapy入门
接下来介绍一个简单的项目,完成一遍Scrapy抓取流程。通过这个过程,我们可以对Scrapy的基本用法和原理有大体了解。 一、准备工作 本节要完成的任务如下。 创建一个Scrapy项目。 创建一个Spider来抓取站点和处理数据。 通过命令行将抓取的内容导出。 将抓取的内容保存的到MongoDB数据库。 二、准备工作 我们需要安装好Scrapy框架、MongoDB和PyMongo库。 三、创建项目 创建一个Scrapy项目,项目文件可以直接用scrapy命令生成,命令如下所示: scrapy st
崔庆才
2018/06/25
1.4K0
Splash抓取javaScript动态渲染页面
Splash是一个javascript渲染服务。它是一个带有HTTP API的轻量级Web浏览器,使用Twisted和QT5在Python 3中实现。QT反应器用于使服务完全异步,允许通过QT主循环利用webkit并发。 一些Splash功能:
py3study
2020/10/26
3.3K0
Splash抓取javaScript动态渲染页面
Scrapy 项目部署问题及解决方案
部署 Scrapy 项目时可能会遇到一些常见问题。以下是几个常见的部署问题及其解决方案:
华科云商小徐
2024/08/13
1830
005:认识Python爬虫框架之Scrapy
scrapy框架是一套比较成熟的python爬虫框架,是使用python开发的快速、高层次的信息爬取框架。 Scrapy框架的应用领域很多,比如网络爬虫开发、数据挖掘、数据监测。自动化测试等。 Scrapy的官网地址是: http://scrapy.org
李玺
2021/11/22
1.6K0
005:认识Python爬虫框架之Scrapy
推荐阅读
相关推荐
PyCharm下进行Scrapy项目的调试
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验