我有一个scrapy项目，工作良好，并返回我想要的结果。爬虫代码是： class ExampleSpider(scrapy.Spider): myBaseUrl = '' yield MyItem(name=name, date=date) pass 下面是我用来运行</e
浏览 34提问于2021-10-11得票数 0
我想在烧瓶webservice (部署模式)中运行scrapy，但是当使用os.system时，它不会在与我运行webservice相同的虚拟环境中运行scrapy。当我在本地主机上运行它时，我没有同样的问题。有什么办法吗？os.chdir(SCRAPYFILE_PATH)
os.system(
浏览 10提问于2022-05-15得票数 0
回答已采纳
2回答
API应该允许包含用户希望刮取的URL的任意HTTP请求，然后Flask应该返回刮取的结果。有更好的方法来架构这个解决方案吗？或者我如何允许scrape_it在不停止扭曲的反应堆(不能再次启动)的情况下返回？api
from t
浏览 9提问于2015-09-22得票数 10
回答已采纳
1回答
我在redhat服务器上安装了python2(作为默认环境)和python3，并为它们设置了不同的别名。我如何使用python脚本激活它，因为我需要在scrapy上运行python3蜘蛛？
更新：，我想把抓取蜘蛛和烧瓶作为API进行集成。当POST方法到达端点url时，我想运行刮伤蜘蛛。目前蜘蛛各自运行良好。myconda标识为别名，而是使用默认的python2环境而不是python3启动蜘蛛，并给出python2语
浏览 1提问于2018-03-10得票数 1
1回答
我对Scrapy很陌生，对python只有一个基本的理解。(刮刮) F:\My Projects\scrapy\Scripts\tutorial>scrapy爬行引用\site-packages\twisted\internet\defer.py&q
浏览 0提问于2016-11-05得票数 0
回答已采纳
我是使用颤振与瓶在后端。我想发送一个图像从颤振到烧瓶进行处理。但是我在Android中得到了这个错误: Error: flutter/lib/ui/ui_dart_state.cc(186个)未处理的异常: SocketException: OS错误:坏管道，errno= 32，地址= 10.0.2.2，端口= 51420
我的烧瓶终端写着: 127.0.0.1 --2021年5月11日
浏览 3提问于2021-05-11得票数 2
我正在做一个应用程序项目，允许用户在输入一组关键字后获得网页搜索结果，这些关键字将被发送给询问者。为此，我在的下面这篇文章的启发下，用烧瓶创建了一个api。下面是我的烧瓶api文件：crochet.setup()
yield response.follow(
浏览 7提问于2022-06-16得票数 0
1回答
从烧瓶应用程序中运行刮擦
、、、、
我有一个爬虫，我想运行每次一个人去链接。因为所有其他模块都在水瓶中，所以我也被告知要在烧瓶中构建这个模块。我已经在虚拟环境中安装了scrapy和selenium，并在带有root的机器上安装了全局。当我在终点站运行爬行器时，一切正常。当我启动Flask应用程序并在浏览器中访问xx.xx.xx.xx:8080/whats时，它也可以正常工作，运行我的爬虫并
浏览 4提问于2015-08-17得票数 3
回答已采纳
我正在尝试安装SCRAPY并使用它。 scrapy startproject tutorial
你能不能分解一下，帮我理解一下。我在我的Windows7机器上有各种版本的Python，用于各种冲突的项目，所以当我用他们的.exe安装Scrapy时，它会将其安装在c:\Python26_32bit目录下，这是可以的。但是在我的路径<e
浏览 0提问于2011-05-26得票数 3
回答已采纳
2回答
当出现未处理的异常时，我希望立即停止我的烧瓶服务器。if __name__ == '__main__':如果您运行此命令并转到localhost:12345，您的浏览器会告诉您“内部服务器错误”，并且python烧瓶将您的路由包装到自己的错误处理中，并且它只打印异常。
我想让服务器停止一条路由产生异常。但我<em
浏览 0提问于2018-11-15得票数 3
回答已采纳
1回答
我想从Justdial中抓取学校名称、地址和电话号码的数据。我已经准备好脚本了。我使用Scrappy和selenium。，并在具有不同网络的不同机器上尝试了它，使用VPN、代理来运行这个程序。即使我试图从Justdial中提取甚至是一行简单的文本，我也会得到相同的错误。首先我得到了403错误，然后在一些尝试之后，我得到了504错误，如下所示： 忽略响应<504 https:&
浏览 17提问于2021-10-07得票数 0
3回答
我是python的新手。我在64位操作系统上运行python 2.7.3版本32位。(我尝试了64位，但不起作用)。C:\Python27\Scri
浏览 3提问于2012-04-12得票数 33
1回答
我正在使用Scrapy编写一个蜘蛛，并且我目前正在为这个蜘蛛添加契约。爬行器仍然运行良好，但是在合同中添加了@ results之后，在运行检查时得到了奇怪的结果。@returns response 1
当运行刮伤检查时，我突然得到“未处理的错误被推迟”。首先，scrapy的反馈是0合同，尽管有3份合同(事实上，合同似乎只有在失败时才算在内)。第二
浏览 1提问于2018-10-01得票数 1
回答已采纳
': None, }
我删除了中间件中的代理行，但是我得到了相同的问题，相同的错误</e
浏览 0提问于2019-08-13得票数 1
回答已采纳
我试图在Windows10上学习BashOnUbunty上的Scrapy，我使用gen蜘蛛命令创建了一个蜘蛛(yelprest)，然后通过创建蜘蛛文件(遵循官方教程)直接创建了另一个蜘蛛(quotes_spider第一个蜘蛛还没有测试，但是我试着用第二个蜘蛛来完成教程，当我尝试运行时，我得到了一个指向第一个蜘蛛的错误。此外，当我尝试运行任何其他刮取命令(如version )时，我会得到与上面相同的错误。以下是
浏览 2提问于2017-10-30得票数 0
回答已采纳
4回答
我在以下两个问题上寻求您的帮助-如何像在python中那样为不同的日志级别设置处理程序。目前，我有STATS_DUMP = True
但是Scrapy生成的调试消息也会添加到日志文件中。这些都是非常长的和理想的，我希望调试级别的消息留下的标准错误和信息消息被转储到我的L
浏览 2提问于2011-11-30得票数 4
回答已采纳
7回答
我想从cron作业中执行我的抓取程序。#!/bin/bashscrapy crawl my_spider_name */5 * * * *sh /myfolder/crawlers/getdata.sh
但是它不工作，哪里错了，我<
浏览 2提问于2013-06-21得票数 24
回答已采纳
1回答
我在努力学习烧瓶。我在我的项目目录(C：\user\ian\git\flask教程)中创建了一个虚拟环境(venv)。FLASK_APP设置为flask教程，FLASK_DEBUG=1，我在目录中有一个flasktutorial.py。当我输入“烧瓶运行”时，我得到以下信息：* Forcing debug mode on
* Running on http:&
浏览 5提问于2016-06-30得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
