我的蜘蛛不会爬行所有的元素。 正如我现在所看到的，其中一个错误是属性错误，我不知道如何修复它。这是一个非英语网站，我希望它的数字变成没有"%“和"，”的英文数字。但现在，问题是条带：'NoneType‘对象没有’AttributeError‘属性 这是我得到的日志： 2020-09-01 16:23:53 [scrapy.utils.log] INFO: Scr
浏览 54提问于2020-09-01得票数 0
回答已采纳
import scrapyfrom scrapy.contrib.spiders import CrawlSpiderfrom scrapy.http import Request
class NextlinkSpider(scrapy.Spideryield Request(url='https:/
浏览 0提问于2017-11-21得票数 4
我正在尝试使用Scrapy:链接从这个页面中抓取细节response.css('#intitule > div.nom_fugitif::text').extract_first()
它说div没有C
浏览 1提问于2017-11-01得票数 0
我试图使用scrapy将我的爬虫项目部署到一个scrapyd实例中，但是调用这个推荐返回以下错误：
from setuptools import setup, find_packages'mycrawler&#
浏览 2提问于2013-01-31得票数 2
我试图将用户定义的参数传递给scrapy的爬行器。有谁能建议一下如何做到这一点吗？
我在某处读到过一个参数-a，但不知道如何使用它。
浏览 7提问于2013-03-25得票数 121
回答已采纳
1回答
刮伤壳无响应返回
、、、
所以，我试过：但是，我没有网站的回应。Shell help (print this help)如果我用：一个AttributeError---------------------------------------------------------------------------
浏览 3提问于2017-05-15得票数 5
回答已采纳
1回答
我试图制造一个不和谐的刮刀来获取服务器的所有成员，但是我被卡在登录上了，但是我在页面的源代码中任何地方都找不到csrf令牌--也许这就是我得到这个错误的原因，因为有几个消息来源说它是必需的，但我不确定，这是我的蜘蛛造成问题的原因 name = "Recruteururls = [
'https://discord.com&#x
浏览 0提问于2021-11-08得票数 0
我正在尝试从https://www.gizbot.com/mobile-brands-in-india/中提取所有的品牌名称。以下是mobiles_spiders.py文件的代码 class MobilesSpider(scrapy.Spider):
浏览 15提问于2020-07-11得票数 0
回答已采纳
我是Scrapy和Python的新手，我很喜欢它。
可以使用Visual Studio调试scrapy项目吗？如果可能，如何实现？
浏览 0提问于2014-07-21得票数 4
1回答
现在我不想给它所有的类别，而是包含链接到所有类别的页面。我想我可以简单地添加另一个解析函数来实现这一点。
这告诉我，没有正常工作。我是面向对象的新手，但我认为scarpy是在调用解析，后者调用prase_level2，然后调用parse_details，这
浏览 6提问于2017-11-19得票数 0
回答已采纳
有没有办法将scrapy作为bash脚本的一部分运行，并且只运行一定的时间？也许可以在X小时后模拟Ctrl-C + Ctrl-C？
浏览 0提问于2016-11-25得票数 1
我使用脚本文件在scrapy项目中运行爬行器，并且爬行器记录爬虫的输出/结果。但是我想在脚本文件中使用爬行器输出/结果，在某些函数中，.I不想将输出/结果保存在任何文件或DB中。下面是从获取的脚本代码from scrapy.crawler import CrawlerRunnerfrom scrapy.utils.projec
浏览 3提问于2016-10-25得票数 12
我对BeautifulSoup比较熟悉，但对Scrapy crawler不太熟悉。
浏览 323提问于2013-10-30得票数 146
回答已采纳
__name__)我试图寻找类似的问题，但没有得到答案，为什么刮刮给我这个错误。这是我的蜘蛛from lawn.items import LawnItemimport re
item['state'] = state
浏览 1提问于2019-11-27得票数 0
回答已采纳
1回答
目前，我的代码如下所示：from tutorial.items import IMDB_dict # We need this so that Python knows aboutthe item object
name = "mppaddresses" # The name of this spider= response.urljoin(url)
print("FOOOOOOOOOnd URL:
浏览 0提问于2018-09-05得票数 0
回答已采纳
我用抓取来爬行一个网站，但我不知道如何解析和找到单词。以下是网站，我想找到“你好，我在这里”。//div[@class='sort_left']/p/strong/a/href/text()<div class="sort hottest_dishes1"> <li class="current"><a href="/list_rest.php?a=75&s
浏览 3提问于2014-12-19得票数 0
5回答
我使用以下代码进行了尝试：# AttributeError: 'NoneType' object has noattribute 'strip'
# AttributeError
浏览 18提问于2022-03-30得票数 -1
回答已采纳
编解码器无法解码39号位置的字节0xcc :无效的连续字节
打印response.body.decode('gb2312')它可以打印所有htmlle.extract_links(response.body.decode('gb2312')), File
浏览 0提问于2018-08-16得票数 1
回答已采纳
我有一个列表列表，我想从所有子列表中存在的元素中构造一个集合。示例：a = [[1,2],[2,3]]应提供set([1,2,3])有人能告诉我如何使用reduce函数来做这件事吗？
浏览 0提问于2011-11-30得票数 8
回答已采纳
云服务器
ICP备案
实时音视频
云直播
对象存储
腾讯云开发者
