无法在抓取爬行器中导入items.py
在抓取爬虫中，items.py是一个用于定义数据结构的文件，用于存储爬取到的数据。它通常用于将爬取到的数据保存到数据库或者其他形式的持久化存储中。
在无法导入items.py的情况下，可能有以下几个原因：
- 文件路径错误：请确保items.py文件位于正确的位置，并且在抓取爬虫代码中正确引用了该文件。
- Python环境配置问题：请确保您的Python环境已正确配置，并且可以正常导入其他模块。您可以尝试在其他Python脚本中导入items.py，以确认是否存在环境配置问题。
- 语法错误：请检查items.py文件中是否存在语法错误，例如拼写错误、缩进错误等。这些错误可能导致无法成功导入该文件。
如果您遇到无法导入items.py的问题，可以尝试以下解决方法：
- 检查文件路径：确认items.py文件位于正确的位置，并且在抓取爬虫代码中正确引用了该文件。
- 检查Python环境配置：确保您的Python环境已正确配置，并且可以正常导入其他模块。您可以尝试在其他Python脚本中导入items.py，以确认是否存在环境配置问题。
- 检查语法错误：仔细检查items.py文件中是否存在语法错误，例如拼写错误、缩进错误等。您可以使用Python的语法检查工具来帮助您找出并修复这些错误。
如果您需要将爬取到的数据保存到腾讯云相关产品中，可以考虑使用腾讯云的对象存储服务（COS）来存储数据。腾讯云的对象存储服务提供了高可靠性、高可扩展性的存储解决方案，适用于各种数据存储需求。您可以通过以下链接了解更多关于腾讯云对象存储服务的信息：
腾讯云对象存储服务（COS）：https://cloud.tencent.com/product/cos
相关·内容
我无法使用shell命令"scrapy crawl kbb“运行我的爬行器，因为查找我的项目模块时出错。 return l.load_item()
items.py
浏览 23提问于2019-07-10得票数 0
回答已采纳
1回答
我的爬行器很长很复杂，所以我把一些函数放在一个不同的文件def.py中。./| |-- __init__.py| |-- pipelines.py| `-- spiders| |-- spider.py`-- def.py
我使用以下代码在爬行器中
浏览 2提问于2015-08-04得票数 0
1回答
我想将爬行器导入到测试文件中，并创建一个测试爬行器并覆盖start_urls，但我在导入它时遇到了问题。test_spider.py...product-scraper\oxygen\oxygen\items.py问题是爬行器从items.py导入
浏览 1提问于2013-07-15得票数 0
1回答
我创造了一个爬行新闻的蜘蛛。我想运行这个爬行器，并对其进行调度。它在django项目中。蜘蛛会抓取数据并将其放入数据库中，django将使用该数据库来显示相同的数据。text').extract_first()
return item` items.py：`从scrapy_djangoitem导入</em
浏览 16提问于2020-06-29得票数 0
回答已采纳
在Scrapy中，我在items.py中以特定的顺序指定了项，而我的爬行器又以相同的顺序指定了这些项。但是，当我运行爬行器并将结果保存为csv时，不会保持items.py或爬行器中的列顺序。
浏览 0提问于2011-08-04得票数 12
3回答
我试图通过在项目中添加额外的一行来覆盖爬行器的用户代理。Chrome/27.0.1453.93 Safari/537.36"
#url = http://localhost:6800/但是当我在我自己的网站上运行爬虫时当我从配置文件中删除"default = myproject.setting“行，并运行scrapy crawl myproject.com时，它显示”找不到
浏览 2提问于2013-09-20得票数 39
回答已采纳
1回答
item['PublishDate'] = node.xpath('pubDate/text()').extract_first()此外，这是我的附件items.py文件，它的顺序与我的爬行器相同，所以我不知道为什么输出顺序不正确。Items.py： Title = scrapy.Field()
Description =s
浏览 4提问于2017-06-20得票数 1
2回答
Scrapy图像管道
、、、
我在爬行器中编写了以下函数来抓取网站中的信息。我已经启用了Image管道，甚至可以将图像与相关的抓取数据一起抓取。使用这段代码，我可以生成图像或scraped_data (在最后第二行中注释)。scraped_info = { }我已经检查过运行这段代码来<em
浏览 9提问于2018-01-17得票数 1
回答已采纳
1回答
为了保持条理清晰，我确定爬行器将填充三个item类。 item6 = Field() item8 = Field()目标是将这些项传递到mysql管道，以填充单个表。但这里有个问题。
当我产生三个容器(每页)时，它们被作为三个单独的容器传递到管道<em
浏览 0提问于2012-07-23得票数 1
回答已采纳
1回答
有没有可能在没有活动项目的情况下用Scrapy 0.18.4爬行本地文件？我已经看到了答案，它看起来很有希望，但是要使用crawl命令，您需要一个项目。我在一个Python文件中定义了蜘蛛、管道、中间件和项。我创建了一个只有项目名称的scrapy.cfg文件。这允许我使用crawl，但是由于我没有蜘蛛文件夹，Scrapy找不到我的蜘蛛。编辑--我忘记说我正在使用Crawler.crawl(my_spider)运行这个蜘蛛--理想情况下，我仍然希望能够那样运行这个蜘蛛，但是如果不可能的话，我可以通过脚本在子进程中</
浏览 1提问于2015-01-14得票数 1
回答已采纳
1回答
我在Eclipse中使用Python2.7。我正在做一个教程，用Scrapy构建一个基本的web刮刀。这是链接。在启动命令提示符中的刮板之前，我在尝试以下代码行时收到了“未解决的导入”错误：当我试图使用以下命令在命令提示符中爬行时：
我得到了错误，
浏览 7提问于2013-01-11得票数 0
下面是我的python crawler项目的结构 tmallspider (a folder) tmall_spider.py
items.py 我在tmall_spider.py中工作，我想要从items.py导入 from ..items import TmallspiderItem 如果我在终端中键入以下内容，则此语句有效，并且我的程序将运行： scrapy crawl tspider我需要CrawlerProcess，因为我想按顺序运
浏览 10提问于2020-07-09得票数 0
当我尝试运行scrapy时，我得到了这个错误ImportError:没有模块命名的项目不知道为什么它不加载它.../spider/items.py
浏览 0提问于2012-05-13得票数 21
回答已采纳
我正在使用Scrapy，我需要知道我是必须创建10个独立的项目(每个网站一个)还是在一个项目中创建10个爬虫？
浏览 0提问于2020-05-02得票数 2
我在Spyder/Anaconda环境中使用scrapy。我有一个项目，我正在尝试使用items.py，不管我做什么，我都不能让它识别它，一直得到"ModuleNotFoundError“ 下面是我的dsg_spider.py和items.py文件中的内容。只要我不尝试在爬行器中使用items.py文件，它就会按预期运行和工作。我只是想以一种结构化的格式获取数据，并想在继续之前设置它。项目导入Dsg2Item Mo
浏览 24提问于2019-04-18得票数 0
2回答
有没有可能制作一个Python Scrapy爬虫来抓取整个网站，创建一个字典，在一个列中包含网站中使用的每个单词，并在它旁边的列中显示每个单词的所有实例的URL？如果是，是如何实现的？我假设爬行器应该不断地抓取每个URL，将HTML转换为纯文本，然后将每个字符串划分为列表项，创建一个列表，然后只向该列表添加以前没有添加过的项。但是，同时，它也应该知道哪些条目已经添加到列表中，以及它们的位置，当它抓取一个与列表中已经存
浏览 12提问于2020-04-28得票数 0
在items.py中，我声明了两个名为ItemClass1和ItemClass2的ItemClass。爬行器方法parseUrl获取html和抓取数据，并放入相应项目类的列表中。
浏览 2提问于2012-12-28得票数 3
回答已采纳
正在尝试实现项目加载器。我在items.py中的类名： SiemensLinkcontentItem 我在爬行器中的import语句： import scrapy
from scrapy.loader import ItemLoader
浏览 11提问于2019-05-08得票数 1
回答已采纳
0回答
我对爬行器进行了更改，以使用scrapinghub API的一些方法，并尝试使用"shub deploy“将其重新部署到Scrapy Cloud。我收到一个错误: ImportError:没有名为scrapinghub的模块from scrapinghub import Connection我可以在本地运行蜘蛛。
浏览 3提问于2016-12-29得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
