嗨，有人能帮我，我似乎被困住了，我正在学习如何爬行和保存到mysql我们刮刮。我正在尝试抓取抓取所有的网站网页。从"start_urls“开始，但它似乎并不会自动爬行所有页面，而是使用pipelines.py保存到mysql中。这是我的密码import scrapyfrom scrapy.contrib.spid
浏览 6提问于2015-03-30得票数 0
回答已采纳
1回答
我已经用Scrapy成功地抓取了一个网站上的图像数据，并将图像保存在一个文件夹中。但我想将图像的路径名保存在mysql数据库中。masa-kampanye-jadwal-pemilu-hingga-e-voting-jadi-isu-revisi-uu-pemilu-qoQ.jpg'}],import mysql.connectorsignals.close_spider)
def create_connection(self)
浏览 11提问于2019-08-05得票数 1
回答已采纳
我想用scrapy编写一个爬虫，在我写完爬虫文件，项目文件，管道文件等后，我想将数据保存到数据库中，但我发现项目‘’url‘的数据类型实际上是字符串类型，字符串包含列表，我无法获得里面的数据，我找不到问题所在JumiaspiderPipeline(object):
self.conn=pymysql.connect( db=settings.MYSQL_DBNAME,
use
浏览 22提问于2018-09-05得票数 0
回答已采纳
(scrapy_course) andylu@andylu-Lubuntu-PC:~/Desktop/Misc_python_scripts/Scrapy_Webscraping_Course/books_crawler下一首,我尝试连接到mysql：( andylu@andylu-Lubuntu-PC:~/Desktop/Misc_python_scripts/Scrapy_Webscraping_Course/books_crawler$
浏览 0提问于2020-12-06得票数 0
1回答
抓取数据并提取到mysql中
、、、、
我试图获取价格并将其保存到数据库中，但我找不出代码发生了什么变化，我可以提取数据，也可以在推荐中使用-o save.xml保存数据，但是当我试图集成settings.py将数据保存到MySql数据库时，test.pyimport scrapy
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractorfrom scrapy.contrib.spiders import
浏览 4提问于2015-03-30得票数 1
回答已采纳
1回答
我正在尝试将网站源代码保存到我的MySQL数据库中。使用urllib成功检索到源文件。下一步，保存数据。，我尝试了一下，但它产生了相同的错误：
cur_webpage_save.execute(mdb.escape_string("""INSERT INTO webpage(scrapy_url_id,url,created,source) VALUES('%s', '%s', '%s', '%s');""
浏览 1提问于2012-10-29得票数 0
回答已采纳
2回答
显示异常的Pipeline.py
、、、、
我正在建立一个小项目在Scrapy和是新的Scrapy。当我运行我的蜘蛛时，它在我的管道中显示一个异常错误，上面写着：
import sysimport MySQLdb
# the Pipeline settings.[0], e.args[1]
浏览 2提问于2013-07-30得票数 0
1回答
在生产中)，我在爬行器的每个调用中都会得到这个错误：
/usr/lib/python2.6/dist-packages/zope/__init__.py:3: UserWarning: Module _mysqlwas already imported from /usr/lib/pymodules/python2.6/_mysql.so, but /usr/lib/pymodules/python2.6 is
浏览 2提问于2012-06-07得票数 1
回答已采纳
2回答
嗨，我正在处理scrapy和写一个管道，在那我有一个查询，应该把数据写入到mysql数据库(1064, "You have an error in your SQL syntax; check the manual that corresponds to your MySQLsyntax to use near '))' at line 2
浏览 0提问于2012-06-01得票数 0
我正在尝试保存scrapy crawl命令的输出，我已经尝试过scrapy crawl someSpider -o some.json -t json >> some.text，但它不起作用，有人告诉我如何将输出保存到文本文件中...我的意思是通过scrapy打印的日志和信息……我正在尝试保存scrapy crawl命令的输出，但它不起作用。
浏览 5提问于2013-05-20得票数 12
回答已采纳
我想抓取这个网站()，然后将数据保存到MySQL数据库中。所以，我设计了一个基本的爬虫：from ..items import QuotetutorialItem
## See: https://doc.scrapy.o
浏览 0提问于2019-06-21得票数 1
2回答
在scrapy教程中，我们说为了将输出保存到csv或任何其他格式，我们应该使用以下命令：通常，我们可以使用以下命令：scrapy crawl my_spider -o file_name.extension -t extensionscrapy crawl spider
浏览 2提问于2015-06-16得票数 3
回答已采纳
将每个项目保存到mysql数据库中，获取先前添加的记录的(auto_increment) ID，该页面是上面的URL(#1)使用引用(外键)来保存该页面中定义的ID的<<代码>H 210</代码><code我在Python3.8上使用了Scrapy 2.6.2。下面我的简化代码，没有错误处理等。蜘蛛from scrapy import signals
class MySpider(scrapy
浏览 3提问于2022-09-13得票数 0
1回答
Scrapy找不到项目
、、、、
我目前仍在学习Scrapy，并尝试使用管道和ItemLoader。 但是，我目前遇到的问题是，爬行器显示Item.py不存在。我到底做错了什么，为什么我没有从爬行器获得任何数据到我的管道中？from scrapy.crawler import CrawlerProcessfrom watches.watches.itemsimport WatchesItem
clas
浏览 33提问于2021-11-11得票数 0
回答已采纳
我正在尝试从Django调用scrapy spider，views.py file.The spider确实被调用了，但它的输出显示在命令提示符中，并且没有保存在Django模型中以将其呈现到页面上。我单独检查了运行爬虫以验证scrapy和Django是否连接并且工作正常，但当使用CrawlerRunner()脚本进行自动化时，它不能正常工作。import signalsfrom scrapy.crawler import Crawler,CrawlerRunner
浏览 44提问于2020-02-01得票数 0
回答已采纳
我用scrapy构建了一个web cralwer，并将数据存储到mysql数据库(我从一个url抓取源代码)，现在我想做离线编辑。因此，我创建了sql查询来使用python导出数据，并尝试从中爬行。事实上，我不能用scrapy来做这件事。我没能用scrapy做到这一点，如果有人有任何建议或类似的项目，可以帮助我。我尝试过使用scrapy查询数据库并将数据存储到import mysql
from
浏览 1提问于2019-08-14得票数 0
我想将的输出保存到MySQL，但我想了解为什么在item管道中出现了以下错误：Exception AttributeError以下是相关代码：import scrapy
name = "quotes"class QuoteItem(scrapy.Item):
#
浏览 2提问于2016-12-21得票数 0
回答已采纳
1回答
我想将div元素class="col-md-12博客-数据“(包含图像)保存到html文件中。我应该把response.css放在哪里？我对蟒蛇和刮痕很陌生。import scrapy
name = "quotes" urls= [ ]
浏览 2提问于2018-05-25得票数 0
回答已采纳
我正在使用Scrapy框架执行抓取，虽然有一个实验性的，但我宁愿远离它，因为它是不稳定的。现在，我的计划是用Scrapy的XMLItemExporter (docs )创建爬行项的XML文件，并将这些文件作为XML (docs )使用到Django项目中。当可能有一个更好或更容易的解决方案时，我花了太多的时间在这上面，例如直接导出到数据库，在本例中是MySQL。似乎没有人在网上写过这个过程，奇怪的是，在我看来，Scrapy是一个很好的框架，可以插入Django应用程序。实验DjangoItem的存在表明Scrapy
浏览 3提问于2011-07-29得票数 6
云服务器
ICP备案
实时音视频
云直播
对象存储
腾讯云开发者
