腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
Scrapy
/ Python和SQL Server
、
、
有没有可能使用
Scrapy
从网站上获取数据,并将这些数据保存在Microsoft SQL Server
数据库
中? 如果是,有没有这样做的例子?这主要是Python的问题吗?也就是说,如果我发现一些Python代码保存到SQL Server
数据库
中,那么
Scrapy
也可以这样做吗?
浏览 0
提问于2013-02-07
得票数 0
回答已采纳
2
回答
将信息从
Scrapy
爬虫持续导出到Django应用程序
数据库
的最佳方法是什么?
、
、
、
项目是从互联网上刮来的,并在一段时间内不断更新Django项目
数据库
(比如每隔几天)。我正在使用
Scrapy
框架执行抓取,虽然有一个实验性的,但我宁愿远离它,因为它是不稳定的。现在,我的计划是用
Scrapy
的XMLItemExporter (docs )创建爬行项的XML文件,并将这些文件作为XML (docs )使用到Django项目中。当可能有一个更好或更容易的解决方案时,我花了太多的时间在这上面,例如直接导出到
数据库
,在本例中是MySQL。似乎没有人在网上写过这个过程,奇怪的是,在我看来,
Scrapy</em
浏览 3
提问于2011-07-29
得票数 6
1
回答
Scrapy
管道django sqlite3
数据库
保存错误
、
似乎
Scrapy
无法看到
数据库
,因为item.save()返回错误。items.pyfrom myapp.models import Myitem class MyitemItem
浏览 3
提问于2013-11-17
得票数 0
4
回答
从urls列表中下载<very large> number of pages的最佳方式是什么?
、
、
、
、
我有一个>100,000的urls (不同的域名)在一个列表中,我想下载并保存在
数据库
中,以便进一步处理和修补。 使用
scrapy
而不是python的多处理/多线程是否明智?
浏览 2
提问于2013-06-06
得票数 5
回答已采纳
2
回答
是否有可能将
Scrapy
实现为dekstop应用程序?
、
Scrapy
能否在我的自定义桌面应用程序中实现,在这个应用程序中,它会自动在网页列表上进行抓取过程,并将其作为表导出到
数据库
中?
浏览 1
提问于2019-10-31
得票数 0
回答已采纳
1
回答
将
Scrapy
指向本地缓存,而不是执行正常的爬行过程
、
、
我使用管道将
Scrapy
爬行中的文档缓存到
数据库
中,这样,如果我更改了项目解析逻辑,就可以重新解析它们,而不必再次访问服务器。 让
Scrapy
从缓存中处理而不是尝试执行常规抓取的最好方法是什么?我喜欢
scrapy
对CSS和XPath选择器的支持,否则我会用lxml解析器单独访问
数据库
。有一段时间,我根本没有缓存文档并以正常的方式使用
Scrapy
-即时解析项目-但我发现更改项目逻辑需要耗费大量的时间和资源。相反,我现在将文档正文与项解析一起缓存,并且我希望能够让
Scrapy</e
浏览 1
提问于2015-09-05
得票数 3
1
回答
在heroku上部署
scrapy
项目
、
、
、
我这里的问题是,我每天在本地机器上运行
scrapy
spider,然后手动更新heroku上的两个JSON文件。 我想自动化这个过程,即
scrapy
项目应该每天运行,产生的JSON文件应该自动更新。我在这里找到的解决方案是,如果
scrapy
和web服务被部署为单个项目,它将像I want....but一样工作,我不确定是否可以做到。我搜索了关于部署
scrapy
项目的主题,我找到了scrapyd,甚至
scrapy
-heroku,但我不知道它们将如何帮助我,或者我应该如何使用它们来满足我的特定需求。
浏览 1
提问于2014-04-24
得票数 2
2
回答
随后抓取多个蜘蛛
、
我对
scrapy
有点陌生,我被困在了一个点上。我想在蜘蛛关闭时重新启动它。我在这里尝试实现的是从
数据库
获取URL,我编写视图的方式是,每当我发送"
scrapy
crawl xyz“请求时,start_request将获得一个URLnext URL,该URL与从
数据库
传递的前一个请求中的问题是,如果在
数据库
中有四个spider_closed,我需要运行"
scrapy
crawl xyz“4次,但我想避免这种情况,当当前的”URLS“在爬行器的末尾被调用时,我试图触发&q
浏览 17
提问于2016-07-29
得票数 2
1
回答
我如何“重新解析”记录在
数据库
中的html页面?
、
、
我用
Scrapy
在我的
数据库
中记录了html页面。我想用同样的管道对它们进行修复。如何从
数据库
中获取页面,使其遵循与普通
Scrapy
管道相同的管道?
浏览 1
提问于2017-08-17
得票数 0
回答已采纳
1
回答
如何从外部应用程序获取
scrapy
的urls
、
、
给出你的标准
scrapy
应用程序: name = "quotes" ] yield
scrapy
.Request我使用
浏览 3
提问于2017-05-26
得票数 0
1
回答
Scrapy
不会连接到MSSQL
数据库
、
、
、
为了找到解决方案,我已经浏览过google和堆栈溢出,但是尽管多次尝试,
scrapy
还是不会连接到
数据库
。我的哥哥是一个SQL开发人员,他帮助我建立了一个本地
数据库
,我可以用它来存储我的数据。所以我很确定
数据库
(这是非常基本的)的设置是正确的。 productid=
scrapy
.Fie
浏览 1
提问于2019-08-23
得票数 0
回答已采纳
1
回答
将html源代码保存到
、
我正在尝试将网站源代码保存到我的MySQL
数据库
中。使用urllib成功检索到源文件。下一步,保存数据。与
数据库
的连接没有问题,问题出在源代码的保存上,因为当我从insert语句中删除源代码时,一切都很正常。,我尝试了一下,但它产生了相同的错误: cur_webpage_save.execute(mdb.escape_string("""INSERT INTO webpage(
scrapy
_url_id,url,created,source) VALUES('%s', '%
浏览 1
提问于2012-10-29
得票数 0
回答已采纳
1
回答
如何使用
scrapy
抓取网站?
、
、
我要写一个基于
scrapy
的Gui应用程序,用户输入一个网站的URL,然后点击“爬网”按钮,整个网站就会被抓取并存储在内置的
scrapy
-db (sqlite)中。如何使用
scrapy
帮助我抓取网站?
浏览 4
提问于2012-03-09
得票数 0
1
回答
ScrapingHub与远程
数据库
、
、
我正在用start_urls创建一个蜘蛛,并且我想使用MySQL
数据库
在我的蜘蛛中获取
scrapy
。现在我想知道是否有可能将
scrapy
-cloud连接到远程
数据库
?
浏览 2
提问于2015-07-20
得票数 2
9
回答
BeautifulSoup和
Scrapy
crawler有什么区别?
、
、
、
我对BeautifulSoup比较熟悉,但对
Scrapy
crawler不太熟悉。
浏览 323
提问于2013-10-30
得票数 146
回答已采纳
2
回答
抓取Python需要的建议
、
、
、
、
我找到了Beautifulsoup.和
scrapy
.org也请给我一些建议,哪一个更适合这个目的?
浏览 3
提问于2012-12-21
得票数 0
回答已采纳
1
回答
以编程方式调用同一个蜘蛛
、
、
这些网站是通过
数据库
传递的。我希望爬虫在一个无限循环中运行,直到所有的网站都被爬行。目前,我必须一直启动爬虫
scrapy
crawl first。defer.py", line 150, in maybeDeferred File "c:\python27\lib\site-packages\
scrapy
pydispatch\robustapply.py", line 57, in robustApply return receiver(*ar
浏览 7
提问于2016-05-03
得票数 0
回答已采纳
1
回答
使用空字符串初始化类(
scrapy
Item)
、
我正在将一个我在items.py中定义的项目类插入到mongodb中,但我需要它来插入类的所有字段,这样它就会将这些字段作为空添加到
数据库
中。目前,如果我不将类的每个部分设置为空字符串,则在插入到
数据库
中时不会添加该字符串。items.py Title =
scrapy
.Field() Address=
scrapy
浏览 1
提问于2017-08-08
得票数 1
3
回答
在使用
Scrapy
进行抓取之前,检查URL是否在文件中
、
、
# file containing urls to crawl is passed in from command line # >
scrapy
crawl fbo-crawler -a filename
浏览 6
提问于2019-10-11
得票数 0
1
回答
Web用
Scrapy
迭代Postgres
数据库
结果
、
、
、
我正在尝试编写一个从
数据库
结果中获取域的。我能够从
数据库
中获取数据,但我无法思考如何将数据提供给
Scrapy
。我在这里看了看,发现了许多建议,但没有一个是我真正在做的。scaper.pyimport json import psycopg2 conn = psycopg2.connect(
浏览 3
提问于2022-03-05
得票数 0
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
scrapy(一)scrapy 安装问题
保存数据到MySql数据库——我用scrapy写爬虫(二)
Python Scrapy 爬虫(二):scrapy 初试
Scrapy框架的使用之Scrapy入门
Scrapy框架的使用之Scrapy通用爬虫
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券