腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
Scrapy
-
从
CSV
获取
数据
时
获取
nan
、
、
、
下面是我
从
CSV
获取
所需
数据
的代码片段: export = pd.read_
csv
(pathName, skiprowsproductOMS = omsIDitem['productOMS'] = productOMS下面是我试图从中
获取
数据
的列 当我运行我的爬行器
时
浏览 30
提问于2020-03-07
得票数 0
回答已采纳
1
回答
抓取,用多个页面爬行动态页面。
、
为了完成一项任务,我正在尝试构建一个蜘蛛,它能够
从
"www.kaercher.com“网店
获取
数据
。webshop中的所有产品都是通过AJAX调用调用的。我设法
从
相应的URL中
获取
所需的
数据
,这个URL由AJAX调用调用。当我设法
从
所有页面
获取
数据
时
,我需要找到一种
从
浏览 0
提问于2019-08-14
得票数 0
回答已采纳
2
回答
如何使用URL
获取
Python中的.
csv
数据
、
、
、
我开始学习Python,并希望
从
网页()中的表中
获取
信息给熊猫。欢迎任何想法。
浏览 9
提问于2022-04-13
得票数 -1
3
回答
如何忽略
CSV
文件中的第一个值?
、
、
、
我有一个包含以下
数据
的
CSV
文件(node.
csv
):0 12.0 12.5 11.0 10.0
nan
import pandas as pd se
浏览 2
提问于2017-07-25
得票数 0
回答已采纳
1
回答
打开
CSV
文件
时
出错,因为“已超过最大行数”
、
我在
Scrapy
上工作,我从一个网页上
获取
数据
,并试图将它们存储在
csv
文件中。The maximum number of rows has been exceeded.如何让
Scrapy
将所有2560行下载到一个
csv
文件中?
浏览 2
提问于2012-06-04
得票数 0
回答已采纳
3
回答
如何在使用正确的.replace进行乘法
时
避免重复
、
、
、
我有一些
数据
,我想用
Nan
替换points ...。但是当我将列['Cost']相乘
时
,'
Nan
'也会增加:import numpy as npdf['Cost']*=10怎样才能让数字乘法?
浏览 3
提问于2017-05-30
得票数 1
1
回答
使用
Scrapy
从
网页中提取某些产品
、
、
、
、
我用Python编写了一个脚本,
从
books.toscrape中
获取
各种产品名称和价格。我将这个小代码提交给code的原因是,在Python3中,当涉及到使用
Scrapy
和解析web中的一些
数据
时
,
csv
输出看起来很尴尬(如果
csv
是
从
默认命令派生的,就像在
scrapy
crawl toscrapesp-o items.
csv
-t
csv
中那样)。()import
c
浏览 0
提问于2017-09-16
得票数 1
1
回答
基于两列值的Pandas
数据
重构
、
、
在Python中,我想用两个可能的路径搜索dataframe中的所有行(dataframe是
从
csv
文件中填充的)。如果给定行的“group”列为非零,则
获取
具有相同“group”列值的所有三行(也由“子组”列标识为1、2或3),并将其添加到新
数据
帧的下一行。
从
csv
文件生成
数据
的代码: r_file = pd.read_
csv
(name) 目前的
数据
浏览 0
提问于2019-04-01
得票数 3
回答已采纳
1
回答
刮擦:在输出中保留刮过的项目的原始顺序。
、
我有下面的
Scrapy
蜘蛛
从
文件url.txt中的urls列表中
获取
页面的状态from
scrapy
.contrib.spiders import CrawlSpider] = response.url yield itemimport
scrapy
class StatusLinkItem(
scrap
浏览 2
提问于2015-05-12
得票数 2
回答已采纳
1
回答
抓取CrawlSpider -只有在第一个URL完成后才开始在下一个URL上爬行
、
、
我知道这是正常的
Scrapy
行为,因为它是异步的,但是我还是可以这样做的,所以首先从yellowpages.com提取所有链接,然后
从
sports.yahoo.com提取链接等等。
浏览 1
提问于2016-01-03
得票数 2
9
回答
BeautifulSoup和
Scrapy
crawler有什么区别?
、
、
、
我对BeautifulSoup比较熟悉,但对
Scrapy
crawler不太熟悉。
浏览 323
提问于2013-10-30
得票数 146
回答已采纳
2
回答
未到达管道的项目
、
我对python和
scrapy
很陌生。我不会在管道中
获取
项目
数据
。没有什么是用
csv
编写的。extract()[0] item['title'] = var管道文件 self.csvwriter =
csv
浏览 5
提问于2016-04-07
得票数 0
回答已采纳
2
回答
我如何
从
有下一个按钮的网站刮擦,如果它滚动?
、
我正试着从一个叫做商示波器的网站上搜集所有的
数据
。但是,当我试图运行我的代码
时
,它只是得到一个随机引用。它至少应该从那个页面中
获取
所有的
数据
,但它只需要一个。另外,如果我
从
第1页得到
数据
,我想要的是
从
所有页面中
获取
数据
。 import
浏览 0
提问于2019-04-15
得票数 0
2
回答
在
scrapy
中
从
多个文件中刮取多个地址
、
、
、
到目前为止,我的代码如下:from os import listdirimport json name = 'hotel_info' allowed_domains = ['lastsecond.ir']
浏览 2
提问于2018-01-05
得票数 1
回答已采纳
1
回答
我不知道如何在表格中打印刮擦的
数据
、
、
、
我见过一些东西,但我不能在桌子或.
csv
中播放这个来打印屏幕上的表格,有人能帮我吗?我迷路了 name = 'sinonimo' start_urls = ['https
浏览 1
提问于2022-08-04
得票数 0
1
回答
如何将
数据
从
scrapy
插入到mysql
、
、
、
、
我正在尝试使用
scrapy
从
amazon
获取
数据
,我可以在
CSV
中获得
数据
,但是我无法在mysql
数据
库中插入
数据
,请找到我的代码,我的蜘蛛是。import
scrapy
from
scrapy
.contrib.spiders importprint "Error %d: %s" %
浏览 6
提问于2014-12-05
得票数 1
回答已采纳
1
回答
在python (jupyter notebook)中使用
scrapy
拉取特定
数据
?
、
、
我正在尝试使用jupyter notebook运行一个爬虫来
获取
特定的
数据
-在这种情况下,结果应该
从
链接的下拉列表中
获取
"21个服务“。我有以下代码: import
scrapy
class DCspider(
scrapy
.Spider ):bb-dropdown-label > div:nth-child(2) > div.sku-chooser__label
浏览 57
提问于2020-01-01
得票数 0
1
回答
尝试
获取
二维数组中的值
时
出现KeyError (
从
csv
文件导入)
、
、
我需要一个代码,我
从
几个
csv
文件(包括距离,高度,角度,波长等)加载
数据
。但是,当我尝试
获取
2d数组中的元素
时
(例如obbl18,7或geometry2,5),我得到"KeyError: (18, 7)“(或KeyError: (2, 5)等)。我不明白为什么..。下面是我作为
csv
文件获得的内容(
从
obs文件的第15行到第19行): Date of acq. [yyyymmdd] Operation ...
NaN
浏览 0
提问于2020-03-05
得票数 0
2
回答
在pandas中如何根据字符串列中的
NaN
进行过滤?
、
我已经使用pd.read_
csv
()
从
CSV
加载了一个
数据
帧,看起来
CSV
中的空单元已经加载为
数据
帧中的
NaN
。 ods id provider1 L81042 463061
NaN
2C84013
NaN
浏览 3
提问于2016-05-11
得票数 9
回答已采纳
1
回答
Python requests.post的刮伤版
、
、
、
但是,由于我正在编码的存储库的体系结构是基于
scrapy
的,所以我想提出相同的请求,但要翻译为
scrapy
json_data = { 'page_size没有给我预期的反应的粗糙的替代方案from
scrapy
.http import JsonRequest j_response = JsonRequest(url=endpoint, headers=headers, data=json_data)
浏览 5
提问于2022-10-11
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
Scrapy爬虫获取公开数据
从数据库获取数据并绘图
如何从机器学习数据中获取更多收益
使用带外数据从电子表格获取数据
《Python数据分析入门:从数据获取到可视化》
热门
标签
更多标签
云服务器
ICP备案
对象存储
腾讯会议
云直播
活动推荐
运营活动
广告
关闭
领券