2回答
我正在尝试使用Python和BeautifulSoup bs4从Walmart获取一些数据。简单地说，我编写了一个获取所有类别名称的代码，这是可行的： import requests
print(sub_list) 问题是，当我尝试使用
浏览 54提问于2021-04-18得票数 1
回答已采纳
1回答
从沃尔玛那里得到租金
、、、
我正试图在Selector分店的帮助下，从一些沃尔玛( Walmart )专卖店获得价格和库存状况。我能得到商店的地址，但无法得到价格和库存情况。任何建议都将不胜感激！以下是我迄今所做的工作 library(rvest)
> price > stock
浏览 1提问于2017-02-10得票数 1
回答已采纳
我使用的是python 3.6，我可以使用BeautifulSou.来抓取文本。我正在用沃尔玛网站练习。我试图从沃尔玛抓取文本。这是我的代码。我得到的不是描述，而是其他东西。
请帮我解决这个问题。
浏览 0提问于2017-08-30得票数 0
2回答
我正在使用Scrapy抓取沃尔玛网站，我正在尝试一个类别，但我无法确定下一页的xpath。这是我的资料，有人能帮帮忙吗？response.xpath('//*[@class="paginator outline"]/ul/li/a/@href') 要检查的沃尔玛网址：https://www.walmart.com/browse
浏览 15提问于2019-12-18得票数 0
我正在使用Ruby on Rails和机械化库来抓取商店网站。问题是很多时候我不能抓取某些元素。然而，当我在网站上“查看源代码”时，我可以看到这一点。例如，沃尔玛的类别(在这种情况下是“健康”)是不可推卸的。我相信这是因为它是动态生成的HTML (例如，从javascript)。为了解决这个问题，我需要一个浏览器来处理web请求。安装用于UI抓取的浏览器将会很困难。有没有什么Rails gem/plugin可以帮助我？
谢谢
浏览 0提问于2011-12-13得票数 2
回答已采纳
我已经写了一些项目，从一些电子商务网站抓取商品数据。我组织了
它们被分成几个github回购项目，这意味着在一个名为walmart的github回购中爬行沃尔玛的项目。所以我有几个回购，像沃尔玛，百思买现在。我想将这些repos迁移到另一个repo中，并且仍然保存提交历史。在google之后，我找不到一个有用的方法去尝试。有什么方法可以做到吗？
浏览 2提问于2015-01-03得票数 0
回答已采纳
2回答
如果所有的评论都在不同的页面上，如何从沃尔玛的评论页面(例如：)中抓取所有的评论?我用机械(Nokogiri)抓取，但它不能点击按钮(它不是表单的一部分，那么我就不能提交)。
浏览 0提问于2018-10-02得票数 0
回答已采纳
到目前为止，我的蜘蛛代码一直运行得很好，但是现在当我试图运行一批这样的蜘蛛时，除了一些蜘蛛，刮除下载图像，其余的什么都没有。除了start_urls，所有的蜘蛛都是一样的。任何帮助都是非常感谢的！这是我的pipelines.pyfrom scrapy.exceptions import= '%s/%s' % (BOT_NAME, BOT_VE
浏览 2提问于2015-06-12得票数 1
我刮过以下网站:使用Selenium的。我正在搜集所有的表格数据。它运行得很好，但是运行脚本需要相当长的时间。因此，我开始搜索替代方案，并在StackOverflow上使用API向服务器发送请求，但经过几个小时的尝试和搜索(例如，我放弃了)，因为我没有得到一些东西：
import json
url = "https://www.eex-transparency.com/aja
浏览 4提问于2017-11-25得票数 1
2回答
我正在尝试从有经验的人那里获取更多的信息，一般来说，我正在使用Python库进行web抓取。与此同时，我注意到一些人正在使用simple Bash，并使用wget, curl, sed, grep, awk等命令进行web抓取。与使用Python库进行web抓取相比，这些命令在脚本编写方面似乎要干净得多。
你对此有什么看法？您认为使用python库比使用Bash有什么优势吗？或者甚至使用Python
浏览 1提问于2017-03-03得票数 0
3回答
一家大型科技公司的多个团队(拥有不同的系统组件/微服务)如何共享他们的数据库。
有多个相关的疑问，我有在这两
浏览 13提问于2022-01-15得票数 0
回答已采纳
很可能会让我的IP被禁止。有人建议我使用WebKit (如Ghost.py )来抓取数据，但在浏览器中模拟打开的选项卡使连接保持打开状态。我对WebKit知之甚少，是否有人能为我确认Ghost.py能够重用相同的连接，或者是否有其他更好的建议。
浏览 1提问于2015-08-12得票数 1
回答已采纳
我对python编码有点陌生，我有一个项目，我决定编写一些代码，当输入一个Facebook用户URL时，它将返回他们的配置文件必须提供的所有数据。任何帮助都将是非常感谢的，或者如果您有类似的代码，我很想观察。
我正在寻找在python中执行此操作。
浏览 4提问于2022-03-29得票数 -1
1回答
我需要学习高级python编程技能才能使用python进行web抓取吗？或者，我应该看一些关于网络抓取的教程，同时学习使用python。我对python没有任何经验，因为我是Laravel开发人员，这是我第一次在web抓取中做这样的工作。
浏览 0提问于2019-11-04得票数 -1
5回答
如何从其他网站获取数据？
、、、
我想创建一个网站，从其他网站提取信息，并将它们打印到我的网站上，我正在进行研究，所以我想听取一些意见，这个项目的最佳解决方案是什么？我听说Python使用解析器可以做到这一点，我只是想知道我应该走哪条路，应该使用哪种语言？
浏览 1提问于2013-06-14得票数 4
1回答
我有一个建立一个网络刮擦工具的要求。抓取部分将在python中编码，结果将在PHP中显示。结果应该在PHP中异步显示，而python正在抓取页面。在这两种语言之间异步交换数据的
浏览 3提问于2017-05-04得票数 1
回答已采纳
我正在拼凑一个沃尔玛的评论刮刀，它目前从大多数沃尔玛的网页上刮起了html，没有问题。当我尝试抓取一页评论时，它只返回页面代码的一小部分，主要是来自评论的文本和一些错误标记。有人知道问题出在哪里吗？
浏览 11提问于2022-05-28得票数 2
1回答
为了与html页面进行交互，我试图把一些我需要的插件集合在一起。我需要的范围从简单的浏览和与按钮或网页链接(如“在这个文本框中写一些文本并按这个按钮”)进行交互，到解析html页面和向服务器发送自定义get/post消息。我正在使用Python3，到目前为止，我有Request用于简单的网页加载、自定义get和post消息，BeautifulSoup用于解析HTML树，我正在考虑尝试机械化来进行简单的网页交互。还有其他类似于我目前使用的3库的
浏览 3提问于2014-04-17得票数 1
回答已采纳
3回答
BeautifulSoup(page.content, 'lxml') print(paragraph.text)
我想从中抓取排名、审查和审查日期，但是，我不知道如何从多个页面中抓取，并为抓取结果制作一个熊猫DataFrame。
浏览 1提问于2019-01-13得票数 3
回答已采纳
我想自动计算不是我自己的电子商务网站(沃尔玛、家得宝等)上的产品位置。到目前为止，我对如何做到这一点不知所措，任何关于如何进行的方向都将非常感谢。我计划只抓取和导出数据(我不会有任何问题)，而不是让excel处理计数，但我更喜欢另一种方法，如果可能的话，我可以只计算某些项目。
浏览 0提问于2015-12-11得票数 0
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号