我正在尝试抓取一个网页，并循环通过一个链接中的所有页面。当我循环遍历下面的所有页面时，代码会给出许多重复的内容 lst = []
urls = ['https://www.f150forum.com/f118/2019-adding-adaptive-cruisecomments.append(result) 删除“if 'disabled‘in soup.select_on
浏览 13提问于2020-01-28得票数 0
回答已采纳
我正在创建webscraper，它将从这个网站中动态地生成玩家数据。
我想要创建一个循环，它将从下拉菜单中为播放器生成数据，刮取数据，然后循环遍历下拉菜单中的所有播放器列表。但我也注意到，每个播放器的URL都遵循特定的模式，所以我考虑了抓取初始页面来收集我需要的所有数据，然后使用这些数据构造URL列表，然后循环遍历URL列表并将它们作为静态页面处理。是否有为这种
浏览 6提问于2020-03-18得票数 1
回答已采纳
我试图检索零售网站内的所有类别和子类别。一旦我进入这个类别，我就能够使用BeautifulSoup来拉取类别中的每一种产品。然而，我正在为类别的循环而苦苦挣扎。我将其用作测试网站
如何遍历网站左侧的每个类别和子类别？问题是，在网站显示所有子类别之前，您必须单击类别。我想将类别/子类别中的所有产品提取到csv文件中。
浏览 12提问于2017-11-30得票数 4
1回答
我正在用Ruby编写一个web抓取脚本，它打开一个二手车网站，搜索汽车的品牌/型号，遍历结果页面，然后抓取每个页面上的数据。我遇到的问题是，我不一定知道开始时页面的最大数量，只有当我迭代到最后几个已知页面时，分页才会增加并显示更多页面。我已经将cleanpages定义为一个数组，并在第一次打开站点时用我知道的可用页面填充它。然后我使用cleanpages.each do遍历这些“页
浏览 0提问于2019-11-09得票数 1
我对python和web抓取都是新手，我想抓取下面的页面：http://www.interzum.com/exhibitors-and-products/exhibitor-index/exhibitor-index-15.php 我想遍历每个参展商的链接，并获得联系方式。然后我需要在所有的77页上做这件事。 我可以从页面中提取所需的信息，但当涉及到构建函数和循环时，我总是遇到
浏览 27提问于2019-03-11得票数 1
2回答
我试图使用python框架从中抓取编辑器数据。response.css("#editors-section>div.row.align-items-center")但是如何收集各自的ro
浏览 14提问于2022-09-02得票数 1
回答已采纳
1回答
我需要从过去7天的https://www.airliners.net/点击中获得所有以下数据。然后会出现一个飞机照片列表。有没有可能遍历所有这些。第一张图片的例子。95LR) / 在这个例子中，有56个页面需要循环。我希望可以用
浏览 1提问于2019-05-10得票数 0
2回答
我是Php的新手，正在尝试复制我在c#中用来进行web抓取的类。我已经构建了一个用于下载页面等的标准Http Helper类，但我寻求有关抓取元素的建议，因为我找不到不涉及循环的简单示例，这些循环只是输出所有内容。"\n";
我不想像上面那样遍历所有内容或猜测元素数组中的项顺序。
浏览 3提问于2012-12-12得票数 0
回答已采纳
我想从具有相似页面结构的多个页面中提取一些信息。页面的所有URL都保存在一个file.txt中(一行中的每个URL)。我已经创建了代码来从一个链接中抓取所有数据(它可以工作)。但我不知道如何创建一个循环来遍历txt文件中的所有URL列表，并刮取所有数据。matplotlib.pyplot as plt
from bs4 import Commen
浏览 8提问于2021-10-06得票数 1
回答已采纳
2回答
我正在尝试解析IDMb上的多个页面。解析器停留在从一个页面收集信息。我已经尝试了许多论坛来解决这个问题，但都没有效果。我怀疑这与没有正确设置我的嵌入式循环或我的初始请求有关。请帮帮忙。谢谢。此脚本的问题:在一个页面上循环。
浏览 2提问于2017-11-29得票数 0
我已经找了好几天了，想知道有没有办法不用循环就能读取python目录中的所有文件。我之所以问这个问题，是因为当我去写文件时，它会再次遍历循环，覆盖我的所有信息，或者当我只需要抓取一个文件时，它就会加倍。
浏览 2提问于2022-06-13得票数 2
2回答
我是python和web scraping的新手。您的帮助我们将不胜感激。我在编程和练习方面是新手。我正在使用python和selenium进行web抓取。 我正在试着从事实上抓取数据。目标是找到过去24小时内发布的所有工作，并刮刮外部链接，这是在工作详细信息页面上与链接文本“申请公司网站”，标题，公司，名称，位置，工作描述。我写了以下代码，但是它正确地获取了页面上的所有链接，然后当我试图打开每个链
浏览 33提问于2020-07-15得票数 1
回答已采纳
我无法读取他的for循环并获取项目列表，它根本不打印任何内容，并跳过整个循环导入请求import re from bs4 import BeautifulSoup maxPages = 10 maxPages
浏览 0提问于2018-08-02得票数 0
我正在尝试使用嵌套循环来进行web抓取，并获得标题和作者名称。第一个循环位于页面链接上，然后第二个循环是该链接中的项目ID。我想要获得的内容在文章ID中，但是，我面临的问题是，当python遍历第一个网站链接，并试图找到只能在其他链接中找到的ID时，它返回一个none，从而使soup.find声明"NoneType“没有属性查找我想知道我的代码中包含了什么，以确保
浏览 4提问于2022-10-08得票数 -3
最近，我一直在尝试用Python和Selenium进行Web抓取和爬行。它是一个具有线程的reddit页面，每个线程都有一个标题。当单击标题时，它会转到特定的线程。线程由描述和内容组成。我想做的是：
步骤3)循环遍历Title数组中的每个项。但是当它返回时，它给了我一个错误在这
浏览 10提问于2017-04-27得票数 0
回答已采纳
我已经能够使用Selenium启动一个显示搜索结果的web浏览器，使用嵌入在iframe中的xpath点击第一个链接，然后用漂亮的汤抓取内容，然后导航回搜索结果。我遇到的问题是无法单击搜索结果中的下一个账单，因为我不确定如何遍历xpath (或者如何遍历将把我带到每个后续账单的内容)。我希望能够抓取每一页上所有账单的信息，然后能够导航到搜索结果的下一页。，因为一旦我能够做到这一点，我假设我可以循环每一页上的账单，然后
浏览 9提问于2019-08-06得票数 0
1回答
为了与html页面进行交互，我试图把一些我需要的插件集合在一起。我需要的范围从简单的浏览和与按钮或网页链接(如“在这个文本框中写一些文本并按这个按钮”)进行交互，到解析html页面和向服务器发送自定义get/post消息。我正在使用Python3，到目前为止，我有Request用于简单的网页加载、自定义get和post消息，BeautifulSoup用于解析HTML树，我正在考虑尝试机械化来进行简单的网页交互。是否有某种集合的地方，所有的Python库挂起？因为我有时会发现很难
浏览 3提问于2014-04-17得票数 1
回答已采纳
1回答
我试图用selenium抓取Javascript页面，但遇到了一些麻烦。我尝试执行for循环遍历所有行，然后从这些行中提取表数据。webdriver
driver = webdriver.Chrome('G:/Python此外，我试图抓取所有1
浏览 2提问于2021-03-26得票数 0
1回答
我有一个脚本，它解析HTML页面以找到一个具有指定ID的元素。我需要的是获取父节点(实际上，我需要两个父节点)，这样我就可以循环遍历表中的所有链接来找到我想要的链接，这样我就可以解析整个表的HTML以找到我想要的链接。= CreateObject("InternetExplorer.Application")web.Navigate prompt
Do While web.Busy此外，我<
浏览 2提问于2013-09-27得票数 3
回答已采纳
这是我在这个页面上的第一个问题。我有一个列表，它可以帮助我在网络上搜索列表中的元素： list = ["web-page","web-page1", "web-page2"] 然后是Web抓取过程，它遍历要抓取的网页列表。(例如" web-page ")，但我不知道该怎么做。df = pd.concat([result2, charact
浏览 9提问于2020-07-03得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
