Python :如果满足特定条件，如何使用不同的抓取页面重复“bs4”循环？
在Python中，如果满足特定条件，我们可以使用不同的抓取页面重复"bs4"循环的方法是通过使用条件语句和循环结构来实现。
首先，我们需要使用条件语句来判断特定条件是否满足。例如，我们可以使用if语句来判断某个变量的值是否满足特定条件。
接下来，我们可以使用循环结构来重复执行"bs4"循环。根据不同的条件，我们可以选择使用不同类型的循环，如for循环或while循环。
下面是一个示例代码，演示了如何根据特定条件使用不同的抓取页面重复"bs4"循环：
# 导入所需的库
from bs4 import BeautifulSoup
import requests
# 定义一个函数，用于抓取页面并进行"bs4"循环
def scrape_page(url):
# 发送HTTP请求并获取页面内容
response = requests.get(url)
content = response.text
# 使用BeautifulSoup解析页面内容
soup = BeautifulSoup(content, 'html.parser')
# 进行"bs4"循环的操作
# ...
# 定义一个变量，用于存储特定条件
condition = True
# 根据条件选择不同的抓取页面重复"bs4"循环
if condition:
# 使用循环结构重复执行"bs4"循环
for i in range(10):
url = f'https://example.com/page{i}'
scrape_page(url)
else:
# 使用不同的循环结构重复执行"bs4"循环
i = 0
while i < 10:
url = f'https://example.com/page{i}'
scrape_page(url)
i += 1在上述示例代码中，我们首先导入了所需的库，包括BeautifulSoup和requests。然后，我们定义了一个名为scrape_page的函数，用于抓取页面并进行"bs4"循环的操作。接下来，我们定义了一个变量condition，用于存储特定条件。根据条件的不同，我们选择使用不同的循环结构来重复执行"bs4"循环。如果条件为True，我们使用for循环重复执行"bs4"循环，循环次数为10次；如果条件为False，我们使用while循环重复执行"bs4"循环，循环次数同样为10次。
需要注意的是，上述示例代码中的scrape_page函数仅用于演示目的，实际应用中需要根据具体需求进行相应的修改和完善。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云官网：https://cloud.tencent.com/
- 云服务器（CVM）：https://cloud.tencent.com/product/cvm
- 云数据库 MySQL 版：https://cloud.tencent.com/product/cdb_mysql
- 人工智能平台（AI Lab）：https://cloud.tencent.com/product/ailab
- 云存储（COS）：https://cloud.tencent.com/product/cos
- 腾讯云区块链服务（BCS）：https://cloud.tencent.com/product/bcs
- 腾讯云元宇宙解决方案：https://cloud.tencent.com/solution/metaverse
相关·内容
3回答
我试图从一个网站上抓取用户列表，但它有多个页面，我可以抓取第一个页面，但当我抓取每个页面时就卡住了。
代码-
from bs4 import BeautifulSoup
import requests
source = requests.get('example.com/users.php?page=1').text
soup = BeautifulSoup(source, 'lxml')
for profile in soup.select("li h3 a"):
print(profile.text)
在url中的通知
pag
浏览 5提问于2018-01-09得票数 1
回答已采纳
我想从具有相似页面结构的多个页面中提取一些信息。页面的所有URL都保存在一个file.txt中(一行中的每个URL)。我已经创建了代码来从一个链接中抓取所有数据(它可以工作)。
但我不知道如何创建一个循环来遍历txt文件中的所有URL列表，并刮取所有数据。
from bs4 import BeautifulSoup
from urllib.request import urlopen
import requests
import pandas as pd
import numpy as np
import json
import matplotlib.pyplot as plt
from bs
浏览 8提问于2021-10-06得票数 1
回答已采纳
4回答
我正在尝试找到一种在BS4中抓取多个页面的有效方法。我能够轻松地抓取第一页，并获得我需要的所有数据，但不幸的是，并不是所有的数据都在上面。还有另外两个页面需要抓取，而不是硬编码并更改第二个和第三个页面的URL，我想知道是否有更好的方法使用BS4在Python中实现这一点。唯一需要更改的部分是page=1到相应的页码(1、2、3)。
import csv
import requests
from bs4 import BeautifulSoup
url = "https://www.congress.gov/members?q={%22congress%22:%22115%22}&
浏览 0提问于2018-04-04得票数 0
1回答
我对数据抓取很陌生，我很少检查过关于刮伤和漂亮汤的资源，但是我正在努力解决下面的问题。
起始页面URL为。
我想要的信息，如价格，地毯是为每个项目，然后点击项目链接
现在我需要收集部分的内容-概述，便利设施，规格等，然后回到以前的列表页面，并重复这对所有项目列出的页面。同时，点击next按钮并对所有条目重复相同的操作。
请告诉我如何在python中为这个用例实现一个抓取算法。下面是我尝试过的一个非常基本的级别代码：
> import pandas as pd from pandas
> import ExcelWriter
> import requests,re,csv
浏览 1提问于2019-01-15得票数 0
回答已采纳
2回答
我正在尝试使用Python抓取这个网站：'‘。
首先，我注意到我感兴趣的表实际上位于这个url：
但是，requests + BS4只给了我HTML格式的页面源代码。我假设这是因为内容是动态的。
因此，我尝试了Selenium + BS4来抓取网站，但我仍然只能抓取页面源代码。
from selenium.webdriver import Firefox
from bs4 import BeautifulSoup
import lxml
driver = Firefox()
url = 'https://ec.europa.eu/assets/eac/msca/jobs/im
浏览 4提问于2020-02-02得票数 0
我想使用python抓取以下网站，并需要将已抓取的数据导出到CSV文件中：
该网站包括154页的相关搜索。我需要调用每个页面，并希望刮取数据，但我的脚本无法连续调用下一个页面。它只刮一页数据。
在这里，我给值i<153，因此，这个脚本只运行154页，并给了我10个数据。我需要从第一页到第154页的数据
如何在运行脚本后从所有页面抓取全部数据，以及如何将数据导出为CSV文件？？
我的脚本如下
import csv
import requests
from bs4 import BeautifulSoup
i = 0
while i < 153:
url =
浏览 2提问于2016-07-24得票数 0
1回答
我试图通过BS4 python来抓取动态网站：
我试过：
from urllib.request import urlopen
from bs4 import BeautifulSoup
page = urlopen(wiki)
soup = BeautifulSoup("https://www.nadlan.gov.il/?search=תל אביב יפו")
我有两个问题：
网站是动态的，当我查看页面源时，我没有看到只有JavaScript脚本：的页面内容
当我打开站点时，加载数据需要几秒钟时间：：
如何用硒来解决这些问题呢？
浏览 1提问于2020-09-22得票数 0
回答已采纳
我正在尝试创建一个for循环，一旦它到达抓取的页面中的最后一个search_result属性，它将重复该循环，但会使用新抓取的网页的数据。
在for循环到达最后一个属性后，它将在网页上查找链接，并对新抓取的网页重复该循环。
我已经写了下面的代码，但循环不会重复从原始网页的链接中获得新的抓取页面。
import requests
from bs4 import BeautifulSoup
page = requests.get(URL, headers=headers)
soup = BeautifulSoup(page, 'lxml')
for search_result
浏览 7提问于2019-08-16得票数 1
回答已采纳
这是我的第一个Python脚本。我目前正在尝试从多个url中抓取嵌入到HTML表中的数据，这些url位于一个名为url-list.txt的文件中。我已经成功地使用Python的Panda库从一个页面中抓取了所需的数据，然而，我正在尝试执行一个简单的for循环，从url-list.txt文件中加载每个url，以便从剩余的100个左右的url中抓取数据。这是我到目前为止所得到的。您可以看到我在for循环中的尝试被注释掉了。任何帮助都将不胜感激。
import bs4 as bs
import urllib.request
import pandas as pd
#url_list = "
浏览 4提问于2019-06-08得票数 0
1回答
我已经用BS4写了一个小的网页抓取器，用这个代码我可以一次刮掉一个页面，下面是相关代码。
import csv
from bs4 import BeautifulSoup
import requests
html = requests.get("http://www.gbgb.org.uk/resultsMeeting.aspx?id=129867").text
soup = BeautifulSoup(html,'lxml')
这段代码抓取一个页面，但是我想一次抓取多个页面(一个范围)，所以我尝试像这样添加这个for循环。
import csv
from bs
浏览 1提问于2016-04-02得票数 0
1回答
访问HTML注释中的标记
、、、
我已经通过BS4熟悉了使用Python进行web抓取的过程。我还没有找到嵌入在注释中的DOM标记的解决方案。例如，当试图从.html页面()获取数据时，检查页面上的表显示：
<div class='table_outer_container"> ... </div>
我通常可以用BeautifulSoup抓取。但是，当我查看实际的页面源时，上述表被包含在注释标记中：
<!--
<div class='table_outer_container"> ... </div>
-->
我一直无法找到通过BS
浏览 0提问于2018-12-11得票数 0
回答已采纳
1回答
如何根据特定条件跳过ViewPager中的页面，向前或向后滑动，知道我不知道这些页面的位置。
浏览 0提问于2015-10-20得票数 4
回答已采纳
我尝试用Python创建我的第一个脚本。我使用的是Splash和BS4。 我遵循了 John Watson Rooney 的这个教程（但有我自己的目标）：How I Scrape JAVASCRIPT website with Python 我的目标是抓取此网站调查：2020 年最佳电影 这是我的问题：它多次呈现相同的标题，但列表中最多有 6 个重复项，没有任何逻辑顺序。 有时它渲染不到 100 行，有时更多？ 我想要的是： 按顺序获取 100 个标题 按顺序将它们导出为.csv格式。 下面是我的代码： import requests
import csv
from bs4 import B
浏览 26提问于2020-11-15得票数 0
回答已采纳
我正在学习使用python来抓取网站(在线商店)我正在创建一个拦截代码来抓取网站，其中要抓取的url位于我将加载的CSV文件中。但是，在运行后，重复只能在其中一行中工作一次，不会到达CSV中URL的末尾，也不会继续到下一个url。
disc_information = html.find('div', class_='alert alert-info global-promo').text.strip().strip('\n')
AttributeError: 'NoneType' object has no attribute
浏览 2提问于2020-03-01得票数 0
下面是示例页面：
它有40个结果。如何使用URL访问下一页，内容如下：
*
我知道如何使用刮取库(BS4、Selenium)，但我不知道如何抓取这样的站点。我一直在玩谷歌Chrome开发工具，但没有成功。
我知道pubmed有API，但是API不返回我需要的信息(天气文章是否可以免费下载)。像Python这样的抓取站点通常的工作流程是什么？
浏览 0提问于2019-07-05得票数 0
回答已采纳
代码的基本知识如下所示。事实上，我知道如何检索这些页面是为了其他URL，因为我刚刚编写了一个脚本，以同样的方式抓取另一个页面。但是，对于这个特定的URL，它一直在我的脸上抛出"urllib.error.HTTPError: HTTP 404: Not“。我用一个不同的URL ()替换了URL，它运行得非常好。我对python非常陌生，所以也许我还没有找到一个非常基本的步骤或知识，但我在网上找到的与此相关的资源似乎并不相关。任何建议都会很好，谢谢。
下面是脚本的基本内容：
import bs4
from urllib.request import urlopen as uReq
from
浏览 1提问于2018-09-18得票数 0
回答已采纳
目前，我正在使用Android和BeautifulSoup开发一个网络抓取应用程序。我如何实现？
从bs4导入BeautifulSoup
像我在Python中一样进入Android Studio吗？
我的build.gradle是
python {
buildPython "C:/Python38/python.exe"
pip{
install "bs4"
install "beautifulsoup4"
install "requ
浏览 2提问于2021-12-03得票数 3
回答已采纳
3回答
我已经用Python语言编写了一个脚本来抓取位于标题为<code>D0</code>的表下的所有链接，然后在我的脚本到达内部页面时使用这些链接，然后它将抓取下一个页面的链接。我知道如果我修复了脚本中使用的xpath，我可能会得到唯一的下一页urls。
然而，这里的主要目标是找出为什么我的脚本在使用<code>D1</code>时仍会生成重复的脚本。
我的脚本：
<code>A2</code>
我得到的结果是：
<code>A3</code>
浏览 37提问于2018-12-14得票数 1
回答已采纳
我已经在这里学习了几个月的python示例，但现在是时候自己问一下了。
我目前正在开发一个脚本，它从网站上抓取作业队列，并在存在特定条件时发送通知。
最困难的部分很简单&我将结果拆分为嵌套列表，但是当我尝试搜索一个特定条件时，如果它不存在，我就会得到一个错误。
customers = [['00:00:02', 'S3'], ['00:00:46', 'S2']]
[item for item in customers if 'S2' in item[1]]
print('%s %s')
浏览 0提问于2012-03-02得票数 2
回答已采纳
我想要从网站上抓取数据，但首先我想获得带有分页的页面。在这里，我使用python作为编程语言，并且我已经获得了这段代码。但是当我运行它时，它不能正常工作。当response.url与expected_url不匹配时，必须停止结果。有没有人知道怎么解决它？请帮帮忙，谢谢。代码如下：
from bs4 import BeautifulSoup
import urllib.request
count = 0
url = "http://www.belanjamimo.net/foundation-bb-cream/?o=a&s=%d"
def get_url(url):
浏览 1提问于2018-09-04得票数 0
回答已采纳
我有一个关于Python的问题，我希望这个问题能得到纠正。我不是要被调羹，但是任何建议都会非常有帮助。
我正在做一个小型项目，在那里我“爬行”加拿大士兵死亡的WW1数据库，看看哪些页面缺少信息。
我试图让Python转到每个士兵页面，看看“传记”部分是否是空的。
到目前为止，这是我的代码(不是我的，稍后我会给出信用并链接原始页面)。这是非常混乱的，它可能会使高级开发人员在沮丧中撕扯他们的头发，但请容忍我。
import requests
from bs4 import BeautifulSoup
import time
url_to_scrape = 'http://www.cana
浏览 3提问于2016-10-01得票数 0
2回答
我正在抓取一个网页，其中有一个没有页面，我如何才能抓取这些页面，以获得我想要的信息。假设我正在抓取一个URL ，这个页面有两个页面，我如何抓取这些总页面并得到总的产品列表。
到目前为止我所做的是:我从他们那里抓取一个url，我通过正则表达式抓取一个特定的url，并试图从那个url中找到他们的链接，其他页面中没有包含链接产品名称的信息。我想要从所有页面中获取产品名称。
我的代码：
from bs4 import BeautifulSoup
import urllib.request
import re
import json
response = urllib.request.urlopen(&
浏览 1提问于2016-02-28得票数 0
我正在尝试抓取机票信息(包括机票信息和价格信息等)从使用python3和BeautifulSoup。下面是我使用的python代码。在这段代码中，我试图抓取2012-07-25从北京(北京)到丽江(丽江)的航班信息。
import urllib.parse
import urllib.request
from bs4 import BeautifulSoup
url = 'http://flight.qunar.com/site/oneway_list.htm'
values = {'searchDepartureAirport':'北京', &
浏览 2提问于2012-07-25得票数 5
回答已采纳
我的python代码成功地从https://www.groupeactual.eu/offre-emploi中抓取文本并将其保存到csv文件中。 然而，在上面的网站上有多个页面可用，我希望能够在其中刮。 例如，使用上面的url，当我单击指向"page 2“的链接时，整个url会发生变化，但当我在代码中使用该url时，我会得到来自page 1的结果。 如何更改我的代码以从所有列出的可用页面中抓取数据？ 我的代码： from bs4 import BeautifulSoup
import requests
import pandas as pd
response = requests
浏览 16提问于2020-07-17得票数 1
2回答
如何用循环刮掉多个页面的麻烦？
、、、、
这是我的代码，只抓取一个页面，但我有11000个页面。不同之处在于他们的id。
https://www.rlsnet.ru/mkb_index_id_1.htm
https://www.rlsnet.ru/mkb_index_id_2.htm
https://www.rlsnet.ru/mkb_index_id_3.htm
....
https://www.rlsnet.ru/mkb_index_id_11000.htm
我如何循环我的代码来抓取所有的11000页呢？有可能有这么多的页面吗？可以将它们放到一个列表中，然后抓取它们，但对于11000个它们来说，这将是一条很长的路。
import
浏览 17提问于2019-11-28得票数 0
回答已采纳
1回答
我正在尝试在这个网址上收集所有教练机构的列表：
以下是我的Python代码：
import bs4
from urllib.request
import urlopen as uReq
from bs4
import BeautifulSoup as soup
my_url = 'https://www.sulekha.com/entrance-exam-coaching/delhi'
uClient = uReq(my_url)
page_html = uClient.read()
uClient.close() x
page_soup = soup(page_html
浏览 0提问于2017-09-14得票数 0
1回答
我正在尝试用python3从中抓取数据。该网站包含了基于冠军的FPS多人游戏“圣骑士”的玩家数据。我想要得到一个基于冠军的球员的统计数据，如网站所示。我面临的问题是，当我用Chrome检查页面源代码时，我得到了包含"table“标签的代码，它是干净的，我可以很容易地抓取它：
(我的要点链接)
但是当我创建soup对象时，我得到了一个不同的代码。当我转到页面源码时，它和汤是一样的。页面源代码中没有标记。(您可以查看页面源代码以更好地了解)。
现在，我如何从网站上抓取冠军明智的数据？我正在为python3使用请求和漂亮的汤
import requests as req
import bs
浏览 2提问于2018-06-26得票数 0
2回答
从多个页面中抓取天气数据
、、、
我是python的新手
我想从网站"“上抓取天气数据，我必须抓取从2009-01-01到2018-10-28每一天的天气数据的所有可用属性，我必须将抓取的数据表示为pandas dataframe对象。
下面是特定于Dataframe的详细信息
Expected column names (order dose not matter):
['Average temperature (°F)', 'Average humidity (%)',
'Average dewpoint (°F)', 'Average baromete
浏览 9提问于2019-11-27得票数 0
2回答
有了Beautiful Soup和Request Library，我可以抓取超文本标记语言的内容，但不能抓取JavaScript或AJAX调用的内容。
我该如何通过我的Python脚本来模仿它呢？因为当我们滚动页面时会加载YouTube注释。我发现了两个方法；一个使用Selenium，另一个使用lxml请求，我不太理解这两个方法。
示例()：
import requests
from bs4 import BeautifulSoup as soup
url = 'https://www.youtube.com/watch?v=iFPMz36std4'
response = r
浏览 1提问于2017-11-01得票数 3
我正在学习使用Python Selenium和BeautifulSoup进行web抓取。目前，我正在尝试抓取谷歌搜索趋势上的热门搜索
这是我当前的代码。然而，我意识到完整的html没有下载，我只有最近几个日期的内容。我能做些什么来纠正这个问题？
from selenium import webdriver
from bs4 import BeautifulSoup
googleURL = "http://www.google.com/trends/hottrends#pn=p5"
browser = webdriver.Firefox()
browser.get(googl
浏览 1提问于2013-05-17得票数 15
1回答
这里是Python 3的代码，用于web抓取雅虎财务AAPL的股票价格。
import urllib.request
from bs4 import BeautifulSoup as bs4
htmlfile = urllib.request.urlopen("http://finance.yahoo.com/q?s=AAPL")
htmltext = htmlfile.read()
for price in htmltext.find(attrs={'id':"yfs_184_aapl"}):
print (price)
显然，只
浏览 2提问于2014-01-02得票数 1
回答已采纳
3回答
Web从ajax页面抓取数据
、、、、
我正在尝试从here上抓取职位。 我正在学习python抓取技术，但我遇到了抓取像这样的Ajax页面的问题。我能够使用第一页的以下代码获得开发人员工具的响应数据。如何从这些数据中提取职位。 from bs4 import BeautifulSoup
import requests
import json
s = requests.Session()
headers={"User-Agent":"Mozilla/5.0"}
r=s.get('https://epco.taleo.net/careersection/alljobs/jobsearch.f
浏览 54提问于2021-07-21得票数 1
1回答
获取状态代码404，即使存在页
、、、、
我尝试过用java和python来抓取这个特定的链接，但是我一直得到404状态代码，即使它存在。
import requests
from bs4 import BeautifulSoup
from lxml import html
from collections import defaultdict
url = 'https://www.slacker.com/station/pop-remix'
def main():
page = requests.get(url)
print(page.status_code)
print()
if __
浏览 0提问于2018-03-12得票数 2
回答已采纳
我想从这个页面上抓取营养数据：。
我尝试了以下代码。
import requests, bs4
res = requests.get('http://www.mysupermarket.co.uk/tesco-price-comparison/Fruit/Tesco_Gala_Apple_Approx_160g.html')
但是当我使用浏览器检查页面时，响应的文本与我看到的HTML不匹配。
所以我不能用美汤搜索它。
我该如何解决这个问题呢？
浏览 14提问于2018-02-28得票数 0
我想在某个网站上访问我的业务数据库，并使用Python进行抓取(我使用的是Requests和BS4，如果需要，我可以做得更多)。但我不能。谁能提供我们的信息和简单的资源，如何抓取这样的网站。
我不是在说提供用户名和密码。这个网站需要的远不止这些。除了UN和PW之外，我如何知道我需要为脚本提供的信息(例如，我如何知道我必须提供身份验证令牌)？
当站点中没有HTTP，但却有javascript:__doPostBack形式的hrefs时，该如何处理？
在这方面，我如何从登录页面转换到我想要的页面(包含在前面提到的javascript：__doPostBack中的页面)？
我使用的库足够了吗？或者，
浏览 4提问于2018-08-02得票数 0
我知道这是一个重复的问题，但是从网上所有的答案中，我找不到解决方案，因为所有抛出的错误。简单地尝试从web上抓取标题并将其保存到txt文件。抓取代码效果很好，但是它只保存最后一个字符串，绕过所有头到最后一个。我尝试过循环，把写代码放在抓取之前，附加到列表等等，不同的抓取方法都有相同的问题。请帮帮忙。 以下是我的代码 def nytscrap():
from bs4 import BeautifulSoup
import requests
url = "http://www.nytimes.com"
page = BeautifulSoup(requests
浏览 6提问于2020-05-03得票数 0
回答已采纳
我正在尝试使用Python (Python3)学习web抓取，但是我似乎无法导入任何包，特别是BeautifulSoup，我也尝试过导入openpyxl，但同样的错误也出现了。 import openpyxl as xl
from bs4 import BeautifulSoup 我的控制台立即闪烁，并显示以下错误： unable to import 'bs4' pyline(import-error) [1,1] 我的语法是正确的，我已经检查了包是否已经安装，我甚至已经重新安装了它们，它们肯定在那里。我正在使用Mac，任何帮助都将不胜感激。
浏览 42提问于2021-04-08得票数 0
我正在尝试抓取这个网站上所有帖子的urls：
我是python和web抓取的新手，mt代码可以工作，但它会产生很多重复的代码--我做错了什么？
import requests
from bs4 import BeautifulSoup
import csv
startURL = 'http://esencjablog.pl/'
f = csv.writer(open('test.csv', 'a+', newline=''))
f.writerow(['adres'])
def parseLinks(url):
浏览 0提问于2018-04-09得票数 0
我是一名社会科学家，在编码方面完全是新手/菜鸟。我已经搜索了其他问题/教程，但无法获得如何抓取新闻网站的要点，特别是针对评论部分。理想情况下，我希望告诉python抓取多个页面，并将所有注释作为.txt文件返回。我试过了
from bs4 import BeautifulSoup
import urllib2
url="http://www.xxxxxx.com"
在收到一条错误消息指出bs4不是一个模块之前，我只能这样做。我非常感谢在这方面的任何形式的帮助，如果你决定回应，请为我简化它！
我可以在终端上运行wget，并从网站获得各种文本，如果我真的能弄清楚如何将单个输出的ht
浏览 2提问于2013-03-29得票数 0
2回答
我希望从一个给定的网站使用Python3和BeautifulSoup提取所有表单。
下面是一个执行此操作的示例，但无法提取所有表单：
from urllib.request import urlopen
from bs4 import BeautifulSoup
url = 'https://www.qantas.com/au/en.html'
data = urlopen(url)
parser = BeautifulSoup(data, 'html.parser')
forms = parser.find_all('form')
for f
浏览 0提问于2017-03-27得票数 2
1回答
我想从抓取内容
我怎么能循环所有的页面并抓取红色圆圈中的所有元素呢？谢谢。
代码：
from bs4 import BeautifulSoup
import requests
import os
from urllib.parse import urlparse
url = 'http://www.eoechina.com.cn/cn2019/gonggaoxinxi.html?classID=1'
r = requests.get(url)
soup = BeautifulSoup(r.content, "html.parser")
pr
浏览 9提问于2021-03-11得票数 0
回答已采纳
2回答
基于日期抓取表数据
、、、
我正在尝试抓取kurs事务的表
从2015-2020年，但问题是默认日期和我选择的日期之间的链接仍然是相同的。那么我如何告诉python从2015-2020(20-11-15-20-11-20)抓取数据呢？我对python和python3的使用非常陌生。
import requests
from bs4 import BeautifulSoup
import pandas as pd
headers={
"User-Agent":"Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Ch
浏览 0提问于2020-11-24得票数 0
有没有办法抓取URL中的每一个页面？ 比如在https://gogo.mn/中找到每一篇文章的页面？ 以下是我到目前为止所掌握的 import urllib
import urlparse
import re
from bs4 import BeautifulSoup
url = "https://gogo.mn/"
urls = []
soup = BeautifulSoup(urllib.urlopen(url).read())
for tag in soup.findAll('a',href=True):
tag['href&
浏览 57提问于2020-08-14得票数 0
我今晚坐下来，决定如何使用蟒蛇。受到这篇网页抓取文章的启发。cam.ly/danesblog/2011/01/craigslist-arbitrage/
在阅读完教程之后，我：
1)下载和安装python：前3.3，然后2.7
2)下载的www.crummy.com/software/BeautifulSoup/bs4/download/ :bs4
3)遵循Brian的指示：
尝试了easy_install和python setup.py安装方法。
我仍然得到"ImportError:没有名为bs4的模块“
Python安装在应用程序文件夹中，bs4包自动安装在库中，这是问
浏览 1提问于2013-02-26得票数 3
我有以下Python脚本，它可以从页面中抓取所有锚文本和href值：
from requests_html import HTMLSession
from urllib.request import urlopen
from bs4 import BeautifulSoup
import requests
url="https://www.mydomain.co.uk/path-here"
session = HTMLSession()
r = session.get(url)
b = requests.get(url)
soup = BeautifulSoup(b.t
浏览 5提问于2021-03-11得票数 1
2回答
我有一个简单的抓取任务，我想通过来提高的分页效率，追加了列表，这样我就可以将抓取的结果输出到一个公共/单个文件中。
目前的任务是为圣保罗市制定市政法律，重复前10页。我希望找到一种方法来确定分页的总页数，并让脚本自动遍历所有页面，在精神上类似于以下内容：。
分页链接的xpath目前定义得太差了，我无法理解如何有效地做到这一点。例如，在或 (1或1608)上，只有三个li节点，而页面上只有6个节点。
/html/body/div/section/ul2/li/a
如何有效地解释这个分页；如何以自动化的方式而不是手动的方式来确定页面，以及如何正确地指定遍历所有适当页面的xpath，而不需要
浏览 2提问于2014-10-07得票数 2
长话短说，我正在尝试创建一个Instagram python抓取器，它加载整个页面并抓取所有指向图像的链接。我让它正常工作，唯一的问题是，它只加载了Instagram显示的原始12张照片。有没有什么方法可以告诉我加载整个页面的请求？
工作代码；
import json
import requests
from bs4 import BeautifulSoup
import sys
r = requests.get('https://www.instagram.com/accountName/')
soup = BeautifulSoup(r.text, 'lxml&#
浏览 5提问于2018-04-27得票数 0
回答已采纳
我正在尝试用python进行网络抓取。除非按下搜索按钮，否则链接"https://www.etnet.com.hk/www/eng/stocks/realtime/quote.php?code=00883“不会获得任何数据。那么，如何为python webscraping解决这个问题呢？ 我正在尝试通过这个链接"https://www.etnet.com.hk/www/eng/stocks/realtime/quote.php?code=883“来网络抓取股票数据，但由于url不起作用而失败。除非我手动按下搜索按钮，否则不会显示详细数据。 你知道怎么修复它吗？ import
浏览 33提问于2019-10-01得票数 0
2回答
我试图从代码中的链接中抓取视频标题。 本质上是想要scroll+scrape。 我的代码运行了，但它抓取了页面的一半，并且不是抓取剩下的一半，而是重复前半部分。 import time
from selenium import webdriver
from bs4 import BeautifulSoup
import requests
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from selenium.webdriver.support
浏览 12提问于2020-11-25得票数 0
我正在尝试从以下页面中抓取带有上下文信息的链接：。我可以通过Python使用BS4很好地获得这些链接，但是将年份、季节、标题和剧集与这些链接关联起来是最理想的。所需的输出将如下所示：
我已经从下面的代码开始，但不知道如何循环代码来捕获每个季/标题的部分内容：
import requests
from bs4 import BeautifulSoup
session = requests.Session()
link = 'https://www.reddit.com/r/anime/wiki/discussion_archive/2018'
request_20
浏览 1提问于2018-04-16得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
