抓取具有唯一url的网站(python)
抓取具有唯一URL的网站是指使用Python编程语言来获取网站上的数据。这个过程通常被称为网络爬虫或网络抓取。下面是对这个问题的完善且全面的答案：
概念： 抓取具有唯一URL的网站是指通过编写Python程序，自动化地访问网站并提取所需的数据。这个过程类似于一个虚拟的爬虫在互联网上爬行，从一个网页跳转到另一个网页，收集和提取感兴趣的信息。
分类： 根据抓取的目标网站的特点和需求，抓取具有唯一URL的网站可以分为静态网页抓取和动态网页抓取两种类型。
- 静态网页抓取：静态网页是指内容在服务器上预先生成并以HTML形式呈现给用户的网页。静态网页抓取相对简单，只需要通过HTTP请求获取网页的HTML源代码，然后使用Python的解析库（如BeautifulSoup）解析HTML，提取所需的数据。
- 动态网页抓取：动态网页是指内容在用户请求时才生成的网页，通常使用JavaScript来实现。动态网页抓取相对复杂，需要模拟浏览器行为，执行JavaScript代码，并通过网络请求获取动态生成的数据。常用的Python库包括Selenium和Scrapy等。
优势： 抓取具有唯一URL的网站具有以下优势：
- 自动化：通过编写Python程序，可以自动化地访问和抓取大量网页，提高效率。
- 数据获取：可以获取网站上的各种数据，如文本、图片、视频等。
- 数据分析：获取的数据可以用于各种数据分析和挖掘任务，如舆情分析、市场调研等。
- 竞争情报：可以通过抓取竞争对手的网站，获取他们的产品信息、价格等，用于竞争分析。
应用场景： 抓取具有唯一URL的网站在以下场景中得到广泛应用：
- 搜索引擎：搜索引擎通过抓取互联网上的网页来建立索引，以便用户能够快速找到所需的信息。
- 数据采集：各类数据采集任务，如新闻抓取、商品价格监控、社交媒体数据分析等。
- 网络监测：监测网站的可用性、性能和安全性，及时发现和解决问题。
- 学术研究：获取学术论文、专利、科研数据等，用于学术研究和科学发现。
推荐的腾讯云相关产品和产品介绍链接地址： 腾讯云提供了一系列与云计算相关的产品和服务，以下是一些推荐的产品和对应的介绍链接：
- 云服务器（CVM）：提供弹性的云服务器实例，可用于搭建爬虫程序的运行环境。 产品介绍链接：https://cloud.tencent.com/product/cvm
- 云数据库MySQL版（CDB）：提供高性能、可扩展的云数据库服务，适用于存储抓取的数据。 产品介绍链接：https://cloud.tencent.com/product/cdb_mysql
- 云函数（SCF）：无服务器计算服务，可用于编写和运行爬虫程序。 产品介绍链接：https://cloud.tencent.com/product/scf
- 对象存储（COS）：提供安全、稳定、低成本的云存储服务，适用于存储抓取的图片、视频等文件。 产品介绍链接：https://cloud.tencent.com/product/cos
请注意，以上推荐的腾讯云产品仅供参考，具体选择应根据实际需求和项目要求进行评估和决策。
相关·内容
1回答
我试图使用谷歌网站管理员工具来抓取我的网站，但我很好奇我是否正确地设置了我的参数。在我的网站上，我有不同的页面，内容相对于一个日期的url参数。(例如all /date？=5-2-2018)，我想抓取所有可能的组合，这样如果有人搜索"example.com 4-2-2018"，就会出现相应的搜索网站。我在爬行设置中列出了日期参数，但我不知道它是否能够检测到所有可能的日期组合。我的URL结构也由HTACCESS控制，它将GET格式更改为"Example.com/day/5-2-2018“。有人有什么建议吗？
浏览 0提问于2018-03-31得票数 1
1回答
选择结尾带有随机字母的css标签
、、、、
我目前正在学习用python进行网络抓取。我正在阅读的“用Python进行Web抓取”。
我被困在爬行网站通过搜索。例如，书中给出的工作得很好，但是当我试图自己找到它时，就像我将来要做的那样，我得到了这个。
在第二个链接中，它是为一个人类工作的，但是由于这个class="media-story-card__body__3tRWy"这样的奇怪的类名，我不知道如何刮它。
第一个链接给我简单的名字，比如我可以刮的这个class="search-result-content"。
我在其他网站上也遇到过同样的问题。将来我该如何去刮它或者找到一个正常名字的链接呢？
下面是我
浏览 2提问于2022-06-25得票数 1
如何防止scrapy无休止地抓取一个网站，当只有url，特别是会话id或类似的东西被更改，而url背后的内容是相同的。有什么方法可以检测到吗？
我读过这篇、和那篇，但遗憾的是，对于解决我的问题来说，这还不够。
浏览 3提问于2014-10-14得票数 1
2回答
我对整个抓取的事情都很陌生，并且试图通过python从网站上抓取一些信息，但是当检查HTML响应(即200)时，我不会在终端上得到任何结果。下面是我的密码。感谢所有的帮助！编辑:我已经修复了我的菜鸟错误在打印部分下面的xD谢谢各位更正！
import requests
url = "https://www.sephora.ae/en/shop/makeup-c302/"
page = requests.get(url)
print(page.status_code)
浏览 14提问于2022-06-10得票数 1
回答已采纳
我有一个关于Cypher请求和数据库更新的问题。我有一个python脚本，可以在最后进行web抓取并生成一个csv。我使用这个csv导入neo4j数据库中的数据。
刮擦每天做5次。因此，每次进行新的抓取时，csv都会被更新，新的数据会添加到以前的csv中，等等。每次刮擦后，我都会导入数据。实际上，当我在每次抓取之后导入数据以更新DB时，我会再次创建所有节点，即使它已经在DB中了。
例如，第一个csv提供5行，我将其插入到Neo4j中。接下来，新的抓取提供了2行，因此csv现在有7行。如果我插入数据，我将在DB中有前五行两次。我想拥有所有唯一的，如果它已经在数据库中，而不是添加。
例如，当我尝试
浏览 4提问于2020-12-08得票数 1
回答已采纳
为什么Scrapy只爬行start_urls，然后停止？有没有办法让Scrapy抓取网站目录树中的所有页面，比如？或者，有没有办法让Scrapy更深入地抓取start_urls页面上的所有链接？
class DmozSpider(CrawlSpider):
name = "dmoz"
allowed_domains = ["dmoz.org"]
start_urls = [
"http://www.dmoz.org/Computers/Programming/La
浏览 1提问于2014-11-25得票数 0
我有一个网页抓取程序，在python，它刮一个网站，并保存在数据库中的数据。我只希望新的信息保存在数据库中时，刮擦程序是完成。有什么技术/想法可以这样做吗？我使用的操作系统是ubuntu。
浏览 1提问于2014-03-13得票数 0
2回答
我正在尝试使用Python抓取这个网站：'‘。
首先，我注意到我感兴趣的表实际上位于这个url：
但是，requests + BS4只给了我HTML格式的页面源代码。我假设这是因为内容是动态的。
因此，我尝试了Selenium + BS4来抓取网站，但我仍然只能抓取页面源代码。
from selenium.webdriver import Firefox
from bs4 import BeautifulSoup
import lxml
driver = Firefox()
url = 'https://ec.europa.eu/assets/eac/msca/jobs/im
浏览 4提问于2020-02-02得票数 0
我正在尝试使用selenium和chromedriver从网站“”中抓取数据。当我运行代码时，chromedriver成功地输入了url，但无法加载页面，显示了一个空白页面。我尝试将目标网站切换到google.com，但抓取成功。我的结论是目标网站服务器检测到selenium并拒绝发送回数据。那么如何在Python语言中使用selenium和chromedriver从网站抓取数据呢？我是一个Python初学者，感谢您的帮助。下面是我的简单代码：
from selenium import webdriver
my_driver_path = r"C:\python chrome driv
浏览 0提问于2020-05-29得票数 0
1回答
我正在做一个使用python的web抓取项目。我应该抓取这个网站(https://www.fec.gov/data/receipts/?committee_id=C00703975&two_year_transaction_period=2020&data_type=processed)。我遇到的问题是，当你浏览数据时，url永远不会改变。我不确定如何继续。根据我的经验，当抓取一个网站时，当切换页面时，url会发生变化，但这个不会改变页面，它只是浏览同一页面上的数据。谢谢！
浏览 28提问于2020-11-10得票数 2
2回答
这是我试图用来从FRED网站抓取数据的代码，以CSV格式下载时间序列数据，但它将我重定向到另一个页面上 from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By
from selenium.webdriver import ActionChains
url='https://fred.stlouisfed.org/series/TERMCBAUTO48NS'
driver=webdriver.Chrome(execu
浏览 45提问于2021-10-15得票数 0
回答已采纳
我正在使用Python3.5的BeautifulSoup，并且我试图抓取所有h-tags的网站(所以所有的h1、h2..等等)。我的问题是让程序在网站上打开其他链接来抓取它们的标签。
因此，假设我有一个网站，它有一个导航菜单，其中包含一些链接，这些链接贯穿整个网站，并且都包含某种类型的h标记。我该如何抓取我所选网站上的所有内容呢？
这是我到目前为止用来抓取特定url中的h1-tag的代码：
import requests
from bs4 import BeautifulSoup
url = "http://dsv.su.se/en/research"
r = reques
浏览 0提问于2016-04-19得票数 2
我正在尝试使用Beautifulsoup和requests模块来改进我的Python。我已经完成了一些教程，并且已经成功地从不同的地方抓取了数据，但是我不能设法让它工作。我知道有现成的产品imdb可以访问数据，但我喜欢用这个网站练习Python。
我试图在上抓取每一集的标题，但我的代码只给了我一个空列表。
import requests
from bs4 import BeautifulSoup
URL = 'https://www.imdb.com/title/tt0094525/episodes?season=5&ref_=tt_eps_sn_5'
header
浏览 2提问于2020-05-03得票数 1
1回答
我正在构建一个简单的网站使用Python和烧瓶。我注意到在终端中运行以下命令：
sudo python app.py
它设置了一切，并使我的网站在一个本地端口的网页浏览器访问。我的问题是，我的app.py文件做了一些网页抓取和显示结果在网站上访问。
可悲的是，似乎这个网站刮过的数据并不是每次有人访问我的网站时都会更新。相反，当我输入sudo python app.py时，web抓取代码似乎只运行一次，因此访问URL时的结果是静态的。我更希望app.py在每次有人访问该网站时运行，以获得最新的、实时的、可刮掉的数据。这是可能的吗?我将如何用烧瓶和蟒蛇来做这件事？
我的app.py包含：
from
浏览 1提问于2017-06-01得票数 0
回答已采纳
2回答
抓取需要使用cookie的网站
、、、、
我正在制作抓取网站的scrapy，但这个网站使用的是cookies，我不知道如何使用cookies来制作抓取网站数据的指令
class DmozSpider(Spider):
name = "dmoz"
allowed_domains = ["dmoz.org"]
start_urls = [
"http://www.dmoz.org/Computers/Programming/Languages/Python/Books/"
]
def parse(self, response):
浏览 2提问于2014-04-24得票数 0
1回答
我做了一个Python程序，它可以抓取网站的所有URL，它以纯链接的形式下载数据。像这样：
google.com
quora.com/example
如何使用任何工具将这些链接放在JSON标记中，Javascript或Python？
{
'url':'google.com',
},
{
'url':'quora.com/example',
},
浏览 0提问于2020-05-14得票数 0
1回答
我想从网站上抓取数据。这个表扩展到多个页面上，但是url没有像page=3这样的东西，所以我不能遍历各个页面来获取数据。
有没有其他方法可以像这样抓取数据，而不会在不同的页面上循环？如何从python访问不同的页面来抓取数据？
浏览 19提问于2018-03-04得票数 0
1回答
我要写一个基于scrapy的Gui应用程序，用户输入一个网站的URL，然后点击“爬网”按钮，整个网站就会被抓取并存储在内置的scrapy-db (sqlite)中。
如何使用scrapy帮助我抓取网站？
浏览 4提问于2012-03-09得票数 0
3回答
我正试图从Tripadvisor.com网页中抓取/提取公司/酒店的网站。当我检查网页时，我没有看到网站网址。知道如何使用python提取网站url吗？提前道歉，因为我最近才开始“在Python.‘网上刮擦”。谢谢。
请看到图像中的两个红色箭头。当我选择网站链接时，它会将我带到'‘--这就是我想使用Python提取的内容。
浏览 4提问于2018-02-01得票数 7
回答已采纳
首先，我从网站上抓取了所有的硬币链接，并要求那些链接。但是scrapy没有串行地请求从链接list.after请求这些链接抓取数据成功，但当保存到csv文件时，它使一个完整的抓取项目后每一次都是一个空行。我期待它将从链接列表中串行请求，它不会使任何空白row.how我能做到吗？
我使用的是python 3.6和scrapy版本1.5.1
我的代码：
import scrapy
class MarketSpider(scrapy.Spider):
name = 'market'
allowed_domains = ['coinmarketcap.com
浏览 3提问于2018-12-02得票数 0
2回答
我是Python的新手，所以很抱歉这是一个新手问题。
我正在尝试构建一个涉及web抓取的程序，我注意到Python3的web抓取模块似乎比Python2.x系列少得多。
美汤、机械化和scrapy -这三个模块向我推荐--似乎都是不兼容的。
我想知道这个论坛上有没有人有使用python3进行网络抓取的好选择。
任何建议都将不胜感激。
谢谢，威尔
浏览 1提问于2011-08-11得票数 5
1回答
首先，我不是python专家。我正在学习python，以便从这个特定的游戏网站上抓取数据。我正在尝试从一个需要登录的网站上抓取数据。你不会看到数据，除非你登录到这个网站。(我附上了一个页面截图，你将看到以上网站，一旦你登录)我试图运行以下代码：
import requests
from bs4 import BeautifulSoup
page = requests.get('<website url>')
soup = BeautifulSoup(page.content, 'html.parser')
print(soup)
在这里，我
浏览 0提问于2020-05-29得票数 0
我正在使用Python从一个网站上抓取一些图片。来自该网站的所有图像都使用<div data-image="https://......">进行存储。如何使用Python(Beautiful Soup 4)下载图片？非常感谢!
浏览 36提问于2020-08-12得票数 0
2回答
我正试图用Python获取网站的HTML源代码。但是，当您访问站点上的任何页面时，都会出现延迟重定向，几乎就像加载屏幕一样。每当我做requests.get(url)时，我都会抓取加载屏幕，而不是它后面的内容。我正在使用请求库。有没有办法让请求等到重定向之后？重定向大约是3秒。
下面是我使用的代码：
import Requests
page = requests.get(url)
print(page.text)
浏览 1提问于2016-05-26得票数 1
回答已采纳
2回答
我无法从www.kissmanga.com网站上抓取图片。我使用的是Python3和RequestandBeautiful外地库。刮过的图像标签为空白"src“。
SRC：
from bs4 import BeautifulSoup
import requests
scraper = cfscrape.create_scraper()
url = "http://kissmanga.com/Manga/Bleach/Bleach-634--Friend-004?id=235206"
response = requests.get(url)
soup2 = Bea
浏览 3提问于2015-07-15得票数 1
回答已采纳
web抓取Python已经有一段时间了，最近我遇到了这个问题。BeautifulSoup似乎无法读取html文件。
例如，我正试着从这个网站上抓取
这是我的密码
from bs4 import BeautifulSoup
import requests
url_episode = 'https://www.thetvdb.com/series/initial-d/episodes/4889010'
print(url_episode)
getdetail_episode = requests.get(url_episode)
soup = BeautifulSoup(getde
浏览 1提问于2020-04-06得票数 0
我开始使用抓取网站内容和HTML代码。我想要一个Python代码，可以存储抓取的内容或HTML代码在当前/实时。然后，在特定的手动分配的时间间隔之后，代码应该再次执行，并抓取相同网站或网页的内容或HTML代码。然后，它应该比较两个抓取的数据，并显示发生的任何更改。我想要这个代码来监控网站上发生的变化，并报告它们。
到目前为止，我所做的是：
import requests
from bs4 import BeautifulSoup
url ="https://www.uetmardan.edu.pk/uetm/"
# Step1: Get the HTML content
浏览 0提问于2021-11-22得票数 0
1回答
我正在学习如何在R中使用httr和XML从网站上抓取信息，我正在让它在只有几个表的网站上工作得很好，但在有几个表的网站上就搞不清楚了。以pro-football reference中的以下页面为例：
# To get just the boxscore by quarter, which is the first table:
URL = "https://www.pro-football-reference.com/boxscores/201609080den.htm"
URL = GET(URL)
SnapTable = readHTMLTable(rawToChar(UR
浏览 1提问于2017-09-04得票数 0
我需要用python抓取一个网站。我使用urlib模块获得了源代码html，但我还需要收集一些由javascript函数(包含在html源代码中)生成的html代码。这个函数在网站中的作用是，当你按下一个按钮时，它会输出一些html代码。我如何用python代码“按下”这个按钮？scrapy能帮到我吗？我捕获了带有firebug的POST请求，但是当我试图在url上传递它时，我得到了一个403错误。有什么建议吗？
浏览 0提问于2010-01-28得票数 18
回答已采纳
1回答
我正在尝试使用python和漂亮汤来抓取谷歌搜索结果。在我的第一个程序中，我只是尝试获取搜索结果页面上的所有链接。最终，我想做的是跟随其他网站的链接，然后抓取这些网站。问题是当我查看我的程序给我的链接时，它们并没有指向正确的url。例如，在谷歌中搜索“什么是python”后的第一个网站url是'‘，但是我的程序给了我'/url?q=’
回顾BeautifulSoup文档，我期望得到类似于他们的示例的输出：
for link in soup.find_all('a'):
print(link.get('href'))
# http://ex
浏览 23提问于2018-06-17得票数 0
回答已采纳
1回答
我需要从一个使用python的网站上抓取文本。我已经安装了BeautifulSoup 4、HTML和NLTK，但我似乎无法找到如何抓取。
我真的需要一个简单的代码片段，我可以插入任何URL并获得纯文本。我正试着从那里得到它
浏览 1提问于2014-09-17得票数 0
回答已采纳
您好，感谢您的帮助， 我一直使用Python和Newspaper3k来抓取网站，但我注意到有些函数是...well的……不起作用。特别是，我只能抓取大约1/10甚至更少的站点的HTML这篇文章。下面是我的代码： from newspaper import Article
url = pageurl.com
article = Article(url, keep_article_html = True, language ='en')
article.download()
article.parse()
print(article.title + "\n" +
浏览 61提问于2020-07-17得票数 1
回答已采纳
嗯，直截了当地说，我有一个python脚本，在给定的URL之后，它从某个网站抓取数据并创建一个excel表，而且，我还有一个正在运行的web服务器，我为用户制作了一个服务器。如何在我的后端上运行那个python脚本，在前面输入要被刮掉的的网站URL？
谢谢!
浏览 1提问于2021-03-08得票数 1
3回答
如何从html中提取数据
、、、、
我尝试使用beautifulsoup4和python来抓取某个网站。但是，当我尝试查看URL中的内容时，它只给了我一个标题部分，而没有给我想要使用的正文部分。
URL = "url"
URL_page = requests.get(URL)
print(URL_page.text)
这给了我
<!DOCTYPE html>
<html>
<head>
"Contents of Header"
</head>
<body>
<div id='root'></
浏览 1提问于2020-06-11得票数 0
我有一个网页抓取脚本，它基本上是从一个网站上抓取一个故事(标题、描述/摘要和故事文本)，通常在多个页面中，然后将其全部写到一个文本文件中。
目前，我复制一个url并从PyCharm运行python脚本，它给出了我需要的结果。
但是，我希望自动运行脚本部分，以便每当我复制包含特定文本(例如网站名称)的url时，它就会自动输出文本文件，而无需每次复制url时运行脚本。
浏览 7提问于2021-12-30得票数 1
如果我想刮一个需要首先使用密码登录的网站，我如何开始使用beautifulsoup4库使用python来抓取它呢？以下是我所做的网站，不需要登录。
from bs4 import BeautifulSoup
import urllib2
url = urllib2.urlopen("http://www.python.org")
content = url.read()
soup = BeautifulSoup(content)
如何更改代码以适应登录？假设我想刮的网站是一个论坛，需要登录。一个例子是
浏览 12提问于2014-04-16得票数 93
回答已采纳
学习如何抓取网站。现在是"“。尝试urlopen，但出现上述错误。Windows 10 64位，Python 3.7.1
from urllib.request import urlopen
from bs4 import BeautifulSoup as soup
url = 'https://www.localharvest.org/'
response = urlopen(url)
浏览 8提问于2019-11-08得票数 0
1回答
这个问题在某种程度上是我之前提出的问题的后续问题。
我试图刮一个网站，其中包含一些链接在第一页。类似于的东西。
现在，由于我想要抓取页面上显示的项目的详细信息，我已经提取了它们各自的URL。
我已经将这些URLS保存在一个列表中。
如何启动爬行器来逐个抓取页面？
为了更好地理解：
[urlA, urlB, urlC, urlD...]
这是我抓取的URL列表。现在我想启动一个爬虫来逐个抓取链接。
我该怎么做呢？
浏览 0提问于2015-01-16得票数 2
2回答
我已经写了一个非常基本的爬虫，从网站抓取产品信息放入数据库。
除了一些站点似乎对页面的多个部分有不同的URL之外，所有这些都运行得很好。例如，产品url可能是：
http://www.example.com/product?id=52
然后，它可能会有另一个URL用于不同部分，如注释等：
http://www.example.com/product?id=52&revpage=1
我的爬虫将其视为一个不同的URL。我找到了一些网站，其中一个产品有数百个不同的网址。我已经添加了忽略url中散列后的任何内容以避免锚点的逻辑，但我想知道是否有人有任何建议来避免这个问题？可能有一个简单的解决方
浏览 1提问于2011-09-20得票数 1
回答已采纳
我正在尝试从纽约证券交易所的网站上抓取数据，网址是：
nyse = http://www1.nyse.com/about/listed/IPO_Index.html
使用请求，我可以像这样设置我的请求：
page = requests.get(nyse)
soup = BeautifulSoup(page.text)
tables = soup.findAll('table')
test = pandas.io.html.read_html(str(tables))
然而，我一直收到这个错误
'ValueError: stat:路径对于Windows太长‘
我不知道如
浏览 4提问于2014-07-30得票数 2
2回答
我有一个Python文件，它使用
raw_input()
输入URL。然后，我使用BeautifulSoup抓取网站，并根据网站上的数据(我刚刚抓取的数据)问用户一些其他问题。
我希望将此命令行工具转换为web应用程序。
我该怎么做呢？
shell_exec()
不会做我想做的事情，因为(据我所知)不能通过PHP从raw_input()输入数据。
浏览 0提问于2014-09-05得票数 0
2回答
我正在通过Python中的数据抓取从网站中挖掘数据。我使用request包来发送参数。
以下是Python中的代码片段：
for param in paramList:
data = get_url_data(param)
def get_url_data(param):
post_data = get_post_data(param)
headers = {}
headers["Content-Type"] = "text/xml; charset=UTF-8"
headers["Conten
浏览 2提问于2018-03-18得票数 1
我对这个网络爬行非常陌生。我正在使用crawler4j来抓取网站。我正在通过抓取这些网站收集所需的信息。我在这里的问题是，我无法抓取以下网站的内容。。我想从上述网站抓取以下信息(请查看附呈的截图)。
如果您观察附加的屏幕截图，它有三个名称(在红色方框中突出显示)。如果单击其中一个链接，您将看到一个弹出窗口，该弹出窗口包含有关该作者的全部信息。我想爬上弹出式窗口里的信息。
我正在使用下面的代码来抓取内容。
public class WebContentDownloader {
private Parser parser;
private PageFetcher pageFetcher
浏览 2提问于2014-06-23得票数 9
回答已采纳
1回答
擦伤请求未通过
、、、、
我不知道如何准确地回答这个问题。我是网络抓取的初学者，我正在尝试用Python抓取一个网站。该网站是动态的，使用javascript，不能使用基本级别的xpath和CSS选择器检索任何数据。
我试图通过我的蜘蛛来模拟API请求，方法是请求url，它包含json对象中的数据。该请求url正在抛出HTTP状态代码，不处理或不允许错误。我想我打错网址了。9/10次，这种直接调用json对象url的方法对我起了作用。我能做什么不一样？url在headers部分中有参数和表单数据项，并且url看起来甚至不像一个有效的网站url，它以开头。我知道这是一个很长的问题，但我真的需要一些帮助，如何得到回应？
浏览 12提问于2021-06-30得票数 0
回答已采纳
2回答
我刚接触python、数据抓取和自动化。我正在尝试抓取URL中给出的网站。当我在浏览器中打开URL链接时，所有的数据都会显示出来，但是requests.get()方法的响应并没有给出这些数据。
如果有人能告诉我出了什么问题，那将是非常有帮助的。
import requests
import time
from bs4 import BeautifulSoup
URL = "https://fees.uspto.gov/MaintenanceFees/fees/details?applicationNumber=12814074&patentNumber=7871455"
浏览 1提问于2016-07-04得票数 1
我尝试在Python和BeautifulSoup的帮助下抓取一些网站。
当网站使用带有这种URL的ajax查询时：
，
我可以获取JSON内容并对其进行分析。但是，如何检测此链接以自动执行查询以获取JSON内容呢？
谢谢，Rata
浏览 2提问于2018-10-11得票数 0
1回答
我对网络抓取完全陌生。我怎么能刮一个网站，它的网址不会随页码而改变？假设使用这个网站- 的url不随页码变化，这与我所问的一样，我们如何在python中使用漂亮的汤呢？？
浏览 3提问于2020-07-22得票数 1
回答已采纳
1回答
我有一个Excel文件，其中一列填充了+4000个URL，每个URL位于不同的单元格中。我需要使用Python打开它与Chrome和抓取网站的一些数据从一个网站。在excel中超过他们。
然后对下一个URL执行相同的步骤。你能帮我一下吗？
浏览 28提问于2021-11-13得票数 0
2回答
我进入房地产网站，按城市名称搜索。在那之后，我想抓住大阪城的网址。在这里，http://brillia.com/search/?area=27999 有四个.
我正在使用这个链接来获取URL。
$allDivs = $parser->getElementsByTagName('div');
foreach ($allDivs as $div) {
if ($div->getAttribute('class') == 'boxInfomation') {
$allLinks = $div-
浏览 1提问于2018-10-05得票数 0
有几个网站在邮轮行业，我想刮掉。示例：
在某些场景中，比如第一个场景，结果页面遵循patten - ?page_num=1...17。然而，结果的数量将随着时间的推移而变化。
在第二种情况下，URL不会随分页而改变。
归根结底，我想要做的是将每个网站的结果放到一个文件中。
Q1:除了为场景1设置17个抓取器，然后随着时间的推移积极观察结果的增长/缩小之外，还有什么替代方案吗？
Q2:我完全搞不懂如何从第二个场景中抓取内容。
浏览 0提问于2015-06-25得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
