BeautifulSoup-从不起作用的网站上抓取html代码
BeautifulSoup是一个Python库，用于从HTML或XML文件中提取数据。它提供了一种简单而灵活的方式来遍历解析HTML或XML文档，并从中提取所需的数据。
BeautifulSoup的主要特点包括：
- 解析器灵活：BeautifulSoup支持多种解析器，包括Python标准库中的html.parser、lxml解析器和xml解析器等。根据实际需求选择合适的解析器。
- 简单易用：BeautifulSoup提供了直观的API，使得解析HTML或XML文档变得简单而直观。通过使用标签、属性和文本等方法，可以轻松地定位和提取所需的数据。
- 强大的搜索功能：BeautifulSoup提供了强大的搜索功能，可以根据标签名、属性值、文本内容等进行搜索。这使得从复杂的HTML或XML文档中提取数据变得更加方便。
- 容错能力强：BeautifulSoup能够处理不规范的HTML或XML文档，并尽可能地修复错误。即使在面对不完整或损坏的文档时，它也能够正常解析并提取数据。
BeautifulSoup的应用场景包括：
- 网络爬虫：BeautifulSoup可以用于爬取网页上的数据。通过解析HTML文档，可以提取所需的信息，如新闻标题、商品价格等。
- 数据分析：BeautifulSoup可以用于解析和提取结构化数据。通过分析HTML或XML文档，可以获取数据并进行进一步的处理和分析。
- 数据清洗：BeautifulSoup可以用于清洗HTML或XML文档中的数据。通过删除无用的标签、修复错误的文档结构等操作，可以使数据更加规范和可用。
腾讯云提供了一系列与BeautifulSoup相关的产品和服务，包括：
- 云服务器（CVM）：提供了可靠的云服务器实例，用于部署和运行Python脚本，包括BeautifulSoup的使用。
- 云数据库MySQL版（CDB）：提供了高性能、可扩展的MySQL数据库服务，用于存储和管理从BeautifulSoup中提取的数据。
- 云函数（SCF）：提供了无服务器的计算服务，可以将BeautifulSoup的解析逻辑封装为函数，并按需触发执行。
- 对象存储（COS）：提供了安全可靠的对象存储服务，用于存储和管理从BeautifulSoup中提取的数据。
更多关于腾讯云产品和服务的详细介绍，请访问腾讯云官方网站：腾讯云。
相关·内容
首先，我从一个网站上抓取了一定数量的urls，并将它们收集到一个数据文件中。但是，我想循环我收集到的urls到dataframe中。这是我的密码：
library(rvest)library(dplyr)
library(XLConnect)
##########GET URLS###################################################################################
urls <- read_html("http://www.klassiekshop.nl/labels/labels-a-e/brill
浏览 2提问于2016-10-24得票数 0
回答已采纳
我在我的MVC5网站上使用T4MVC。在视图中，我有一些类似的东西：
@Html.Partial(MVC.Shared.Views.ViewNames.Foo, Model.FooBar)
Foo视图需要使用@model定义的特定类型，但Model.FooBar可能具有不同的类型。直到运行时才会检测到此错误。
有没有一种方法可以像我们使用ActionLinks一样，使用T4MVC来呈现带有类型方法的partial，可能是这样的：
@Html.Partial(MVC.Shared.Views.Foo(Model.FooBar)) // Error: Foo() expects Argument
浏览 4提问于2013-12-10得票数 1
我有一段代码，我用它来抓取各种网站上的数据。
Connection conn = Jsoup.connect(url);
try {
doc = conn.get();
Element element = doc.getElementById(elementId);
System.out.println(element.html());
} catch (IOException e) {
e.printStackTrace();
}
该代码对大多数网站都很好，但是我注意到，对于我正在从其中一个网站抓取的网站来说，这段代码不起作用，因为HTML元素的id随着页面的
浏览 5提问于2015-12-03得票数 1
回答已采纳
2回答
在我的html 5网站上，我想添加一个视频，我尝试了所有可能的方法，但它不起作用。有人能告诉我在html 5中嵌入视频的正确方法吗.
浏览 2提问于2014-03-21得票数 0
回答已采纳
web抓取Python已经有一段时间了，最近我遇到了这个问题。BeautifulSoup似乎无法读取html文件。
例如，我正试着从这个网站上抓取
这是我的密码
from bs4 import BeautifulSoup
import requests
url_episode = 'https://www.thetvdb.com/series/initial-d/episodes/4889010'
print(url_episode)
getdetail_episode = requests.get(url_episode)
soup = BeautifulSoup(getde
浏览 1提问于2020-04-06得票数 0
我已经创建了一个图像类，用于在网站上使用GD库显示和转换图像。当我想要在站点中显示没有任何HTML代码的jpeg图像时，一切都会正常，因为我设置了header('Content-Type: image/jpeg')。我的代码如下：
$filepath = 'path to the image file';
$info = getimagesize( $filepath );
$this->type = $info[2];
if( $this->type == IMAGETYPE_JPEG )
{
$this->image = imag
浏览 4提问于2012-04-12得票数 0
回答已采纳
我一直在尝试从网站上抓取内容，并在一些网站上取得了成功。但是我的代码无法从flipkart.com中抓取内容。我使用HTML DOM解析器，这是我的代码。
<?php
include ('simple_html_dom.php');
$scrape_url = 'https://www.flipkart.com/lenovo-f309-2-tb-external-hard-disk-drive/p/itmehwha6zkhkgfw';
$html = file_get_html($scrape_url);
foreach($html->find(&#
浏览 0提问于2017-02-21得票数 0
1回答
我对网络抓取非常陌生，我正在尝试从一个链接在这里()的五三八网站上获取5年的市场价值。这是我从rvest包中运行的代码。
kyrie_irving <-
read_html("https://projects.fivethirtyeight.com/carmelo/kyrie-irving/")
kyrie_irving %>%
html_node(".market-value") %>%
html_text() %>%
as.numeric()
但是，输出如下所示：
> kyrie_irving <-
rea
浏览 0提问于2018-04-24得票数 0
所以..。我访问了：
下载了zip文件，我只想使用图标，所以我抓取fontawesome.min.css文件并连接到我的html文件：
<link rel="stylesheet" href="lib/css/fontawesome.min.css">
在他们的网站上，我找到了一个我想使用的代码：
<i class="fas fa-cloud-download-alt"></i>
以上代码的链接如下：
我在他们的网站上找到的代码不起作用。
我在这里错过了什么？如何将字体添加到我的项目中，使其显示图标？
浏览 0提问于2020-03-05得票数 0
回答已采纳
2回答
我是R的新手，我正在尝试从一个包含图书列表的网站上抓取数据。我已经设法从网站上抓取了20个书名，现在我想找出这个网站上书名的平均词长(所有词长的平均值)。但是，我不确定如何使用R编程语言来做到这一点。 到目前为止的代码： url <- 'http://books.toscrape.com/index.html'
bookNames <- read_html(allUrls) %>%
html_nodes(xpath='//*[contains(concat( " ", @class, " "), concat(
浏览 30提问于2021-03-30得票数 1
回答已采纳
我想在以下网站上对表格进行网络抓取：我正在使用以下代码，但它不起作用，谢谢。
library(rvest)
library(xml2)
library(dplyr)
link <- "https://www.timeshighereducation.com/world-university-rankings/2021/world-ranking#!/page/0/length/25/sort_by/rank/sort_order/asc/cols/stats"
page<- read_html(link)
rank<- page %>% html_n
浏览 3提问于2021-01-08得票数 0
回答已采纳
我有下面的代码，它适用于一些我尝试过抓取信息的站点，但是它不会在我尝试过的特定站点上工作，并且我得到了错误“基础连接被关闭:连接被意外关闭”。为什么这会在一些网站上起作用，而在其他网站上不起作用？例如，如果在siteA上使用，我将得到div“包装器”中的最后一个超链接。但在另一个网站上，我只是被关闭了连接。请帮帮忙。
Private Function getText() As String
Dim web = New HtmlWeb()
Dim html As HtmlDocument
html = web.load("http://some-website.
浏览 7提问于2014-05-23得票数 3
回答已采纳
我写了一个很大的PHP脚本来从这个网站上抓取图片："，但是当它不起作用时，我把代码改成简单地回显整个页面。
我发现包含我想要的图像链接的表格没有显示出来。我相信这是因为远程站点使用ASP来生成表。有什么办法可以解决这个问题吗？我说错了吗？请帮帮忙。
<?php
include("simple_html_dom.php");
set_time_limit(0);
$baseURL = "http://www.mcso.us/paid/";
$html = file_get_html($baseURL);
echo $html;
?>
浏览 2提问于2011-11-14得票数 0
1回答
我正在尝试用Excel从一个网站上抓取市场数据，但是这个网站的格式不利于简单的抓取。我的代码一直运行到For循环中的第二个Set语句，然后抛出运行时错误。我遗漏了什么？下面的代码供参考：
Sub Get_CME_Data()
Dim request As Object
Dim response As String
Dim html As New HTMLDocument
Dim website As String
Dim price As Variant
Dim tbody As MSHTML.HTMLGenericElement
Dim tr As MSHTML.IHTMLElement
浏览 2提问于2020-12-04得票数 0
我正在使用scrapy从一个会员的唯一网站抓取数据。我成功地执行了登录和抓取数据。
然而，我现在需要在网站上提交一些表单，当抓取数据完成时。即:在读取所有数据之后，我想要将一些数据写入我正在抓取(读取)数据的站点。
我的问题是：
如何获得scrapy完成处理所有url抓取的通知，以便我可以执行一些表单提交？
我注意到了一个解决方案-请看这里()，但是由于某些原因，我不能继续在self.spider_closed方法中产生更多的请求，因为它在这些示例中被调用，所以我可以进行一些写操作。
浏览 0提问于2015-04-15得票数 2
我做这个脚本是为了在“气候节奏”网站上做一些网络抓取，我用美丽的汤来提取信息，并把它保存到熊猫中输出到excel。
但是，当在代码末尾使用计划时，脚本不会自动运行。
是否有任何与使用网络抓取相关的信息？这就是为什么不起作用？
def extractInfo():
#Make the request
html = requests.get("https://www.climatempo.com.br/previsao-do-tempo/agora/cidade/321/riodejaneiro-rj").content
now = BS(html,
浏览 2提问于2021-02-09得票数 0
回答已采纳
我需要爬行几个网址，并抓取他们的内容到一个数据库。
爬网数据必须同时包含HTML和外部CSS和JS文件。
我使用Nokogiri抓取CSS没有任何问题，但无法轻松获得Javacript。
下面是我的相关代码：
..。
arrJS = []
page = Nokogiri::HTML(open(url))
page.css('script').map {|link| arrJS << link['src'].to_s}
..。
当我在像yahoo.com这样的站点上使用它时，我得到了一个与html上的javascripts无关的奇怪的arrJS数组。
浏览 0提问于2012-02-06得票数 2
回答已采纳
3回答
我正在尝试从WSJ网站上的文章中抓取文本内容。例如，考虑以下html源代码： <div class="article-content ">
<p>BEIRUT—
Carlos Ghosn,
who is seeking to clear his name in Lebanon, would face a very different path to vindication here, where endemic corruption and the former auto executive’s widespr
浏览 48提问于2020-01-05得票数 1
1回答
我需要从网站上抓取一些数据。网站有登录表，在其中我必须登录使用节点请求包抓取它。我一直在尝试登录，但它不允许我登录。我用来登录的代码是：
var j = request.jar();
request = request.defaults({ jar : j })
request({
uri:url,
method:"POST",
form: {UserName:"myuser1",Password:"pass1"}
浏览 0提问于2017-07-12得票数 0
我正在使用cheerio做一些简单的刮擦。
我想从一个网站抓取内容。我想用HTML格式刮它，所以我在cheerio中使用了cheerio。
const content = item.find(`div.message`).html()
结果是一个HTML源
\n\t\t\t\n\t\t\tmua về độ lại xinhan khóa thông minh đèn thấy ok mà <img src=\"/images/smilies/Off/boss.gif\" border=\"0\" alt title=\"Boss\" cl
浏览 0提问于2019-09-13得票数 1
如何使用HTTPWebRequest从网站上抓取某些文本？
我有这段代码，但它只能与HREF一起工作，我如何才能使它与文本一起工作？
下面是我要抓取的代码：
// setup variables for scraping
int startPos = 0, endPos = 0, length = 0;
string tempString = "";
// do the scraping
startPos = html.IndexOf("");
endPos = html.IndexOf(">", startPos);
length =
浏览 0提问于2011-12-23得票数 0
我对网络抓取的世界非常陌生，我正在尝试从一个网站上抓取鞋子的名字。当我在网站上使用inspect时，有一个div标签，基本上整个网页都在里面，但当我打印出html代码时，div标签完全是空的！下面是我当前的代码： from bs4 import BeautifulSoup
import requests
import time
def findShoeNames():
html_file = requests.get('https://www.goat.com/sneakers/brand/air-jordan').text
soup = BeautifulSo
浏览 41提问于2021-09-23得票数 1
回答已采纳
1回答
我正在写一个网页抓取程序，以便从网站上获得我的成绩。我使用Mechanize登录页面并导航到我要抓取的区域。不幸的是，页面使用Javascript对页面进行加密(可能是为了阻止我抓取)。我找到了解密脚本并移植到了Python。它起作用了，我用它从页面中提取加密的字符串，当我转换它时，它变成了HTML中的一个表。
那么，为了达到我的观点，有没有什么方法可以把HTML重新注入到页面中，并使用mechanize来使用表格上的链接来获得我的成绩？
谢谢你的帮助！
编辑:我也有很好的汤，如果有帮助的话。
浏览 3提问于2013-01-14得票数 1
回答已采纳
我以前使用过Xampp服务器，这是我在Xampp server网站上的代码，它运行得非常好。
ErrorDocument 404 /website/error404.html
RewriteEngine On
RewriteRule ^([0-9A-Za-z-]+)/?$ user.php?name=$1 [NC,L]
但是，现在我带来了一个真正的域名和一个服务器，并改变了我的整个网站。这是我的新.htaccess代码，它不起作用
ErrorDocument 404 http://example.com/error404.html
RewriteEngine On
RewriteRu
浏览 2提问于2017-06-17得票数 0
回答已采纳
我开始使用抓取网站内容和HTML代码。我想要一个Python代码，可以存储抓取的内容或HTML代码在当前/实时。然后，在特定的手动分配的时间间隔之后，代码应该再次执行，并抓取相同网站或网页的内容或HTML代码。然后，它应该比较两个抓取的数据，并显示发生的任何更改。我想要这个代码来监控网站上发生的变化，并报告它们。
到目前为止，我所做的是：
import requests
from bs4 import BeautifulSoup
url ="https://www.uetmardan.edu.pk/uetm/"
# Step1: Get the HTML content
浏览 0提问于2021-11-22得票数 0
2回答
我一直试图使用python向我展示在方程式2现场冠军的排名，从比赛前的排名，然后添加到每个车手与他们所处位置相对应的分数。我遇到的问题是，我无法从公式2 获得实时更新。
我一直在使用BeautifulSoup来尝试从f2网站上抓取数据。
浏览 13提问于2022-09-04得票数 0
我试图在网上刮一个新闻网站，打开文章的每一个链接，获取数据。我能够与木偶机网刮，但不能上传到火基地云存储。我该怎么每小时左右做一次？我在网络上抓取异步功能，然后在云功能中调用它:我使用木偶师从新闻编辑部网站上抓取文章的链接，然后使用链接从文章中获取更多信息。我最初在一个异步函数中获得了所有东西，但是云函数抛出了一个错误，在循环中不应该有任何等待。
更新：
我将上面的代码植入了一个firebase函数中，但仍然没有得到循环错误的等待。
浏览 3提问于2020-10-06得票数 1
回答已采纳
1回答
我正在尝试抓取一个网站。我能够从那个网站上抓取数据。我无法将抓取的数据保存到我包含的yaml文件中
我的代码：
require 'rubygems'
require 'open-uri'
require 'hpricot'
article = []
doc = open("http://www.cmegroup.com/trading/interest-rates/cleared-otc/irs.html"{|f| Hpricot(f) }
(doc/"/html/body/div/div/div
浏览 10提问于2011-07-20得票数 0
回答已采纳
1回答
我有一个Ruby应用程序，我想要检测网站上是否安装了特定的Javascript。在大多数网站上，使用以下代码来获取该页面的内容是没有问题的：
user_agent = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.2 (KHTML, like Gecko) Chrome/15.0.854.0 Safari/535.2"
doc = Nokogiri::HTML(open(url, 'User-Agent'=>user_agent, 'read_timeout'
浏览 1提问于2016-12-29得票数 0
1回答
下面有两个用java编写的for循环。第一个抓取网站上所有新闻文章的标题，第二个抓取同一网站上同一篇新文章的所有链接。
如何使第一个循环执行一次，第二个循环执行一次，然后第一个循环执行第二次，第二个循环执行第二次，等等。非常感谢您的帮助，谢谢。
for( org.jsoup.nodes.Element element : elements1 ){
sendMessageRequest.setText(element.text());
sendMessage(sendMessageRequest);
System.out.print("sent message&#
浏览 1提问于2016-09-23得票数 2
回答已采纳
1回答
从个人电脑到网页的视频流
、、、、
我想把我的摄像头流到我的网站上。可能在<视频>、< embed >或甚至< img >标记中。
最好的办法是什么？我试过VLC-player和webrtc。
VLC的问题是我无法在局域网之外管理流。在我的局域网内，它运行良好，但我不能通过互联网连接。我也不知道如何在我的网站上实现它。
webrtc的问题在于它不受ios的支持。它在windows和android上运行得很好，但是不能在iphones和ipads上运行(我没有在mac上试过，但我认为它会起作用)。也许是javascript，html或者别的什么代码？
浏览 7提问于2014-05-29得票数 1
回答已采纳
我的python代码成功地从https://www.groupeactual.eu/offre-emploi中抓取文本并将其保存到csv文件中。 然而，在上面的网站上有多个页面可用，我希望能够在其中刮。 例如，使用上面的url，当我单击指向"page 2“的链接时，整个url会发生变化，但当我在代码中使用该url时，我会得到来自page 1的结果。 如何更改我的代码以从所有列出的可用页面中抓取数据？ 我的代码： from bs4 import BeautifulSoup
import requests
import pandas as pd
response = requests
浏览 16提问于2020-07-17得票数 1
我正在尝试使用PHPQuery ()从我的网站上抓取数据。我想从页面中提取元信息。
这是我到目前为止尝试过的：
$html = phpQuery::newDocumentHTML($file, $charset = 'utf-8');
$MetaItems = [];
foreach (pq('meta') as $keys) {
$names = trim(strtolower(pq($keys)->attr('name')));
if ($names !== null && $names !==
浏览 0提问于2012-12-20得票数 2
回答已采纳
1回答
我正在尝试可以抓取一个网站上嵌入的推文。我相信这条推文是通过JSON加载的。理想情况下，我可以简单地抓取嵌入的tweet的ID。据我所知，这个数据应该可以通过css选择器'#twitter-widget-0‘获得，但是当我使用rvest抓取时，什么也不会返回。 我的代码如下： page <- "https://deutsch.rt.com/amerika/86714-rund-woche-nach-russland-auch-china-schickt-militaer-nach-venezuela/"
read_html(page) %>%
htm
浏览 4提问于2019-04-29得票数 0
回答已采纳
我正试着从网站上抓取一些特定的原始文本。通过这个站点和其他资源，我学习了如何使用simpleXML和xpath获取特定的图像。
然而，同样的方法似乎不适用于抓取原始文本。这是目前不起作用的地方。
// first I set the xpath of the div that contains the text I want
$xpath = '//*[@id="storyCommentCountNumber"]';
// then I create a new DOM Document
$html = new DOMDocument();
// then
浏览 4提问于2009-01-01得票数 2
我无法从下面的网站上获取数据。有没有任何方法，我们可以抓取数据的不同选项卡在网站上的一些天。
在R上也尝试了一些抓取，但似乎不起作用，因为数据范围需要更改，所以不确定如何解决？
浏览 11提问于2019-07-05得票数 1
回答已采纳
1回答
我需要从一个使用python的网站上抓取文本。我已经安装了BeautifulSoup 4、HTML和NLTK，但我似乎无法找到如何抓取。
我真的需要一个简单的代码片段，我可以插入任何URL并获得纯文本。我正试着从那里得到它
浏览 1提问于2014-09-17得票数 0
回答已采纳
我曾经使用arachnode.net爬虫抓取一个网站。由此产生的爬网数据导致数据库大小为+100 gb！
我查看了一下arachnode.net数据库，发现"webpages“表是罪魁祸首。当我抓取一个网站，我不下载，图片，媒体或任何类似的东西，我只下载html代码。然而，在这种情况下，我可以看到html网页包含了大量隐藏的viewdata和javascript。
所以我需要再次爬行，这一次在保存到webpages表之前去掉隐藏的viewdata和javascript代码。
任何人都有一些如何实现它的想法。
谢谢。
浏览 0提问于2012-10-15得票数 0
回答已采纳
我们有两个示例网站：
(html4文档类型)
和
(html5文档类型)
我需要通过javascript ( html5脚本)在两个站点上创建一个<a>元素，该元素带有download属性，
如果您尝试在html4 (第一个)网站上设置download属性，它根本不会起作用，您可以单击它-当您单击它时，它只会打开链接，没有download html5行为
那么，有没有办法仍然可以在html4网站上创建和使用html5元素呢？
编辑:发现火狐不允许跨域(甚至是子域) download属性...见鬼，在firefox中没有什么比这更好的了。
浏览 18提问于2017-02-24得票数 0
2回答
导航栏在滚动引导程序4上更改颜色
、、、、
大家好，所以我希望我的导航栏能够在用户滚动时将颜色从透明切换到黑色，现在这个代码在我的bootstrap 3网站上工作，但当我更改到bootstrap 4时，由于某种原因它不起作用
html：
<nav class="navbar navbar-expand-lg navbar-dark bg-dark fixed-top" id="mainNav" role="navigation">
...
</nav>
CSS:这只是让它变得透明
.bg-dark {
background-color: rgba(2
浏览 0提问于2017-10-09得票数 1
回答已采纳
我想做一个函数，它接受一个特定颜色的参数，并返回它的RGB值。我想要获取数据的网站是https://flaviocopes.com/rgb-color-codes/ 我在网上看了看，我不得不使用requests和BeautifulSoup这样的模块，我发现它们有点简单，但无法让它工作，我的代码是： def getColor(color):
response = requests.get('https://flaviocopes.com/rgb-color-codes/') soup = bfs(response.text, features="html
浏览 24提问于2021-08-01得票数 1
2回答
如何在HTML5网站上不使用XMP元素的情况下显示包含标签的超文本标记语言？
该网站是用HTML5制作的，并展示了关于HTML、C++等的教程。
所以我需要展示很多编程语言的源代码。
浏览 3提问于2013-03-01得票数 2
回答已采纳
1回答
我正在从IMDB网站上抓取电影。在抓取的同时，我能够抓取电影的证书，即它是被禁止的，还是PG-13，或者是R，但似乎对于一些电影，证书不存在，所以我如何为那些电影放"-“，我尝试使用if-else循环，如下面的代码中所见，但它似乎不起作用。附上代码和截图以供参考。我正在使用BeautifulSoup库进行抓取。有没有办法把"-“或"NA”放在不存在的地方？
if data.find_all("span",{"class":"certificate"}):
certificate=[c.get_text() for
浏览 1提问于2020-09-17得票数 0
1回答
在MongoDB中保留文本格式
、、、、
我正在用puppeteer进行网页抓取，但我得到的description有不同的文本格式，如h1、项目符号等。 我使用$("#JobDescriptionContainer").html();抓取文本，然后将其保存在MongoDB上，但当我将其放到我的JS/React应用程序中时，文本没有格式化(所有内容都在一个普通字符串中)。 如何在我的网站上以原始格式(如我抓取的网站上所示)显示抓取的文本？ 我想： ? 但我有： ?
浏览 20提问于2021-06-25得票数 0
回答已采纳
我正在使用这个脚本有一个弹出框在我的网站上的一些设置：
单击按钮/文本时将打开弹出窗口：
<a href="#" onclick="ShowModalPopup('name_of_div_in_popup_box'); return false;">Text</a>
我想知道是否有可能将内容(#name_of_div_in_popup_box)从外部页面(在同一网站)加载到弹出框中，而不是将div隐藏在具有此弹出框的所有页面中。问题是弹出窗口在很多页面中，所以在当前的情况下，我必须将#name_of_div_in_pop
浏览 6提问于2013-01-16得票数 2
2回答
网络收获--抓取一个网址
、、、、
我用的是网络收获。但是，我想从URL中抓取数据：
我的代码是：
<?xml version="1.0" encoding="UTF-8"?>
<config>
<var-def name="google">
<html-to-xml>
<http url="http://derstandard.at/anzeiger/immoweb/Suchergebnis.aspx?Regionen=9&Bezirke=&Arten=&An
浏览 1提问于2013-03-15得票数 2
回答已采纳
多亏了这个网站上许多人的帮助，我现在可以在屏幕上抓取项目代码并进入测试模式。处理html请求似乎需要相当多的时间。因此，现在我将原始html流放入一个字符串变量中，并使用LoadHTML()方法将该变量传递给屏幕抓取处理代码。
我的问题是，是这样做更快，还是将html流保存到文件中，然后解析文件更快？
我以为这条小溪会更快，但现在我不确定了。
浏览 0提问于2011-01-07得票数 1
回答已采纳
在我的Silverstripe 4网站上，我有一个用户定义的表单和一个文件上传域。
如果用户上传了任何文件，这些文件将被直接发布。所以这些文件会在搜索结果中被抓取。
有没有办法让用户上传的文件不会被发布？只是作为一个草稿文件吗？
或
我不需要将这些文件保存在CMS中？
有什么办法可以做到这一点吗？
浏览 1提问于2020-01-07得票数 2
3回答
我只是好奇谷歌如何抓取一个页面，我有一点代码告诉我，如果谷歌机器人在我的网站上，它是在哪些页面上。
如果谷歌正在抓取一个页面，例如，/page.html在该页面中有链接，例如该网站的其他10个页面。
它是只为可能的索引添加page.html，因为它是它所在的页面，还是为了可能的索引而存储page.html上的所有链接？
浏览 0提问于2013-05-07得票数 0
1回答
抓取无显示隐藏可见性python
、、、、
我试图用python中的Beautifulsoup从一个网站上抓取数据，当我解析页面时，我想抓取的信息没有显示出来，相反，我看到了以下内容：
<span class="frwp-debug hidden" style="display: none!important; visibility: hidden!important;">
解析后的html与我检查页面时看到的不同。
这是我的代码：
site = "http://www.fifa.com/worldcup/stories/y=2017/m=11/news=australia-292
浏览 3提问于2018-06-04得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
