C# WebClient.DownloadString未返回整个网页源代码
C# WebClient.DownloadString是一个用于从指定的URL下载字符串的方法。它可以用于获取网页的源代码。然而，有时候使用该方法可能无法返回整个网页源代码的情况。
这种情况可能是由于以下原因之一导致的：
- 网页源代码过大：如果网页源代码非常庞大，超过了WebClient.DownloadString方法的默认缓冲区大小，那么该方法可能只会返回部分网页源代码。解决这个问题的方法是使用WebClient.DownloadData方法来下载网页的字节数组，然后使用合适的编码将字节数组转换为字符串。
- 网页源代码被分块传输：有些网页服务器会将网页源代码分成多个块进行传输，这样可以提高传输效率。在这种情况下，WebClient.DownloadString方法可能只会返回第一个块的内容。解决这个问题的方法是使用HttpWebRequest和HttpWebResponse类来手动发送HTTP请求并接收响应，然后将所有块的内容合并为完整的网页源代码。
综上所述，如果C# WebClient.DownloadString方法未返回整个网页源代码，可以尝试使用WebClient.DownloadData方法或HttpWebRequest和HttpWebResponse类来解决该问题。以下是相关的腾讯云产品和产品介绍链接：
- 腾讯云对象存储（COS）：用于存储和管理大规模的非结构化数据，支持海量文件的存储和访问。产品介绍链接：https://cloud.tencent.com/product/cos
- 腾讯云CDN加速：通过在全球部署节点，提供快速、稳定的内容分发服务，加速网页的加载速度。产品介绍链接：https://cloud.tencent.com/product/cdn
相关·内容
4回答
我正在编写一个从网页抓取数据的C#控制台应用程序。
这个应用程序将转到大约8000个网页并抓取数据(每个页面上的数据格式相同)。
我现在让它在没有异步方法和多线程的情况下工作。
但是，我需要更快的速度。它只使用了3%-6%的CPU，我想是因为它花费了等待下载网页的时间。(网址:WebClient.DownloadString)
这是我的程序的基本流程
DataSet alldata;
foreach(var url in the8000urls)
{
// ScrapeData downloads the html from the url with WebClient.Downlo
浏览 0提问于2012-07-25得票数 28
回答已采纳
我想知道在C#中是否有办法只下载网页的html，如果网页在N字节以下的话？我们想用特定的状态代码来存储页面的输出，但前提是网页上的HTML小于N个字节。
浏览 3提问于2014-01-30得票数 0
回答已采纳
我正在使用WebClient.DownloadString(网址)下载一个网页，当一个网址是404网页时，它会停止并且不再工作。当我遇到这个错误时，我想跳过这些页面。
如果url是404页面，则不会开始下载。所以我无法解析未下载的数据...
浏览 0提问于2012-01-19得票数 3
回答已采纳
我使用WebClient.DownloadString是为了删除网页，不幸的是，DownloadString给了我没有CSS和JS更新的页面源代码(这是在页面加载时在internet explorer中制作的)。
所以我想知道如何像internet explorer或WebBrowser控件那样使用WebClient加载整个页面？(使用css和js代码注入)
浏览 27提问于2013-07-07得票数 1
回答已采纳
3回答
我目前正在处理一个使用C#的ASP.NET MVC4项目。
我想创建一个扩展方法，它接受各种类型的方法，将这些方法包装在try/catch中，如果调用成功，则返回方法调用的结果。
这是我到目前为止所知道的：
public static object HandleServerError(this object obj)
{
object result = null;
try
{
result = obj;
}
catch (E
浏览 0提问于2012-09-28得票数 1
回答已采纳
当我发送以下查询时
http://ajax.googleapis.com/ajax/services/search/local?v=1.0&q=coffee%20New%20York%20NY
我使用c# WebClient.DownloadString函数或普通web浏览器获取JSON数据，这些数据与使用JavaScript和Google AJAX Search API进行相同查询的数据不同。
从REST服务中，我获得了以下url字段
http://www.google.com/maps/place?source003duds0026q003dcoffee0026cid003d132
浏览 0提问于2010-05-05得票数 0
回答已采纳
例如，我想从C#加载此页面(url) "“，然后将页面保存为文本文件，以便稍后解析或抓取。我知道我可以在浏览器(在我的例子中是Firefox)中通过右键单击页面然后“将页面另存为...”来完成此操作。然后将其另存为文本文件。然后，所有包含我需要的数据的文本都将保存在一个文本文件中，以便稍后进行解析。我想知道如何从C#自动执行此过程。我在MSDN中找到了这段代码，它可以自动打印网页：
private void PrintHelpPage()
{
// Create a WebBrowser instance.
WebBrowser webBrowserForPrinti
浏览 0提问于2017-01-10得票数 3
我正在使用Webclient.DownloadString()下载一些网页的完整超文本标记语言。
问题是一些页面使用Ajax加载图像等，因此从页面看起来完成加载到实际加载所有内容(包括Ajax图像)需要3-4秒。
那么有没有办法让Webclient.DownloadString()在检索超文本标记语言之前等待X秒呢？
谢谢，路易莎
浏览 1提问于2014-05-09得票数 0
我有一个调用网页的PowerShellScript，网页正在做一些代码隐藏工作。我试图解决的问题是，我希望将网页作为安全的网页，但一旦我这样做了，我就想不出一种方法来将用户名和密码从PowerShell脚本传递到安全的网页。我正在使用表单身份验证。如果任何人能提供完整的代码样本，我将不胜感激，这样我就可以只需插入并完成魔术。非常感谢！
附注：我已经尝试过System.Net.NetworkCredential，但它似乎是用于基本身份验证。
$url = "someurl"
$webclient = New-Object System.Net.WebClient
$webclie
浏览 4提问于2013-07-16得票数 1
1回答
如何使用c#从谷歌搜索中获得前N个结果？
using (var webclient = new WebClient())
{
const string url = "https://www.google.com.au/search?num=100&q=my+search+term";
var result = webclient.DownloadString(url);
}
更新：
我如何才能找到某个特定的url出现的位置和次数？
浏览 0提问于2016-03-17得票数 1
2回答
我正在尝试从网页中检索数据。网页上只有一句话。检索句子的正确方法是什么？我试过了，但一无所获。
Dim webClient As New System.Net.WebClient
Dim result As String = webClient.DownloadString("http://example.org")
MsgBox(result)
浏览 1提问于2014-11-08得票数 0
下面是我的密码。我有多个网页，我需要将所有这些网页源代码保存到一个txt文件中，可以吗？我的代码只保存了一个webepage源代码，我可以通过更改代码中的数字来选择保存哪一个：
string s=WebClient.DownloadString(listBox8.Items[0].ToString());
在listbox8中有多个网页附件。这些地址是从tvrage_db2.txt文件中提取的。
你能帮帮我吗?
List<string> link = new List<string>();
using (StreamReader sr = new Str
浏览 1提问于2013-12-03得票数 1
2回答
我正在下载(获取)一个返回字符串的网页，而不是XML，而不是JSON。
基本上，有没有办法像Angular4中的WebClient.DownloadString在C#中一样，以字符串的形式下载网页呢？
备注：我认为我可以使用http方法(可观察的、承诺的、JSONP)来下载一个网站。但不管怎样我试过了。
我无法使用JSONP，因为我理解它是将结果解析为JSON，并且由于响应是string而不是json，所以我得到了错误。
可观察的和承诺都失败了，因为我得到了CORS的错误。我不知道为什么我会收到CORS错误，因为它不是RESTful服务、WCF或web等等。
请求的资源上没有“访问-控制-允许
浏览 6提问于2017-08-13得票数 3
回答已采纳
有没有办法改变网页浏览器控件中呈现的HTML页面？我需要的是改变呈现在我的网页浏览器控件中的HTML页面，以突出显示选定的文本。
我所做的是使用get客户端并使用webclient.Downloadstring()来获取页面的源代码，突出显示特定的文本，然后在get浏览器中重新编写它。问题是，图像和页面不会一起出现，因为它们是以相对路径呈现的。
有没有办法解决这个问题？有没有一种方法可以检测way浏览器控件中的图像？
浏览 1提问于2010-01-18得票数 1
回答已采纳
3回答
C#中的HTML解析
、、、
我有一个html页面，其中包含一个表，我想用C# windows表单解析该表。
这是我想解析的网页，我试过了
> Foreach(Htmlnode a in document.getelementbyname("tr"))
{
richtextbox1.text=a.innertext;
}
我试过这样的东西，但它不会给我表格形式，因为我只是打印所有的trs，所以请帮助我，谢谢您，对不起，我的英语。
浏览 17提问于2012-10-22得票数 15
回答已采纳
我试图用检索WebClient.DownloadString的源代码，但是当我调试字符串时，我将源代码写到它，它似乎切断了html源代码的一部分。
VS中的文本可视化：
浏览器调试：
代码：
public string GetWebpageSource()
{
using (WebClient client = new WebClient())
{
client.Headers[HttpRequestHeader.UserAgent] = "Mozilla / 5.0(Windows NT 10.0; Win64; x64; rv: 44.0
浏览 3提问于2016-02-08得票数 0
回答已采纳
2回答
使用WebClient.DownloadString方法，将普通的网页源加载到字符串非常简单。
但是，当您向下滚动到结束时，有什么简单的方法可以加载那些扩展和加载新内容的页面呢？
浏览 3提问于2014-10-16得票数 1
回答已采纳
我有一个问题，web客户端不承认网页的内容。
public Form1()
{
InitializeComponent();
WebClient webClient = new WebClient();
try
{
if (!webClient.DownloadString("https://pastebin.com/raw/SUVh3TP1").Contains("dasda"))
{
MessageBox.Show("Working!");
浏览 5提问于2022-01-11得票数 -1
回答已采纳
1回答
我正在成功地从网页中检索数据。
Dim webClient As New System.Net.WebClient
Dim result As String = webClient.DownloadString("http://example.org")
MsgBox(result)
但是，我需要使它更新，就像每5分钟它应该再次检索数据一样。正确的方法应该是什么？谢谢。
浏览 0提问于2014-11-07得票数 0
回答已采纳
我不是程序员/脚本编写者。我只需要将以下脚本写入到文件中：
[CmdletBinding()]
param ()
# Create a web client object
$webClient = New-Object System.Net.WebClient
# Returns the public IP address
$webClient.DownloadString('http://myip.dnsomatic.com/')
我尝试过- file和export-csv，但它写了一个空文件。我确信这是simple...but没有知识的情况下让我很难做到的事情。
浏览 0提问于2012-02-21得票数 6
回答已采纳
如何防止刷新asp.net c#网页按钮？
protected void Button1_Click(object sender, EventArgs e)
{
}
问候
浏览 2提问于2011-12-17得票数 0
回答已采纳
这是一个有很多文本的体育网站，我稍后会整理这些文本以获取兴趣。
我遇到的唯一代码是：
<html>
<body>
<script language="JScript">
<!--
function open()
{
var result = string.Empty;
using (var webClient = new System.Net.WebClient())
result = webClient.DownloadString("http://some.url");
va
浏览 1提问于2013-02-21得票数 2
我正在尝试将这段C#转换为F#：
var webClient = new WebClient();
try {
webClient.DownloadString (url);
} catch (WebException e) {
var response = e.Response as HttpWebResponse;
if (response == null)
throw;
using (response) {
using (Stream data = response.GetResponseStream ()) {
浏览 3提问于2014-01-08得票数 4
回答已采纳
1回答
HTML敏捷包忽略<br>标签
、、、、
我用C#编写了下面的代码来检索网页中表格的内容(在获得权限之后)。它几乎可以完美地工作，但有些单元格包含多个值，如下所示 _______
| 10 |
| 11 |
| 12 |
|___13__| 但是我得到的值是10111213。 这里有一个链接，以便您可以在需要时查看表代码，以获得进一步的清晰愿景: ttps://ug3.technion.ac.il/rishum/course/104031 WebClient webClient = new WebClient();
string page = webClient.DownloadString("https
浏览 14提问于2019-10-03得票数 0
2回答
我在我的网页使用谷歌字体"Open Sans，sans-serif“在CSS中。我使用evo PDF来生成pdf。使用TextElement动态创建页眉和页脚。
我的问题是在c#字体家族中没有这样的谷歌font.How我能在c#字体家族中得到"Open Sans，sans-serif“吗？
TextElement footerText = new TextElement(0, 15, "Page &p; of &P; ",
new System.Drawing.Font(this.OpenSans,12, Fon
浏览 2提问于2015-02-10得票数 3
我的网页上没有显示“<div id="page>”和“<div id="pagecontent">”。在Firebug中，“脚本”标签显示index.php中有这两个div，但是HTML标签没有显示这两个div。为什么？
所有内容都是由PHP生成的，除了这两个div之外，所有内容都正确地显示在页面上。这两个div都紧跟在<body>标记之后。有此问题的活动网站。
HTML文档：
<?php include "topofpage.php" ?>
<!--Main Content Are
浏览 0提问于2013-05-25得票数 0
回答已采纳
在C# Windows窗体应用程序中，我可以使用以下方法获取网页的内容：
string content = webClient.DownloadString(url);
我可以使用以下方法获取HTTP报头：
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
request.Method = "GET";
string response = ((HttpWebResponse)request.GetResponse()).StatusCode.ToString();
是否有一次访问服务器而不是两次获得
浏览 0提问于2013-11-26得票数 6
回答已采纳
2回答
考虑一个简单的C# .NET Framework4.0应用程序，即：
使用WebClient
使用NTLM进行身份验证(在IIS 6.0和IIS 7.5服务器上进行测试)
使用DownloadString()多次从URL检索字符串
下面是一个运行良好的示例：
using System;
using System.Net;
namespace ConsoleApplication1
{
class Program
{
static void Main(string[] args)
{
string UR
浏览 5提问于2016-09-30得票数 20
回答已采纳
我有一个非常具体的问题，我一直在努力解决。在成像过程中，我使用一个PowerShell脚本来命名新成像的计算机，我需要从序列中获取一个新生成的数字。为此，我使用SCCM 2012 R2，顺便说一句。
例如，我有使用wmi查询根据约定命名计算机的脚本：
if ($ComputerVersion -eq "ThinkPad T400")
{
$OSDComputerName = "T400xxxx-11"
$TSEnv = New-Object -COMObject Microsoft.SMS.TSEnvironment
$TSEnv.Value(
浏览 1提问于2014-04-30得票数 1
我想下载一个专门的字符串从网站，但我不知道我如何实现它最好的方式。
现在我这样做：
using (WebClient webClient = new WebClient())
{
string htmlString = webClient.DownloadString(url);
string encoding = WebUtility.UrlDecode(htmlString);
Console.WriteLine(encoding);
}
但是，这会以字符串的形式返回整个网页，我能不能只下载URL的一个特定部分？
浏览 0提问于2016-02-27得票数 1
回答已采纳
我正在寻找可以帮助我在中不使用WebBrowser()获得网页加载时间的代码。
我经历过不同的方法，但我不太明白。
请帮我解决这个问题。
浏览 3提问于2016-01-06得票数 0
回答已采纳
我使用来自的相同的Google代码在C#中的GDAta站点中以编程方式创建网页。
我遇到的问题是，当我创建一个网页时，页面在站点中被成功创建，但是返回的对象(newEntry)总是空的，所以我不能用返回的信息创建任何子页面。
SiteEntry entry = new SiteEntry();
AtomCategory category = new AtomCategory(SitesService.WEBPAGE_TERM, SitesService.KIND_SCHEME);
category.Label = "webpage"
浏览 0提问于2013-05-16得票数 0
回答已采纳
1回答
我正在尝试用HtmlAtiligtyPack读取这个链接http://www.aspemail.com。但它无法读取head部分并返回null。
HtmlAgilityPack.HtmlDocument htmlDocument = new HtmlDocument();
System.Net.WebClient webClient = new System.Net.WebClient();
string download = webClient.DownloadString(linkDetails.Url);
htmlDocumen
浏览 2提问于2013-07-06得票数 0
回答已采纳
2回答
我想向网站发送像查询字符串一样的信息以及url。这正是我打电话来的
Process.Start("http://domain.com?value=anything");
但我不想打开浏览器，因为我不想打断使用该软件的用户。
我已经在谷歌上搜索过了，但是我找到了一些HttpRequest代码，但问题是，这些程序并没有附加查询字符串。他们只是把网页的html文本还给我。
我想检索要存储在数据库中的信息。在这种情况下请指导我。
浏览 8提问于2014-09-24得票数 4
回答已采纳
如何应对500内部服务器错误？假设我有以下代码：
$webpage = $webclient.DownloadString("http://moocow/Addfoo.asmx/roflmao?inputFoofoo=$variable")
在我的例子中，我有一个返回一些信息的页面；但是，页面偶尔会关闭并返回500内部服务器错误。如果是这种情况，我该如何告诉脚本执行另一个操作？下面是我得到的错误：
Exception calling "DownloadString" with "1" argument(s): "The remote se
浏览 1提问于2012-09-19得票数 2
回答已采纳
6回答
我目前正在做一个项目，其中有大量的客户端和web代码。客户端代码是用C#编写的，web部分是用PHP语言编写的。维护两个世界之间的一致性正变得越来越麻烦，我想将web代码合并到.Net中。
问题是我讨厌在ASP.Net网页表单中进行网页开发。我想要一些像PHP一样原始的东西，只需要使用C#即可。我读过一些关于ASP.Net MVC的文章，但它似乎抽象了太多我不喜欢的请求逻辑。
有没有人知道一种轻量级的方法来允许C# + .Net处理web请求？我是否应该更仔细地研究MVC？
更新:我选择了ASP.Net MVC，到目前为止我非常满意。
浏览 2提问于2010-03-23得票数 7
回答已采纳
2回答
我需要翻译一些文本&我正在尝试使用谷歌翻译来翻译它。我查过这个。但是在下面的代码中我得到了一个例外。
result = webClient.DownloadString(url);
异常:远程服务器返回一个错误：(414)请求URI太大。
我从来没有使用过API，所以我试图使用这个类来翻译文本。
有什么建议吗？
我已经检查过类似的帖子，但找不到更简单的方法去做。
浏览 3提问于2011-11-23得票数 4
回答已采纳
我正在使用webclient从sharepoint online下载XML文件。
但是，当我使用WebClient.DownloadString(string url)方法时，一些字符无法正确解码。
当我使用WebClient.DownloadFile(string url, string file)，然后我读取文件时，所有字符都是正确的。
xml本身不包含编码声明。
string wrongXml = webClient.DownloadString(url);
//wrongXml contains Ä™ instead of ę
webClient.DownloadFile(url,
浏览 11提问于2018-01-03得票数 5
回答已采纳
网页上有一个免费的在线计算器，我想通过C#程序访问它。计算器非常简单--只有一个HTML表。没有JavaScript或闪存。我希望能够将此页面转换为我可以调用的方法。该方法可能会调用网页，输入适当的数字，读取结果，然后返回结果。
做这件事最好的方法是什么？
浏览 1提问于2010-07-26得票数 1
3回答
我有一个网络浏览器，还有一个Visual Studio的标签，基本上我想做的就是从另一个网页上抓取一个部分。
我尝试使用WebClient.DownloadString和WebClient.DownloadFile，在JavaScript加载内容之前，这两个工具都给了我网页的源代码。我的下一个想法是使用web浏览器工具，在页面加载后调用webBrowser.DocumentText，但这并不起作用，它仍然给我提供了页面的原始源代码。
有没有办法可以抓取JavaScript加载后的页面？
浏览 0提问于2014-06-18得票数 21
回答已采纳
1回答
我在MVC网站的控制器中有以下方法：
[WebGet]
public void SaveInfo()
{
string make = Request.QueryString["Make"];
string model = Request.QueryString["Model"];
// Do stuff....
}
当我在地址栏中输入URL时，它工作得很好，但我需要做的是从Windows客户端调用它。我如何在C#中做到这一点？
谢谢!
浏览 2提问于2013-01-30得票数 0
回答已采纳
我需要得到一个网站的html代码使用c# (网页浏览器或网页请求)，但我有一个问题的html代码创建的javascript。
实际上我需要查看生成的Web开发人员插件的源代码(它的firefox插件)
我该怎么做呢？
edit1:我找到了一个使用javascript的解决方案：'‘+ window.document.body.outerHTML+’‘，但它在IE9中不起作用
浏览 0提问于2011-06-13得票数 0
2回答
我想让C#应用程序用UserID显示你的Roblox名字
这是我的个人资料Json，但我不知道如何获取Json数据：
例如：
json = new System.Net.WebClient(){ Proxy = null }.DownloadString("https://api.roblox.com/users/157816362");
label1.text = json.Username
就像这样。
你们能帮帮我吗？
浏览 13提问于2020-05-05得票数 0
回答已采纳
1回答
我目前正在使用WebKit在C# .net中。在WEBKIT中加载此页面时，我遇到了麻烦。或 WEBKIT成功地显示其他网页内容，但在上述网页的情况下。有一个空白的网页。没有网页原始内容。虽然此页面在Firefox中运行良好，但Opera浏览器却运行良好。在这个问题上有什么帮助吗？感染这不是唯一的一页。打招呼。
浏览 3提问于2014-01-07得票数 1
如何下载HTML页面中支持的所有语言？
这是我的C#代码。
using(var webClient = new WebClient())
{
var str = webClient.DownloadString("http://www.dinamalar.com/news_detail.asp?id=1553568");
}
例如，我正在下载的HTML页面包含泰米尔语单词，然后下载的html是不可读的。那么，我能做些什么来支持下载的html文档中的其他语言呢？
浏览 2提问于2016-06-29得票数 1
回答已采纳
我已经看到了一些关于这个问题的其他帖子，但还没有找到解决方案。在调试模式下运行我的C#窗口时，我能够使用WebClient从网页中读取数据。但是，一旦我为应用程序创建了可执行文件，我就无法从web页面读取数据。下面是我得到的异常：
System.Net.WebException:基础连接已关闭:发送时发生意外错误。-> System.IO.IOException:无法从传输连接读取数据:现有连接已被远程主机强制关闭。-> System.Net.Sockets.SocketException:已有连接被远程主机在System.Net.Sockets.Socket.Receive(By
浏览 1提问于2017-10-12得票数 1
2回答
我创建了一个DownloadString函数来检索超文本标记语言数据(因为WebClient缺乏相当多的速度=/)
这是我目前所掌握的.
public static string DownloadString(string url)
{
TcpClient client = new TcpClient();
client.Client.ReceiveTimeout = 5;
string dns = UrlToDNS(url);
byte[] buffer = new byte[51200];
cl
浏览 0提问于2011-08-20得票数 0
回答已采纳
我有这样的代码：
var search = $location.search();
if (angular.isDefined(search.load) && search.load != null) {
if (search.load = "confirmEmail")
authService.confirmEmailUserId = search.userId;
authService.confirmEmailCode = search.code;
$state.
浏览 2提问于2015-01-16得票数 3
回答已采纳
我已经解决了这个问题，但我想知道为什么首先会导致这个问题。我使用BeautifulSoup从一个网页中识别出这个跨度：
span = <span id="ctl00_ContentPlaceHolder1_RestInfoReskin_lblRestName">Ally's Sizzlers</span>
然后我给这个变量赋值：
restaurant.name = span.contents
然而，在每个循环中，这会占用整整1MB，大约有20,000个循环。通过试验和错误，我找到了这个解决方案：
restaurant.name = str(spa
浏览 4提问于2012-11-21得票数 1
回答已采纳
在Visual Studio2005中，您可以右键单击C++项目并选择Project Only > Build Only [project]。
有没有办法对C#项目做同样的事情？如果我从项目右击菜单中选择Build，它也会构建所有依赖项。
浏览 0提问于2009-07-13得票数 6
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
