Loading [MathJax]/jax/input/TeX/config.js
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >WebClien使用国外代理服务器访问URL

WebClien使用国外代理服务器访问URL

作者头像
全栈程序员站长
发布于 2022-08-11 13:46:55
发布于 2022-08-11 13:46:55
7.2K00
代码可运行
举报
运行总次数:0
代码可运行

大家好,又见面了,我是你们的朋友全栈君。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
using (WebClient wc = new WebClient())
 {

      //代理服务器的IP和Port
      WebProxy myProxy = new WebProxy(Common.server, Convert.ToInt32(Common.port));

      // 设置代理服务器用户帐号username,password
      myProxy.Credentials = new NetworkCredential(Common.user,Common.pwd);

      / 为WebClient设置proxy
      wc.Proxy = myProxy;

      //所要访问的URL的headers
      wc.Headers.Add(HttpRequestHeader.Accept, "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9");
      wc.Headers.Add(HttpRequestHeader.AcceptLanguage, "zh - CN,zh; q = 0.9");
      wc.Headers.Add(HttpRequestHeader.ContentType, "application/x-www-form-urlencoded");
      wc.Headers.Add(HttpRequestHeader.AcceptEncoding, "gzip,deflate");
      wc.Headers.Add(HttpRequestHeader.UserAgent, "Mozilla / 5.0(Windows NT 10.0; Win64; x64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 89.0.4389.114 Safari / 537.36");
      wc.Headers.Add(HttpRequestHeader.Pragma, "no-cache");

      //自己需要访问的URL
      string uri = Common.URL;

      byte[] bytes = wc.DownloadData(uri);
      Console.ReadKey()
}

发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/131482.html原文链接:https://javaforall.cn

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2022年4月2,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
python爬取网站的一些技巧总结
学习python也有一段时间了,今天整理了一份爬取网站数据的基本步骤分享给大家,对于很多爬虫高手来说可能没有什么意义,但是对新学爬虫的小伙伴来说可以参考下。爬取一个网站的数据整体是比较简单的,难度大小跟这个网站有关。以下就是一些小编整理的步骤: 1、设定爬取目标, 目标网站:微博 https://weibo.com/ 目标数据每天更新的热搜关键词的链接、标题、标签。 2、 分析目标网站 爬取页面:https://s.weibo.com/weibo?q=%E4%BF%9D%E7%A0%94&topic_ad= 待爬取数据:网页下的超链接的标题和链接,标签列表 目标网站反爬:网站反爬的方式有很多,都有应对策略,比如遇到网站限制IP访问次数时,只需要加上代理IP就可以轻松解决。代理IP的选择有很多,比如这里我们给大家示例代理使用方式的亿牛云代理。代理如何在程序里面添加,示例代码如下: Plain Text 复制代码 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 // 要访问的目标页面 string targetUrl = “http://httpbin.org/ip”;
小白学大数据
2024/06/08
1550
python学习之代理的使用
今天跟大家分享的文章主要是介绍了Python爬虫使用代理IP的实现,文中通过示例代码介绍的非常详细,可能对很多的爬虫工作者来说简直是小儿科的东西,但是对一些刚入行的小白爬虫来说还是蛮有学习价值的,有这方面需求的小伙伴跟着我一起来学习吧。 当我们在使用爬虫进行数据获取时,如果目标网站对访问的速度或次数要求较高,那么你的 IP 就很容易被封掉,也就意味着在一段时间内无法再进行下一步的工作。这时候代理的重要性就显示出来了,因为不管网站怎么封,只要你的程序一直都有新的ip去访问就可以继续进行下一步的研究。 本文除了和大家交流下代理ip的重要性以外也会向大家分享下适合新手爬虫使用的代理模式,那就是动态隧道代理,网络上有很多代理商都有提供,但是各家质量有所区别,大家根据需要实际测试为准。这里分享下普便的隧道代理的使用方式:
小白学大数据
2024/06/08
1290
Python搭建代理IP池(一)- 获取 IP[通俗易懂]
使用爬虫时,大部分网站都有一定的反爬措施,有些网站会限制每个 IP 的访问速度或访问次数,超出了它的限制你的 IP 就会被封掉。对于访问速度的处理比较简单,只要间隔一段时间爬取一次就行了,避免频繁访问;而对于访问次数,就需要使用代理 IP 来帮忙了,使用多个代理 IP 轮换着去访问目标网址可以有效地解决问题。
全栈程序员站长
2022/09/05
2.4K0
Python搭建代理IP池(一)- 获取 IP[通俗易懂]
WAF攻防-信息收集&识别&被动探针&代理池&仿指纹&白名单
1、脚本或工具速度流量快 2、脚本或工具的指纹被识别 3、脚本或工具的检测Payload
没事就要多学习
2024/07/18
1230
Netty实现简单HTTP代理服务器
自上次使用Openresty+Lua+Nginx的来加速自己的网站,用上了比较时髦的技术,感觉算是让自己的网站响应速度达到极限了,直到看到了Netty,公司就是打算用Netty来替代Openresty这一套,所以,自己也学了好久,琢磨了好一趟才知道怎么用,现在用来写一套HTTP代理服务器吧,之后再测试一下性能。
Zephery
2019/12/06
3.8K0
【教程】贺岁教程之--C# get&post实例
首先说一下 这个教程面向的是具有一定C#基础知识的初学者 我相信很多人会用C#的人都是能够编一些小的算法程序 始终没有接触到网络应用 也就与贴吧辅助无缘了 说老实话 我在过去几年就是这样 接触C#有两年了 然后学vb差不多10年了吧。。。始终没有途径了解这些东西 但是C#就是这样一种简单的 高度封装的语言 用它来写网络应用 不需要了解什么tcp/ip协议 访问网页不过是一个过程 在C#中抽象为一个对象一个函数罢了 首先在程序开头加上这么一句:
ApacheCN_飞龙
2019/02/15
7740
nginx代理Websocket
有需求使用nginx反向代理websockt,因为webSocket协议是基于http协议的,因此可以使用nginx反向代理webSocket.
古人诗
2020/03/18
1.6K0
Python网络爬虫(浏览器伪装技术)
1)字段1: Accept: text/html,application/xhtml+xml,application/xml; q=0.9,/; q=0.8
Python研究者
2020/09/28
5590
我裂开了,教给他如何搭建和使用代理服务器,他居然用来做这么不正经的事(爬虫,代理ip)[通俗易懂]
在使用爬虫对某些网站进行爬取时,为了不让网站发现我们的ip,模拟其他用户ip地址去访问网站。也就相当于间接的去访问网站,流程如图:
全栈程序员站长
2022/07/19
5410
我裂开了,教给他如何搭建和使用代理服务器,他居然用来做这么不正经的事(爬虫,代理ip)[通俗易懂]
使用nginx设置代理服务器
用爬虫过程中,如果用同一IP请求过多,会被服务端屏蔽,这时可以去网站上如 西刺免费代理IP 找一些免费IP代理,如果你已经有了自己的服务器,并且运行的是 nginx 服务器,就可以把自己的服务器也当成免费的代理服务器。
mafeifan
2019/06/02
2.6K0
C# http Get/POST请求封装类
http://www.sufeinet.com/thread-3-1-1.html
跟着阿笨一起玩NET
2018/09/20
3K0
无headers爬虫 vs 带headers爬虫:Python性能对比
Headers是HTTP请求的一部分,用于传递客户端(如浏览器或爬虫)的元信息。常见的Headers字段包括:
小白学大数据
2025/04/15
1230
Java:HttpClient篇,HttpClient4.2在Java中的几则应用:Get、Post参数、Session(会话)保持、Proxy(代理服务器)设置,多线程设置...
新版HttpClient4.2与之前的3.x版本有了很大变化,建议从http://hc.apache.org/处以得到最新的信息。
bear_fish
2018/09/19
2.7K0
用nodejs实现http代理服务器
这段代码创建了一个 HTTP 代理服务器和一个 TCP 代理服务器,可以同时处理 HTTP 和 HTTPS 请求。当收到一个 HTTP 请求时,它会解析请求 URL,并创建一个向目标服务器的 HTTP 请求。当收到一个 HTTPS 请求时,它会解析请求 URL,并创建一个向目标服务器的 TCP 连接,然后将客户端发送的数据转发给目标服务器,并将目标服务器返回的数据转发给客户端。
用户8703799
2023/05/19
2K0
手动实现nodejs代理服务器
最近看到这样一个题目,根据反向代理服务器的原理用nodejs实现一个代理服务器,要求:
挥刀北上
2019/07/19
4.9K0
手动实现nodejs代理服务器
记一次某OA渗透测试有意思的文件上传漏洞挖掘经历以及分析
.ashx 文件扩展名通常用于表示 ASP.NET 处理程序(ASP.NET Handler)。ASP.NET 处理程序是一种在服务器端处理特定类型请求的代码文件。这些文件通常用于执行一些特殊的服务器任务,如图像生成、文件下载或其他动态内容的处理。
亿人安全
2025/01/10
2060
记一次某OA渗透测试有意思的文件上传漏洞挖掘经历以及分析
C#中的WebClient与XPath:实现精准高效的Screen Scraping
在现代互联网中,Screen Scraping(屏幕抓取)已成为从网页中提取信息的重要技术。对于C#开发者来说,WebClient和XPath是实现高效抓取的重要工具。本文将概述如何使用C#中的WebClient类结合XPath技术,实现精准高效的Screen Scraping,并通过代理IP、user-agent、cookie设置和多线程技术来进一步提升采集效率。
jackcode
2024/08/21
2940
Nodejs创建http客户端及代理服务器
nodejs除了可以通过http模块创建服务器,还能创建客户端,类似于浏览器那样很轻松的去向别的服务器发送请求并获取响应数据。
前端_AWhile
2019/08/29
2.4K0
使用隧道转发爬虫代理加强版错误解析
在互联网上进行自动数据采集已是互联网从业者的常规操作,爬虫程序想要长期稳定地进行数据采集,都会使用到爬虫代理来避免目标网站的IP访问限制。在数据采集过程中难免会遇到各种各样的问题,若想要想要快速分析数据采集过程中的问题,我们该怎么做呢?其实可以通过HTTP返回的各种状态码进行判断。一般来说,在使用代理的过程中会出现以下几种错误状态码:
用户6172015
2021/01/20
9730
phpstudy后门rce批量利用脚本
GET / HTTP/1.1 Host: 127.0.0.1 User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:55.0) Gecko/20100101 Firefox/55.0 Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8 Accept-Language: zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3 Connection: close accept-charset: ZWNobyBzeXN0ZW0oIm5ldCB1c2VyIik7 Accept-Encoding: gzip,deflate Upgrade-Insecure-Requests: 1
重生信息安全
2020/03/06
6420
推荐阅读
相关推荐
python爬取网站的一些技巧总结
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档