2回答
我需要建立一个小的搜索引擎，如谷歌使用ASP.NET MVC3。对于这一个，我还需要建立网络爬虫，其中填充搜索引擎的数据。总而言之，我需要以下内容：请任何人有任何想法或资源或书籍。请与我们分享。
浏览 8提问于2012-11-14得票数 2
我想添加谷歌AdSense到受保护的页面，但谷歌声称，AdSense爬虫将需要自己的登录来执行正确的爬行。。因此，我为爬虫设置了用户名/密码，将POST参数放入谷歌的设置页面，但随后意识到这在我的登录配置中是行不通的，因为ASP.NET MVC使用AntiForgeryToken来防止跨站点攻击。
浏览 2提问于2015-08-07得票数 1
回答已采纳
2回答
我不想让网络爬虫得到div消息，所以我实现了HttpBrowserCapabilitiesBase.Crawler，它看起来对谷歌有效，但必应和其他爬虫似乎没有注册为爬虫。奇怪的是，微软的产品没有注意到Bing作为一个爬虫！谢谢!编辑:我正在使用asp.net MVC3，看起来我需要使用.Browser文件(？)。有没有人知道为Bing和其他爬虫提供了一套全面的.Browser文件？
浏览 0提问于2011-09-28得票数 4
回答已采纳
1回答
你能告诉我谷歌的算法是否标志着盗用其他网站图片的剽窃吗？我不想受到惩罚，因为当图像所有者允许它在我的网站上使用时。我认为谷歌很难知道这张图片的使用是否得到了用户的认可，例如，如果是在私人场合，比如通过电子邮件。在我看来，这个算法不应该因为使用其他站点的图像而受到惩罚，因为它需要心灵感应。
浏览 0提问于2018-10-05得票数 2
回答已采纳
我想自动检测谷歌和其他爬虫，并将它们登录到我的ASP.NET网站。有没有人找到一种可靠的方法来做到这一点？登录部分很简单，但是要可靠地检测它们才是真正的问题。
致以问候。
浏览 0提问于2009-09-16得票数 3
回答已采纳
假设页面的所有内容都是由javascript拉取的……搜索引擎爬虫能够获取页面内容吗？
我听说爬虫在页面上爬行时并不总是支持javascript或执行javascript。
浏览 1提问于2012-07-30得票数 0
2回答
所以我需要开发谷歌爬虫应用程序，我也必须为googlebot创建快照。
你知道吗，headless browser可以和ASP.NET的javascript和ajax一起工作？
浏览 3提问于2010-10-22得票数 2
回答已采纳
1回答
随着HTML流(例如反应18流)的兴起，我想知道爬虫是如何处理HTML的。谷歌爬虫是如何处理这个问题的？谷歌确实提到了流这里，但它没有说明谷歌爬虫如何处理HTML。
其他爬虫(DuckDuckGo，Bing，Facebook，Twitter等)怎么样？我假设爬虫会等到HTML流结束时，这个假设安全吗？
浏览 0提问于2021-07-27得票数 7
2回答
如果您创建了一个新的asp.net mvc网站，Global.asax.cs中的默认路由如下：我该怎么做？
浏览 2提问于2011-07-10得票数 3
1回答
使用Google代理IP的用户
、、、、
然而，我不知道谷歌本身有一个代理，除了“数据保护程序”的功能。66.102.8.219 66.249.91.121 google.com谷歌-代理-66-102-8-219
根据本页，https://developers.chrome.com/multidevice
浏览 0提问于2019-03-26得票数 1
在经历了几天的大规模攻击后，大多数攻击来自中国，今天我开始从谷歌云IP(他们甚至不遵循robots.txt文件)获得很多命中，我能知道这是谷歌机器人爬虫程序还是人们使用谷歌云IP爬取网站？如果我屏蔽它们会影响我的谷歌排名吗？
浏览 16提问于2017-08-03得票数 0
因为我也想在经过认证的页面中显示广告，所以我正在设置crawler访问权限，以便为Google爬虫提供用户名和密码。在这个站点中，主页上有一个用户名/密码表单，它提交给autentica.asp，然后重定向到logado.asp。📷📷
我怎么才能解决这个问题？
浏览 0提问于2018-05-11得票数 5
(很久以前，谷歌有一个叫做Google Squared的网络应用程序。今天还有其他类似的工具吗？更新:这是13年前的谷歌平方演示。
根据维基百科的文章，它是根据Wolfram创建的，但是WA在设计上是有限的(或者我不知道/不能访问其他特性)。
浏览 0提问于2023-02-07得票数 2
2回答
return Redirect("/h");
return View();
问题:如果我限制一些浏览器访问我的主视图，它也会限制对网络爬虫的访问吗
浏览 0提问于2013-02-21得票数 0
回答已采纳
我创建了一个组件SeoHeader来处理NextJs项目上的元标记创建import Head from 'next/head'; const router = useRouter(); <Head>
<met
浏览 8提问于2021-10-18得票数 1
从日志中，我可以稍微理解一些他们来自谷歌机器人，但我想了解为什么我要得到这个，我如何阻止他们？如果我会阻止，这将不会对我的网站造成伤害。
浏览 4提问于2015-10-06得票数 0
回答已采纳
我想阻止google爬行我的整个网站-除了sitemap，我可以用它来告诉google优先级和上次更改等。这是个坏主意吗？我该如何在robots.txt中做到这一点？
浏览 0提问于2012-10-16得票数 0
我已经开发了Nodejs express服务器，我关心的是爬虫流量....i意味着如果有人开始向我的服务器发送请求使其宕机，那么如何检测或避免这种情况。
提前谢谢。
浏览 0提问于2016-04-10得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
