HttpBrowserCapabilities.Crawler属性(http://msdn.microsoft.com/en-us/library/aa332775(VS.71).aspx是如何工作的?我需要检测一个合作伙伴的自定义爬虫,这个属性返回false。
我可以在哪里/如何添加他的用户代理,以使此属性返回true?除了创建我自己的用户代理检测机制之外,还有其他方法吗?
发布于 2008-10-21 16:57:05
这都是由默认的browsercaps声明驱动的,这些声明是.NET框架的一部分。
要设置此特定的crawler,您需要在web.config中添加自定义browserCaps部分,以将其标识为crawler。
关于如何实现这一点的MSDN文档有很好的文档记录,here is a link.
发布于 2008-10-21 16:59:49
使用C:\WINDOWS\Microsoft.NET\Framework\v2.0.50727\CONFIG\Browsers.中的一组*.browser文件填充HttpBrowserCapabilities您可以在~/App_Browsers/中添加您自己的文件以及自定义crawler的详细信息。模式是here。基本上,它包含一个正则表达式来匹配User-Agent头和一组属性值。
https://stackoverflow.com/questions/222564
复制相似问题