1回答
我用Perl构建了一个网络爬虫。HTML::ContentExtractor
从网页中提取文本。示例代码的参考链接问题是，它不会从具有.aspx扩展名的网页中获取文本。它非常适合其他网页，我不知道为什么这个爬虫在aspx页面上会失败。
浏览 8提问于2014-04-25得票数 0
我们有一个分页的URL，如：example.aspx/?pn=2...这是返回产品列表的web表单URL。什么是正确的方式通知客户/爬虫，我们没有内容在这个网页。
浏览 3提问于2017-09-04得票数 1
回答已采纳
1回答
我正在做一个网页爬虫，发现我的目标网页的url是这样的。当我尝试查看这个网页的源码时，我发现如果我右击不同的位置，会有很多不同的html源，如果我在IE中点击View->Source
浏览 1提问于2014-08-28得票数 0
1回答
如果我写了一篇文章，他的链接是'example.com/abc.php‘&这篇文章在搜索引擎中排名靠前。 几天后，我更新了这篇文章，包括它的内容和'xyz.php‘的永久链接。 现在，之前URL为'example.com/abc.php‘的帖子被更新为'example.com/xyz.php’。 那么搜索引擎将如何知道这是与URL example.com/abc.php排名相同的页面/帖子。并且需要将搜索结果中的链接更新为“example.com/xyz.php”，而不影响排名。 在更新固定链接之前和之后，在为搜索引擎创建一个唯一标识页面的新帖子时，有
浏览 35提问于2021-01-25得票数 0
想知道谷歌网站爬虫是如何找到我的网站。假设我没有在谷歌索引的任何其他地方发布网址。
有人能解释一下吗？
浏览 2提问于2016-04-22得票数 0
回答已采纳
2回答
return Redirect("/h");
return View();
问题:如果我限制一些浏览器访问我的主视图，它也会限制对网络爬虫的访问吗
浏览 0提问于2013-02-21得票数 0
回答已采纳
我有一个站点，它的根目录是，任何到的流量都被重定向到。在网站管理员工具中，我将站点添加为，但我只在/blog目录和其他静态页面上获取谷歌。对吗？有人能验证一下这是否会达到我想要达到的目的吗？Allow: /$
浏览 1提问于2015-11-18得票数 0
回答已采纳
例如，正确的链接是/Info/SiteMap.aspx，但糟糕的请求是缺少'o‘的/Inf/SiteMap.aspx。通常有很多请求，比如一分钟内有20个请求。全部抛出404。
浏览 1提问于2009-05-07得票数 0
回答已采纳
2回答
当抓取一个网页时，网页的结构一直在变化，我的意思是它的动态性导致我的爬虫停止工作。是否有一种机制可以在运行完整的爬虫程序之前识别网页结构的变化，以便识别结构是否已经改变。
浏览 32提问于2020-09-28得票数 0
1回答
我用c# (使用Microsoft WebCrawler)编写了一个简单的网络爬虫项目，它可以下载特定站点的内容。正如Marcom建议的那样，我从我的网页爬虫和网页浏览器上看到了小提琴的响应。当我的网页爬虫导航到网页时，他会在与网页相反的一个仿真器上接收假信息。
有线索吗？
浏览 1提问于2011-03-11得票数 0
如何调用/创建Twitter Card并动态设置元值，而不是从head部分获取或声明元数据。就像下面的代码实现一样。 method: 'share_open_graph', action_properties: JSON.stringify({ 'og-image':'image-url'
浏览 3提问于2018-08-18得票数 1
为了更好地遵守谷歌的指导方针，我们已经做了很多努力来删除我们网站的链接。然而，不再链接到我们的网站仍然出现在我们的谷歌网站管理员工具中。这些链接一个多月前就被删除了。
浏览 0提问于2012-08-11得票数 1
我正在构建一个网络爬虫作为我实习的一部分，当我通过某些属性过滤时，我找不到我得到空列表的原因。我正在尝试抓取会议的名称、日期和地点。 我试过几种不同的方法，都得到了相同的结果。allowed_domains = ['aacr.org/MEETINGS']
start_urls = ['https://www.aacr.org/MEETINGS/PAGES/EVENTLISTING.ASPX上面的4个方法都返回空列表，而不是返回我知道存在于网页上
浏览 24提问于2019-06-08得票数 2
回答已采纳
我一直试图从数据库中抓取一个网站的数据来构建一个游戏，而且我经常被CAPTCHA的请求屏蔽。当我检查站点的Robots.txt文件时，我看到了以下内容：Disallow: /contact-us/
浏览 1提问于2021-02-24得票数 0
回答已采纳
我正试图弄清楚如何正确地使用搜索引擎，我想知道：mySite.com/StartsWith/predmySite.com/Words.aspx?StartsWith=pred更新网站上不会有重复的内容
浏览 0提问于2012-04-27得票数 1
回答已采纳
1回答
我想建立一个爬虫，需要抓取网页的网址，并将结果返回给一个网页。现在，我从终端启动scrapy并将响应存储在一个文件中。当一些输入发布到Flask、处理并返回响应时，我如何启动爬虫？
浏览 1提问于2015-07-24得票数 5
150个我需要抓取的网页。基于我的无知和缺乏研究，我开始构建每个网页的爬虫，这开始变得难以完成和维护。
根据我到目前为止的分析，我已经知道我想在每个网页上抓取什么信息，很明显，这些网站都有自己的结构。在积极的一面，我注意到每个网站的网页在其网站结构中都有一些共性。我的百万美元的问题，有没有一个单一的技术或单一的网络爬虫，我可以用来抓取这些网站？或者，有没有更好的解决方案，可以减少我需要构建的网络爬虫的数量？此外，这些网络爬虫将仅用于下载我针对的网站的新
浏览 3提问于2019-04-29得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
