1回答
我如何才能限制搜索引擎不读取我们的.php url，因为我们希望我们干净的url出现在搜索引擎中。我使用htaccess文件从所有的urls中删除.php，但是搜索引擎同时使用了这两个urls，即使用.php和不使用.php。
我想让搜索引擎只读没有.php扩展名的urls。
浏览 7提问于2015-12-15得票数 0
我想爬这个网站：使用Apache。该网页动态加载ajax内容。如果我用默认配置爬行它，Nutch只会带来头和页脚，动态加载的内容就会丢失。我用的是Nutch 1.14。
浏览 0提问于2018-06-08得票数 0
回答已采纳
我想在其中爬行一些网站，并将其索引和信息存储在Hadoop中。然后使用Solr搜索就可以了。但我面临着很多问题。5)请解释我一个步骤，如果可能的话，我如何爬行一些网站，并将其信息保存到数据库(Hadoop或任何其他)，然后做搜索。提前说一声非常感谢。
浏览 2提问于2012-09-06得票数 3
1回答
可以使用带有伪URL的Apify抓取多个页面吗？ 当人们问同样的问题时，答案大多指向伪URL，如果有可能或不可能这样做，并不会直接解决问题。 如果我在运行爬虫的时候不知道伪URL，并且我从一个页面上抓取了10个链接-然后想要抓取这10个链接，那怎么做呢？ https://kb.apify.com/tutorial-creating-your-first-crawler/crawling-multiple-pages
浏览 15提问于2019-03-19得票数 0
背景:移动应用程序可以将数据共享给其他网站和其他移动应用程序。这个移动应用程序只适用于移动设备，而不适用于web。这意味着没有面向前端的网站来查看用户可以在应用程序中查看的项目。问题:我正在试图找出一种方法，将这个移动应用程序中的项目分享到Twitter和Facebook等服务，移动设备iOS设备内的笔记等，而不是附加原始的图像/视频数据。我希望能够在共享时发送Open Graph元数据，以便项目像普通的Open Graph卡一样显示在这些其他网站和应用程序上。我发现没有任何关
浏览 0提问于2019-09-23得票数 0
1回答
谷歌分析公司在我的php上显示了29个重复的标题标签。这是一个电子商务网站，我知道重复的标题标签是恼人的蜘蛛爬一个网站，我想解决这个问题和流线的问题。
浏览 4提问于2013-10-15得票数 0
回答已采纳
2回答
有时会从内容类型中删除字段，但如果不手动查看存储库，就无法知道是否存在相关的字段枝模板。
除了查找文件名外，是否有任何实用程序或其他方法可以查找未使用的twig模板？
浏览 0提问于2018-07-06得票数 3
回答已采纳
1回答
我的网站在mozila上工作正常，但当我们转到IE 8时，它在状态栏上显示错误User Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows
浏览 0提问于2011-04-04得票数 0
我需要运行一个php脚本(网站爬虫)上提交按钮点击，而不是页面重新加载。后台脚本运行后，应出现确认/警报弹出窗口，表明站点爬网程序已结束。有什么想法吗？
浏览 0提问于2012-04-17得票数 0
1回答
Nutch不爬网页面内容
、、、
我有一个问题，我不能从一个网站抓取内容，其中包含一个php形式的内容。我假设这就是问题所在，因为所有其他页面都被爬行而没有问题。我目前正在尝试使用默认的配置，除了那些允许在URL中执行php查询的配置，以便接受诸如'?=‘这样的字符，而不是它的所有默认设置。
浏览 5提问于2016-05-16得票数 0
我像数据库网站一样运行wiki。有些人经常爬(刮)我的网站数据。所以我想阻止这些爬虫。
是否有一个脚本来阻止一定数量的来自同一个IP地址的请求？
浏览 14提问于2021-12-12得票数 0
1回答
我想做一个洪流搜索引擎，将提供其他洪流网站的链接。因此，我需要从其他网站的数据，以索引他们在数据库。所以，为了这个目的爬一个网站是合法的，还是有其他的方法来做到这一点。
浏览 0提问于2013-07-25得票数 0
回答已采纳
2回答
在谷歌网站管理员工具中，在爬行错误下，我的第一个404错误名为在我的网站上没有这样的东西，也没有链接到它。什么是错的，它是什么意思？
浏览 2提问于2011-03-24得票数 4
回答已采纳
1回答
我已经在网络爬虫上工作了一段时间，想法很简单，我有一个包含网站列表的SQL表，我有许多线程从表中获取第一个网站并删除它，然后爬行它(以堆的方式)。}} e.printStackTrace();如你所见，每次我创建一个crawlerController，抓取一个网站等等
浏览 13提问于2015-07-28得票数 0
现在我在.htacces中有： RewriteRule about-us.html page.php?2[L]任何帮助都将不胜感激
浏览 2提问于2010-12-02得票数 0
回答已采纳
我的站点中有一些页面，其中包含一个控件，该控件使用查询字符串向用户提供动态数据()。只有当我创建一个规则，将根站点(*)设置为“包含复杂的urls”和“抓取sharepoint内容作为http内容”时，我才能让我的内容源索引这些动态页面。这是不可接受的，因为将爬网协议从SharePoint更改为HTTP将阻止在索引项上收集任何元数据。托管元数据功能是我们的SharePoint应用程序的关键组件。请记住，这是针对外部发布网站的，我的搜索范围正在使用content类进行调整
浏览 0提问于2010-09-14得票数 0
回答已采纳
目前，SharePoint允许一个网站集以这种方式配置搜索中心的搜索结果，以访问其他网站集的索引结果。 是否可以禁止其他网站集查看特定网站集的已爬网数据？例如:如果一个网站集管理员配置了他的搜索结果，我不希望他能够访问我自己的网站集的搜索结果。 谢谢
浏览 29提问于2020-04-22得票数 0
回答已采纳
2回答
我在爬一个教育网站。我想插入学院和课程的细节。有链接到下一页：这个javascript函数将AJAX请求发送到：它设置CourseId Session并重定向到页面：课程将按照存储在会话中的CourseID加载，如何从C# code中在ajax.php
浏览 0提问于2014-06-12得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
