有些人会通过url直接访问文章页面进行抄袭，所以想禁止通过url直接访问网站的行为。
理想状态：用过通过百度或其它搜索引擎关键词跳转到网站对应页面的，正常浏览。若用户通过在浏览器地址栏键入url链接来访问对应页面，则提示非法请求或者跳转到指定页面。
浏览 331提问于2023-02-24
1回答
是否有可能阻止web爬虫在我的服务器上下载文件(如zip文件)？有可能阻止网络爬虫吗？或者，在下载最多3个文件后，是否还有其他选项可以将文件隐藏在web爬虫上？我可以很容易地创建一个PHP脚本，使用cookie强制访问者登录/注册，但是web爬虫呢？
顺便说
浏览 0提问于2013-07-27得票数 1
我有一个Windows客户端应用程序，它使用托管在共享商业php服务器中的php页面。我应该使用.htaccess文件来
浏览 7提问于2014-04-15得票数 1
我有一个python爬虫，每隔几分钟就抓取几个网页。我现在正在尝试实现一个可以通过web访问的用户界面，并显示爬虫获得的数据。我将使用php/html作为接口。无论如何，用户界面需要某种类型的按钮来触发爬虫程序立即抓取特定的网站(而不是等待下一次抓取迭代)。
现在，有没有一种方法可以将数据从php脚本发送到正在运行的python脚本？然后我在考虑使用一个共享文件，php在其中写入数据，python从中读取数据。但是，我需要一些方法来让python脚本知道，新数
浏览 1提问于2011-03-31得票数 1
如果我想只允许爬虫访问index.php，这行得通吗？Disallow: /
Allow: /index.php
浏览 0提问于2009-10-28得票数 10
我注意到，来自蜘蛛和爬虫的访问产生了对该API的数千次调用，而我正在为这些调用收费。有没有办法阻止显示由API生成的内容的网页部分，即只有实际的访问者才能看到它，并且在抓取网页时不会生成API调用？
浏览 1提问于2016-10-23得票数 2
1回答
我是PHP新手，我不想每年更改代码片段，以使其与当前的WordPress版本兼容(如果可能的话)。代码片段是可以的，我有WPCodebox，但是它们应该工作很长一段时间，安全，不会改变。10年历史的帖子(如https://stackoverflow.com/questions/11586284/rename-files-on-upload-in-wordpress-3-4-1)，我无法判断代码是否仍然有用或安全由于媒体文件不能受到保护，如果访问他们的文件名(只是与高价插件)，我想使它很难被任
浏览 0提问于2022-10-13得票数 0
我需要编写一个网络爬虫，并希望能够爬行使用一个已知的用户代理。例如，我希望我的爬虫程序充当iphone来抓取网站的移动站点，然后使用Mozilla PC代理再次抓取，等等。然而，我也希望能够设置我的爬虫的用户代理，这样网站管理员也可以在他们的统计数据中看到访问整个网站的是一个爬虫，而不是真正的用户。所以我的问题是，你们知道如何在PHP中同时设置一个移动代理和一个爬虫代理吗？这有可能吗？
浏览 1提问于2011-05-14得票数 3
回答已采纳
3回答
如何重定向特定IP地址
、、、
我想重定向蜘蛛从访问我的博客。我正在寻找一个解决方案，可以嵌入到网页HTML，以便蜘蛛被重定向离开之前，影响我的页面访问量。比如说javascript，爬虫的IP地址，以及爬虫的引用url，这是可能的吗？
浏览 0提问于2013-12-13得票数 0
2回答
我正在创建一个爬虫来捕捉一些公共信息。然而，它正在返回：您没有在此服务器上访问"“的权限。
使用邮递员测试请求，cURL工作得很好。我甚至得到了Postman生成的代码(如下面所示)，但是当我在PHP服务器上直接使用它时，返回上面告知的错误。
浏览 4提问于2021-08-02得票数 0
回答已采纳
3回答
如何使用PHP检测爬虫/蜘蛛？$user_agent = $_SERVER['HTTP_USER_AGENT'];
if (strpos( $user_agent, 'Google') !
浏览 3提问于2013-11-14得票数 8
回答已采纳
在javascript-enabled版本中，我使用AJAX加载爬虫无法访问内容的所有内容。noscript=true" />另外，我想在索引页面中放置一些PHP脚本来检查url参数。这是我的PHP代码： if ($_GET['noscript'] == "true") {
// This is non-javascript-enabled ver
浏览 0提问于2018-08-03得票数 0
回答已采纳
3回答
我希望我的桌面应用程序访问我网站上的.php页面。.php页面将执行服务器端任务，并将返回一个指示成功/失败等的HTTP响应。我应该在URL中有一个随机短语吗？例如：
http://www.website.com/s3g8k0d1q6/myphpfile.php
浏览 6提问于2012-10-20得票数 0
6回答
Tor网络爬虫
、、、、
我有一个基于PHP的网络爬虫。它可以在这里访问：现在，我的问题是我的爬虫需要在SOCKS端口9050上抓取页面。问题是，我必须通过Tor隧道它的连接，这样它才能解析.onion域，这就是我要索引的。我使用php crawl.php从命令行调用此脚本，并添加适当的参数来抓取页面。我的想法是:有没有办法强迫它使用Tor？或者我可以强制我的整个机器通过Tor进行隧道操作，以及如何实现？(比如强制所有流量通过127.0.0.1:9050)也许如果我设置了全局代理设置，php会尊
浏览 7提问于2012-02-11得票数 10
2回答
但是这段代码阻止了Googlebot访问美国以外的其他页面。理想的结构应该是什么，以便googlebot可以访问每个页面，并根据用户的IP地址进行重定向？提前谢谢。country == "BD" ") header( 'Location:https://www.exmple.com/directory/bangladesh/index.php$country == "PK" )
浏览 4提问于2017-05-08得票数 0
2回答
饼干爬虫的主意？
、、、、
我是一个寻找PHP/javascript/等爬虫(bot)谁将检查给定的网站集，(这是重要的部分)检查哪些cookie，网站设置到用户的浏览器！我甚至不知道是否可以这样做，因为我知道爬虫可以检查网站的内容，甚至当用户访问网站时，爬虫也可以存储cookie，但他真的可以从网站上读取cookie吗？
所以我的问题是:从定义上说，这不是不可能的吗？
浏览 1提问于2014-01-26得票数 1
回答已采纳
3回答
为了向你展示我的意思，网站在，动态内容在 -通常没有人会访问第二个链接，它只是加载到第一个页面中。我知道我可以通过使用sitemap.xml告诉爬虫程序读取speakers.php，但然后我会在搜索结果中显示指向speakers.php的链接。我猜最终的解决方案是，如果有人请求/speakers.php，它会将他们重定向到主页，而让爬虫读取数据。
有什么建议吗？
浏览 3提问于2008-10-22得票数 1
回答已采纳
我如何记录/记录每个机器人对我网站的访问。我想知道爬虫爬行我的网站的频率，以及哪些页面被索引或爬行。有没有什么php脚本可以让我知道谷歌，雅虎和其他机器人的访问。
浏览 1提问于2010-10-03得票数 0
回答已采纳
2回答
我特别想知道Google是否能在PHP中看到包含文件，这似乎是真的。我只是还没有找到谷歌是否真的看到我的代码的答案。任何帮助都会很好。
浏览 2提问于2014-11-26得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
