Facebook的爬虫没有得到我的og元数据，因为php首先需要FB身份验证。有没有办法让FB的爬虫以执行自定义操作(分享等)的用户的身份查看网页？或者，作为替代，有没有其他方法可以在仍然使用自定义操作的情况下为FB提供元数据？
浏览 4提问于2012-07-03得票数 1
4回答
我正在寻找一个客户端重定向到另一个领域的PHP。window.location.href = "http://yourURL.com";
然而，爬虫很难找到PHP，所以我想
浏览 0提问于2015-07-29得票数 0
6回答
Tor网络爬虫
、、、、
我有一个基于PHP的网络爬虫。它可以在这里访问：现在，我的问题是我的爬虫需要在SOCKS端口9050上抓取页面。问题是，我必须通过Tor隧道它的连接，这样它才能解析.onion域，这就是我要索引的。我使用php crawl.php从命令行调用此脚本，并添加适当的参数来抓取页面。我的想法是:有没有办法强迫它使用Tor？或者我可以强制我的整个机器通过Tor进行隧道操作，以及如何实现？(比如强制所有流量通过127.0.0.1:9050)也许如果我设置了全局代理设置，php会尊
浏览 7提问于2012-02-11得票数 10
我正在开发一个网络爬虫，它对存储数据有好处吗？我在我的MySQL数据库中有1TB的过去6个月的数据，我需要索引它们，我需要尽快在我的搜索中输出数据，我认为，它将存储更多的数据，比如10Peta Byes，因为我的爬虫运行得很快，我需要快速获得读/写操作，我需要将其集成到我的PHP中
浏览 0提问于2010-08-18得票数 3
回答已采纳
我对基于PHP的网络爬虫有些怀疑，它能像基于java线程的爬虫一样运行吗？我之所以问这个问题，是因为在java中，线程可以一次又一次地执行，我不认为PHP有类似线程的功能，你们能说一下，哪个网络爬虫更能充分利用吗?基于PHP的爬虫还是基于Java的爬虫
浏览 1提问于2010-07-27得票数 0
回答已采纳
我想索引爬行网站到ElasticSearch，但我不知道，我可以索引爬行信息到ElasticSearch与php爬虫。我知道Apache可以将爬行网站索引到ElasticSearch，但是我对php爬虫一无所知！我可以在php web应用程序中使用Apache吗？
浏览 4提问于2013-05-12得票数 3
1回答
是否有可能阻止web爬虫在我的服务器上下载文件(如zip文件)？有可能阻止网络爬虫吗？或者，在下载最多3个文件后，是否还有其他选项可以将文件隐藏在web爬虫上？我可以很容易地创建一个PHP脚本，使用cookie强制访问者登录/注册，但是web爬虫呢？
顺便说一下，我用的是nginx和drupa
浏览 0提问于2013-07-27得票数 1
使用apache和php 5.2.17运行Centos。我有一个网站，列出了许多不同零售商网站的产品。我有爬虫脚本，运行从每个网站抓取产品。由于每个网站是不同的，每个爬虫脚本必须定制，以抓取特定的零售商网站。所以基本上每个零售商我有一个爬虫。在这个时候，我有21个爬虫不断运行，以收集和更新这些网站的产品。每个爬虫都是一个php文件，一旦完成了php脚本，它就会检查，以确保它是唯一运行的实例，并且在脚本的最末端，它使用exec再次启动自己，而原始实例关闭
浏览 7提问于2013-12-18得票数 13
回答已采纳
3回答
重定向爬行器
、、
我想添加一个脚本来检查代理信息，如果它匹配其中一个爬虫的一部分，我想轻轻地将其重定向到另一个页面。在页面级别重定向，而不是在.htaccess文件中重定向的最好方法是什么？
浏览 1提问于2011-06-25得票数 0
2回答
我在一个网站上做了4个登陆页面，和一个php脚本随机化了不同的登陆页面。
但我的问题是修复facebook的开放图形。他返回:无法跟随重定向路径-使用来自的数据，因为在重定向路径之后有一个错误。
浏览 4提问于2015-06-03得票数 3
回答已采纳
3回答
好的，我想用我的PHP脚本创建一个爬虫。我的爬虫程序的某些部分需要真正快速的字符串操作，这就是为什么我决定使用C/C++程序来帮助我的PHP脚本完成那个特定的工作。在上面的操作中，我只是编写了一个简单的C程序，它接受来自PHP的2个值，并返回这两个值的总和。当我像这样在php脚本中输入它们时，$b=1;echo $op;
它没有像预期的那样工作，所以任何想法，
浏览 0提问于2012-06-17得票数 2
1回答
嗨，我想用php读取一个网站的一部分，并保存到其他网站的新页面。(如weather.com)我想这个操作是服务器端。这就像一个网络爬虫或机器人！这个是可能的吗？一天更新几次get？例如cornjob
浏览 2提问于2011-04-23得票数 0
我有一个python爬虫，每隔几分钟就抓取几个网页。我现在正在尝试实现一个可以通过web访问的用户界面，并显示爬虫获得的数据。我将使用php/html作为接口。无论如何，用户界面需要某种类型的按钮来触发爬虫程序立即抓取特定的网站(而不是等待下一次抓取迭代)。
现在，有没有一种方法可以将数据从php脚本发送到正在运行的python脚本？然后我在考虑使用一个共享文件，php在其中写入数据，python从中读取数据。但是，我需要一些方法来让python脚本知道，新数据已经写入文件，以
浏览 1提问于2011-03-31得票数 1
1回答
如何使用php获取HTML页面的标题？我已经做了一个php网络爬虫，我想在我的爬虫中实现这一功能，这样它就会有页面的名称和url。提前谢谢。可能使用preg_match。
浏览 0提问于2011-02-07得票数 3
回答已采纳
我注意到，来自蜘蛛和爬虫的访问产生了对该API的数千次调用，而我正在为这些调用收费。有没有办法阻止显示由API生成的内容的网页部分，即只有实际的访问者才能看到它，并且在抓取网页时不会生成API调用？
浏览 1提问于2016-10-23得票数 2
我希望所有根文件夹*.php文件都被索引，除了一个(exception.php)，并且希望根文件夹的所有子目录中的所有内容都不被索引。我已经尝试过以下方法，但是它允许访问子目录中的php文件，即使子目录一般没有索引吗？……User-agent: *disallow: /*……
有人能帮忙吗？
浏览 5提问于2019-10-03得票数 1
回答已采纳
我有一个Windows客户端应用程序，它使用托管在共享商业php服务器中的php页面。我应该使用.htaccess文件来配置它吗？
浏览 7提问于2014-04-15得票数 1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
