用php代码插入联系方式也安全吗？换句话说，在执行php代码后，网络爬虫是按照服务器上的页面(使用php代码)还是在浏览器上显示的所有信息来“看到”页面？
浏览 9提问于2021-09-29得票数 0
回答已采纳
6回答
Tor网络爬虫
、、、、
我有一个基于PHP的网络爬虫。它可以在这里访问：现在，我的问题是我的爬虫需要在SOCKS端口9050上抓取页面。问题是，我必须通过Tor隧道它的连接，这样它才能解析.onion域，这就是我要索引的。我使用php crawl.php从命令行调用此脚本，并添加适当的参数来抓取页面。我的想法是:有没有办法强迫它使用Tor？或者我可以强制我的整个机器通过Tor进行隧道操作，以及如何实现？(比如强制所有流量通过127.0.0.1:9050)也许如果我设置了全局代理设置，php会尊重它们吗？
如果我
浏览 7提问于2012-02-11得票数 10
我注意到，来自蜘蛛和爬虫的访问产生了对该API的数千次调用，而我正在为这些调用收费。有没有办法阻止显示由API生成的内容的网页部分，即只有实际的访问者才能看到它，并且在抓取网页时不会生成API调用？
浏览 1提问于2016-10-23得票数 2
我们有一些从互联网上收集数据的爬虫。对于我们的应用程序来说，EC2 spot是一个非常便宜的解决方案。在我们的例子中，我们可以通过以下步骤来设置爬虫：
3 git克隆从源代
浏览 2提问于2012-07-09得票数 0
回答已采纳
我对基于PHP的网络爬虫有些怀疑，它能像基于java线程的爬虫一样运行吗？我之所以问这个问题，是因为在java中，线程可以一次又一次地执行，我不认为PHP有类似线程的功能，你们能说一下，哪个网络爬虫更能充分利用吗?基于PHP的爬虫还是基于Java的爬虫
浏览 1提问于2010-07-27得票数 0
回答已采纳
我想索引爬行网站到ElasticSearch，但我不知道，我可以索引爬行信息到ElasticSearch与php爬虫。我知道Apache可以将爬行网站索引到ElasticSearch，但是我对php爬虫一无所知！我可以在php web应用程序中使用Apache吗？
浏览 4提问于2013-05-12得票数 3
2回答
对于C#中的网络爬虫项目，我尝试执行Javascript和Ajax来检索爬行页面的完整页面源代码。爬虫下载页面源代码，我想在源代码中执行现有的Javascript/Ajax。爬虫(Abot)下载HTML，我只想解析/呈现javascript和
浏览 0提问于2014-04-03得票数 2
@DisgruntledGoat该信息显示在该页面的源代码中，如下所示： <tr>
<td class="pager
浏览 0提问于2012-03-26得票数 6
我想写一个网络爬虫，可以解释JavaScript。基本上它是一个用Java或PHP编写的程序，它接受URL作为输入并输出DOM树，这与Firebug HTML窗口中的输出类似。最好的例子是Kayak.com，当你“查看源代码”时，你看不到浏览器上显示的结果DOM，但可以通过Firebug保存结果。
我该怎么做呢？有什么工具可以帮助我吗？
浏览 68提问于2010-04-20得票数 18
1回答
我在一个基于java的爬虫上工作。我想在我的爬虫恢复功能，用户可以在任何时候暂停爬虫，在他想要的情况下，爬虫崩溃的情况下，他应该能够开始从爬虫停止的点上一次爬行。
浏览 2提问于2012-01-06得票数 1
回答已采纳
我想重定向到一个网站(永久重定向301)的新网址()的旧网址()。我不能为每个现有页面执行RewriteRule。有没有办法使用正则表达式执行RewriteRule？
浏览 0提问于2019-09-17得票数 0
我在弄清楚如何运行Android Marketplace Crawler时遇到了麻烦：hg
浏览 1提问于2012-06-08得票数 1
回答已采纳
1回答
是否有可能阻止web爬虫在我的服务器上下载文件(如zip文件)？有可能阻止网络爬虫吗？或者，在下载最多3个文件后，是否还有其他选项可以将文件隐藏在web爬虫上？我可以很容易地创建一个PHP脚本，使用cookie强制访问者登录/注册，但是web爬虫呢？
顺便说一下，我用的是nginx和drupa
浏览 0提问于2013-07-27得票数 1
我有一个使用快速搜索SharePoint的内容源，我已经设置它来抓取dokuwiki/doku.php站点。我的爬虫规则设置为：*，匹配大小写，并使用爬行复杂urls包含此路径中的所有项。对爬行规则中的内容源进行测试表明，它将由爬虫进行爬行。但是.爬行总是持续不到2分钟，完成只抓取了我指向的页面，而没有其他链接在该页面上。我已经检查了Dokuwki管理员，他的机器人文本设置为允许。当我查看页面上的源代码时，我看到它写着meta name=“机器人”content=索引，请遵循
因此，为了测试其他链接页面是否是一个
浏览 1提问于2011-06-23得票数 0
我正在尝试使用getInitialProps或getServerSideProps添加meta (两者都是一个接一个使用)，我能够设置meta标签，当我检查页面时，它像往常一样显示meta标签，但当我打开查看源码时，它不显示，我遗漏了什么。<Head>
浏览 16提问于2021-09-29得票数 0
使用apache和php 5.2.17运行Centos。我有一个网站，列出了许多不同零售商网站的产品。我有爬虫脚本，运行从每个网站抓取产品。由于每个网站是不同的，每个爬虫脚本必须定制，以抓取特定的零售商网站。所以基本上每个零售商我有一个爬虫。在这个时候，我有21个爬虫不断运行，以收集和更新这些网站的产品。每个爬虫都是一个php文件，一旦完成了php脚本，它就会检查，以确保它是唯一运行的实例，并且在脚本的最末端，它使用exec再次启动自己，而原始实例关闭
浏览 7提问于2013-12-18得票数 13
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
