我有一个python爬虫，每隔几分钟就抓取几个网页。我现在正在尝试实现一个可以通过web访问的用户界面，并显示爬虫获得的数据。我将使用php/html作为接口。无论如何，用户界面需要某种类型的按钮来触发爬虫程序立即抓取特定的网站(而不是等待下一次抓取迭代)。
现在，有没有一种方法可以将数据从php脚本发送到正在运行的python脚本？然后我在考虑使用一个共享文件，php在其中写入数据，python从中读取数据</em
浏览 1提问于2011-03-31得票数 1
我注意到，来自蜘蛛和爬虫的访问产生了对该API的数千次调用，而我正在为这些调用收费。有没有办法阻止显示由API生成的内容的网页部分，即只有实际的访问者才能看到它，并且在抓取网页时不会生成API调用？
浏览 1提问于2016-10-23得票数 2
我对基于PHP的网络爬虫有些怀疑，它能像基于java线程的爬虫一样运行吗？我之所以问这个问题，是因为在java中，线程可以一次又一次地执行，我不认为PHP有类似线程的功能，你们能说一下，哪个网络爬虫更能充分利用吗?基于PHP的爬虫还是基于Java的爬虫
浏览 1提问于2010-07-27得票数 0
回答已采纳
我想索引爬行网站到ElasticSearch，但我不知道，我可以索引爬行信息到ElasticSearch与php爬虫。我知道Apache可以将爬行网站索引到ElasticSearch，但是我对php爬虫一无所知！我可以在php web应用程序中使用Apache吗？
浏览 4提问于2013-05-12得票数 3
Facebook的爬虫没有得到我的og元数据，因为php首先需要FB身份验证。有没有办法让FB的爬虫以执行自定义操作(分享等)的用户的身份查看网页？或者，作为替代，有没有其他方法可以在仍然使用自定义操作的情况下为FB提供元数据？
浏览 4提问于2012-07-03得票数 1
我需要编写一个网络爬虫，并希望能够爬行使用一个已知的用户代理。例如，我希望我的爬虫程序充当iphone来抓取网站的移动站点，然后使用Mozilla PC代理再次抓取，等等。然而，我也希望能够设置我的爬虫的用户代理，这样网站管理员也可以在他们的统计数据中看到访问整个网站的是一个爬虫，而不是真正的用户。所以我的问题是，你们知道如何在PHP中同时设置一个移动代理和一个爬虫代理吗？这有可能吗？
浏览 1提问于2011-05-14得票数 3
回答已采纳
我正在开发一个网络爬虫，它对存储数据有好处吗？我在我的MySQL数据库中有1TB的过去6个月的数据，我需要索引它们，我需要尽快在我的搜索中输出数据，我认为，它将存储更多的数据，比如10Peta Byes，因为我的爬虫运行得很快，我需要快速获得读/写操作，我需要将其集成到我的PHP中
浏览 0提问于2010-08-18得票数 3
回答已采纳
我希望将一些网站的内容复制到本地数据库中，以便进一步进行个性化搜索。我知道我必须使用爬虫，我找到了一些关于scrapy的很好的参考资料。
我的问题是，你知道有没有用PHP写的好的爬虫。
浏览 0提问于2013-04-16得票数 0
回答已采纳
1回答
是否有可能阻止web爬虫在我的服务器上下载文件(如zip文件)？有可能阻止网络爬虫吗？或者，在下载最多3个文件后，是否还有其他选项可以将文件隐藏在web爬虫上？我可以很容易地创建一个PHP脚本，使用cookie强制访问者登录/注册，但是web爬虫呢？
顺便说一下，我用的是nginx和drupa
浏览 0提问于2013-07-27得票数 1
1回答
遍历远程数据
、、
我正在尝试从一个网站(一个电影列表)中抓取一些数据--但是这个网站一次只能显示大约50个数据，并且需要用户点击一个按钮才能加载更多。有没有一种方法可以让我编写单击按钮的脚本，或者以某种方式遍历数据？
浏览 0提问于2014-05-09得票数 0
5回答
我需要从网页中抓取一些链接数据，我使用了一个简单的手写PHP爬虫。爬虫通常工作得很好；然后我找到了一个URL，如下所示：此URL在浏览器中键入时工作正常，但我的爬虫程序无法检索此页面
浏览 1提问于2010-02-25得票数 5
回答已采纳
2回答
我正在编写一个PHP Web应用程序来对多个(实际上是一长串) Facebook页面进行统计。我将爬虫设置为每天从Facebook获取所有页面的数据，以便数据始终在本地数据库中更新。问题是，有时爬虫会意外中断。我猜测的原因是: 1)耗尽服务器的时间限制2)等待太长时间的数据没有任何响应，并被杀死
你有什么建议来解决这个问题吗？非常感谢！
浏览 1提问于2012-07-03得票数 0
1回答
Php单击
、、、
php
$veri = file_get_html("http://apps.istanbulsaglik.gov.tr我想要做的是在我的网络爬虫中获得这些元素。主要的问题是如何让我的爬虫点击？如果不点击，我就看不到任何数据。如果我可以让它点击，那么我可以从html源获取数据。否则我的爬虫就会一直空着回来。
浏览 1提问于2017-11-06得票数 1
回答已采纳
4回答
我正在抓取一个网站的数据。我能够在一个页面上显示完整的内容。但页面上的一些数据是在一些图标上悬停并显示为工具提示后出现的。所以我也需要这些数据。有没有可能用任何爬虫。我使用PHP和来解析/抓取页面。
浏览 3提问于2012-03-30得票数 3
回答已采纳
1回答
每个站点使用的$crawler方法都不同，所以我希望有这样的内容其中筛选器包含这样我就可以在每个站点的数据库中存储过滤器
浏览 0提问于2016-02-26得票数 2
我正在使用CakePHP建立一个网站，其中有一个从不同网站挖掘数据的爬虫。问题是，我希望能够从命令行调用爬虫(因为它可能需要几个小时的芬兰语)，我希望在保存数据时使用CakePHP中的模型。如果我只包含index.php，它会调度我不想要的调用。
关于Nicklas
浏览 0提问于2010-06-05得票数 0
回答已采纳
使用apache和php 5.2.17运行Centos。我有一个网站，列出了许多不同零售商网站的产品。我有爬虫脚本，运行从每个网站抓取产品。由于每个网站是不同的，每个爬虫脚本必须定制，以抓取特定的零售商网站。所以基本上每个零售商我有一个爬虫。在这个时候，我有21个爬虫不断运行，以收集和更新这些网站的产品。每个爬虫都是一个php文件，一旦完成了php脚本，它就会检查，以确保它是唯一运行的实例，并且在脚本的最末端，它使用exec再次启动自己，而原始实例关闭
浏览 7提问于2013-12-18得票数 13
回答已采纳
我计划为它写一个网络爬虫和一个基于网络的前端(或者至少是它找到的信息)。我想知道是否可以使用Django框架让网络爬虫使用与网站相同的MySQL后端(而不是让网络爬虫本身成为“网站”)。
浏览 1提问于2009-06-04得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
