我正在使用CakePHP建立一个网站，其中有一个从不同网站挖掘数据的爬虫。问题是，我希望能够从命令行调用爬虫(因为它可能需要几个小时的芬兰语)，我希望在保存数据时使用CakePHP中的模型。如果我只包含index.php，它会调度我不想要的调用。
关于Nicklas
浏览 0提问于2010-06-05得票数 0
回答已采纳
4回答
我正在编写一个爬虫，需要从许多网站获取数据。问题是每个网站都有不同的结构。我如何才能轻松地编写一个从(许多)不同网站下载(正确)数据的爬虫？如果网站的结构发生变化，我是否需要重写爬虫，或者是否有其他方法？谢谢!
浏览 0提问于2012-07-20得票数 1
2回答
我正在进入一个项目，进行意见挖掘(数据挖掘、网页挖掘、->意见挖掘)，以获得所包含的单词的语义方向。我们将使用爬虫来获取页面的意见。
浏览 0提问于2009-11-23得票数 1
回答已采纳
这些网站(和)每天从PokerStars和Full Tilt等安全扑克网络中挖掘数以千计的数据。他们是否有一个运行应用程序的服务器群，这些应用程序打开数百个表(窗口)，然后以某种方式对正在玩的牌进行爬虫/数据挖掘？
在编程方面，这是如何工作的？
浏览 0提问于2010-10-25得票数 19
回答已采纳
2回答
如果我有一长串纸名，我怎么能从互联网或任何数据库中得到这些论文的摘要？有谁知道有什么API可以给我一个解决方案吗？我试图抓取谷歌学者，然而，谷歌阻止了我的爬虫。
浏览 0提问于2014-05-17得票数 15
回答已采纳
1回答
嗨，我想从一个网站下载所有的图像，但只有一些我正在使用。但这最终只是试图下载整个网站，并且不确定为什么。我想要下载所有的图片从下的类别“幻想”，只有那个类别。
浏览 1提问于2014-02-27得票数 0
5回答
我做了一个网络爬虫，现在我需要一些东西来分析下载的数据。需要方法来计算页面中的单词数量，相似的单词，数据类型和其他与文本相关的资源。
Java中有用于文本分析的API吗？编辑:文本挖掘，我想要挖掘文本。Java的API提供了这一点。
浏览 2提问于2011-07-23得票数 25
回答已采纳
我有一个python爬虫，每隔几分钟就抓取几个网页。我现在正在尝试实现一个可以通过web访问的用户界面，并显示爬虫获得的数据。我将使用php/html作为接口。无论如何，用户界面需要某种类型的按钮来触发爬虫程序立即抓取特定的网站(而不是等待下一次抓取迭代)。
现在，有没有一种方法可以将数据从php脚本发送到正在运行的python脚本？然后我在考虑使用一个共享文件，php在其中写入数据，python从中读取数据</em
浏览 1提问于2011-03-31得票数 1
我目前正在使用praw开发一个reddit爬虫，用于数据挖掘。我想抓取来自subreddits的评论和提交，然后将它们保存在数据库或文件中，最好是以json格式保存，以便以后使用。
浏览 0提问于2014-07-15得票数 1
回答已采纳
首先，我将讲述我希望在数据挖掘项目中实现什么，然后我将提出问题。
我正在考虑使用facebook来寻找来自特定位置和特定社区的特定用户。这是合法的吗，我的意思是我可以使用我的爬虫来抓取那些用户的公共数据。
浏览 2提问于2012-11-27得票数 0
回答已采纳
2回答
检测网页中同构元素的列表
、、、
我需要检测页面DOM中连续的相同元素的序列。这些元素可以是div元素、li元素或span元素，也可以包含其他元素。这些元素有一个共同的事实，即它们是连续出现的，具有相同的内部结构。谢谢。
浏览 3提问于2014-07-04得票数 0
回答已采纳
现在，我已经在一个mysql数据库上运行了爬虫和各种优化算法，/Data挖掘算法。
我想我需要更好的计算机来完成这些任务，但我不能为此购买VPS，因为它将非常昂贵。
浏览 0提问于2011-06-04得票数 0
abc.com例如，我想搜索John Doe @ 例如：http://abc.com/index/welcome.php
当然，我希望每个网站都符合robots.txt。我不是在做数据挖掘
浏览 1提问于2011-08-18得票数 1
3回答
通过分析他的twitter数据，可以得到什么样的度量标准？我觉得可以做的事情包括：
我一直在寻找灵感的项目包括：
浏览 5提问于2012-03-25得票数 1
我看到了带有编码字符的URL的奇怪的重定向行为。例如，以下两个URL仅因第一个编码字符中的"e/E“而不同(即"%e2”与"%E2")。"200 OK“HTTP状态，页面加载精细的会在浏览器中重定向，页面使用web-sniffer.net重定向到正确的(小写“e”)，内容长度为零。我看不出在.htaccess中有什么理由让小
浏览 0提问于2009-12-24得票数 1
回答已采纳
5回答
快速网络爬虫
、、、
我想进行大规模的数据挖掘。为此，我需要一个快速爬虫。所有我需要的是下载一个网页，提取链接和递归跟随他们，但不访问相同的网址两次。基本上，我想避免循环。编辑:解决方案是组合multiprocessing和threading模块。
浏览 4提问于2011-10-05得票数 8
回答已采纳
我注意到，来自蜘蛛和爬虫的访问产生了对该API的数千次调用，而我正在为这些调用收费。有没有办法阻止显示由API生成的内容的网页部分，即只有实际的访问者才能看到它，并且在抓取网页时不会生成API调用？
浏览 1提问于2016-10-23得票数 2
2回答
Munin每小时都会在MySQL查询中显示出巨大的增长，但我无法检测到是什么原因造成了这种情况。我正在运行5.6.30版本。
显示sql查询的Munin图：
浏览 3提问于2016-04-28得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
