2回答
嗨，我正在完成我的一个小爱好项目，创建一个小型搜索引擎。
我想知道是否有人知道他们使用过的一个像样的健壮的开源网络爬虫？新手应该很容易安装和使用。
感谢您没有搜索网络爬虫和粘贴列表。
浏览 2提问于2010-02-21得票数 4
1回答
我正在构建一个小型的网络爬虫，我想知道是否有人对实际的实现有一些有趣的信息(只是爬行，没有搜索，没有排名，没有分类，只是爬行，亲吻:)。
为了记录在案，我已经有了O‘’Reilly“蜘蛛黑客”和“无淀粉出版社”的“网络机器人、蜘蛛和屏幕刮刀”。这些书很好，但是它们倾向于保持简单，对于缩放、存储数据、并行的东西和其他更高级的主题不详细。当然，我可以检查现有的开源爬虫的代码，但是这会发生在另一个边缘(C++爬虫看起来很复杂.)。我正在寻找一些有趣的信息。
欢迎任何帮助，谢谢。
浏览 5提问于2009-05-18得票数 2
有人知道谷歌机器人是用哪种编程语言编写的吗？
或者，更普遍的是，高效的网络爬虫是用哪种语言编写的？
我见过很多Java语言，但在我看来，它不是最适合开发网络爬虫的语言，因为它产生了太多的开销(尝试使用Heritrix网络爬虫，它非常重)。
浏览 0提问于2009-10-29得票数 1
回答已采纳
我对基于PHP的网络爬虫有些怀疑，它能像基于java线程的爬虫一样运行吗？我之所以问这个问题，是因为在java中，线程可以一次又一次地执行，我不认为PHP有类似线程的功能，你们能说一下，哪个网络爬虫更能充分利用吗?基于PHP的爬虫还是基于Java的爬虫
浏览 1提问于2010-07-27得票数 0
回答已采纳
3回答
火狐或Chrome有没有一个简单的.Net包装器，这样我就可以实现网络爬虫和其他网络东西了？我可能还需要表单后的功能。
浏览 3提问于2009-10-24得票数 1
回答已采纳
1回答
是否有可能阻止web爬虫在我的服务器上下载文件(如zip文件)？
我应该创建一个PHP脚本，使用cookie跟踪访问者，特别是在下载3个文件后登录/注册的web爬虫。但我发现网络爬虫可以绕过cookie。
有可能阻止网络爬虫吗？或者，在下载最多3个文件后，是否还有其他选项可以将文件隐藏在web爬虫上？
我可以很容易地创建一个PHP脚本，使用cookie强制访问者登录/注册，但是web爬虫呢？
顺便说一下，我用的是nginx和drupal CMS。如果这能帮上忙的话就给我这个信息。
浏览 0提问于2013-07-27得票数 1
2回答
我们正在使用Puppeteer编写一个网络爬虫。我们写的木偶爬虫执行和爬行网站的网址没有问题的网页，如约1,500 - 5,000，但是，当我们执行的网站超过5,000，如果它在中间由于一些错误或崩溃而中断，那么它需要重新开始。如果出现任何错误，如何使基于Puppeteer的网络爬虫从爬行的最后状态恢复？在Puppeteer中有没有内置的函数？如何让这个木偶手无头的chrome web爬行通过一个队列系统？
浏览 14提问于2020-12-05得票数 2
1回答
解析来自C++代码的URL
、、、、
我正在C++中创建一个简单的网络爬虫。目前，我已经设法从种子URL获取HTML代码，该URL保存在一个字符串或文本文件中。
如何在中找到并保存我想要继续爬行的URL？
浏览 1提问于2014-02-16得票数 0
回答已采纳
1回答
如何使用php获取HTML页面的标题？我已经做了一个php网络爬虫，我想在我的爬虫中实现这一功能，这样它就会有页面的名称和url。提前谢谢。可能使用preg_match。
浏览 0提问于2011-02-07得票数 3
回答已采纳
3回答
我应该用Java写一个网络爬虫。爬行部分很容易，但索引部分很难。我需要能够查询索引器，并让它返回匹配(多个单词查询)。做这样的事情最好的数据结构是什么？
浏览 2提问于2009-12-02得票数 0
1回答
我们有一个PHP爬虫运行在我们的web服务器上。crawler运行时，没有cpu、内存或网络带宽峰值。一切都很正常。但是我们的网站(也是PHP)，托管在同一台服务器上，停止响应。基本上，爬虫会阻止任何其他php脚本运行。
编辑：
** fsockopen用于将文件下载到crawler！**
浏览 3提问于2010-05-11得票数 0
根据文档，是否有更多关于Kentico 10使用的网络爬虫技术/引擎的信息？
我之所以问这个问题，是因为我想把它用于一个定制的爬虫项目，这个项目可以位于Kentico之外，并且仍然允许它与Kentico平台具有内在的兼容性。
浏览 0提问于2017-08-31得票数 7
回答已采纳
我寻找一个网络爬虫解决方案，可以是足够成熟的，可以简单地扩展。我对以下特性感兴趣..。或扩展爬行器以迎接它们的可能性：
部分是为了阅读几个站点的提要
浏览这些网站的内容
如果这个站点有一个归档文件，我也想爬行和索引它。
爬虫应该能够为我探索Web的一部分，并且它应该能够决定哪些站点符合给定的标准
如果发现符合我兴趣的东西，应该能通知我
爬虫不应该通过过多的请求攻击服务器，它应该是聪明的爬行。
爬虫应该对异常站点和服务器具有很强的鲁棒性。
上面的这些事情可以一个一个地完成，而无需付出很大的努力，但我对提供可定制的、可扩展的爬虫的任何解决方案都感兴趣。我听说过A
浏览 1提问于2010-01-18得票数 7
回答已采纳
3回答
我想创建或找到一个用Python编写的开源网络爬虫(爬虫/机器人)。它必须找到并跟踪链接，收集元标签和元描述，网页的标题和网页的网址，并将所有的数据放入一个MySQL数据库。
有谁知道可以帮助我的开源脚本吗？此外，如果有人能给我一些关于我应该做什么的建议，那么他们将非常受欢迎。
浏览 4提问于2011-08-11得票数 6
回答已采纳
我正在尝试创建一个网络爬虫，不断爬行网页，寻找包含某些关键字的网页。有很多开源的解决方案(Nutch，Scrapy等)，但我需要一个智能的解决方案，可以优先考虑“丰富”的来源。
我想让机器人从某一页开始，f.e.，提取所有链接并继续抓取它们。现在，如果页面包含某个关键字f.e.。‘'foo'，则应将此url发送到数据库。
现在，最难的部分来了。如果我创建并运行这样的机器人，爬虫可能需要很长时间才能找到包含指定关键字的新页面，因为它是在整个网络上爬行。如果蜘蛛能够识别出它经常在哪个领域找到关键字，那么这个过程就会大大加快，这样就可以更频繁地爬行这些关键字。
有没有一个开源的解决方
浏览 1提问于2012-11-07得票数 1
1回答
我有一个python爬虫，它获取信息并将其放入SQL中。现在我也有了php页面，它从SQL读取这个信息，并表示它。问题是:为了让爬虫程序工作，我的电脑必须全天候工作。我有一台简单的家用电脑--所以这是个问题。是否有一种不同的方式运行网络爬虫？还是我必须在我的电脑上运行？
浏览 1提问于2015-12-08得票数 0
回答已采纳
7回答
我有丰富的PHP经验，尽管我意识到PHP可能不是大型网络爬虫的最佳语言，因为进程不能无限运行。人们推荐的语言是什么？
浏览 1提问于2010-09-08得票数 3
回答已采纳
我有一个阿贾克斯网络应用程序，我需要谷歌索引。所以我使用了hashbang，并且我需要将?_escaped_fragment_=传递给一个单独的爬虫PHP。
目前
DirectoryIndex index.php
RewriteEngine on
RewriteCond %{QUERY_STRING} ^_escaped_fragment_=(.*)$
RewriteRule ^$ crawler.php?cat=%1 [QSA,L]
重定向到像这样的url /crawler.php/m/GkQs6Mw4W8。如何将爬虫重定向到这样的URL，
crawler.php?cat=m&
浏览 0提问于2014-11-10得票数 0
1回答
我有一个PHP网站，其中有四到五个其他的PHP文件，我使用jQuery AJAX加载到主index.php上。这对于SEO和网络爬虫来说是不是很好的做法呢？
浏览 2提问于2012-12-07得票数 1
回答已采纳
1回答
我正在通过java中的Selenium编写一个网络爬虫。以前我使用jsoup和HtmlUnit这样的库来制作它们，但最近我在javascript和ajax依赖的页面上遇到了麻烦。
在google上做了一些工作之后，我认为Selenium是一个很好的选择，因为它完美地加载了我想要的页面。但我担心它会变得太慢。
对于蜘蛛来说，硒是一个很好的选择吗？有没有基于Selenium的蜘蛛的例子可以参考？
浏览 1提问于2013-06-14得票数 0
我正在创建一个Python Web爬虫，能够浏览web历史记录、解析信息并将重要信息存储在数据库中，以用于取证/学术目的。我理解浏览网站的功能，但我正在努力的部分是能够抓取web历史记录，我将给出一个场景：
在法医调查期间。
您已经获得了嫌犯的完整法医图像计算机，然后找到谷歌浏览器的AppData文件夹，其中存储了所有关于嫌犯的信息，包括表单信息，凭据和网页历史记录。
如何将web爬虫设置为仅搜索可疑web历史记录中的数据。
我也有问题访问存储在Google Chrome用户数据中的信息，以尝试查看我的个人信息存储在这里作为一个开始，我目前正在尝试使用DB浏览器来查看文件，以查看我自己的web
浏览 0提问于2015-11-15得票数 0
3回答
网络爬虫反馈？
、、、
嘿，伙计们，偶尔我需要自动从网站收集数据。有时我需要一个目录中的一堆URL，有时我需要一个XML站点地图(是的，我知道有很多软件用于这个和在线服务)。
无论如何，作为对我上一个问题的跟进，我写了一个小的网络爬虫，可以访问网站。
基本的爬虫类，方便和快速地与一个网站交互。
重写"doAction(String，String )“以进一步处理内容(例如存储、解析内容)。
概念允许爬虫的多线程.所有类实例共享已处理和排队的链接列表。
可以建立JDBC连接，以将链接存储在数据库中，而不是跟踪对象中已处理的链接和排队链接。
但是，目前一次只限于一个网站，可以通过添加一
浏览 12提问于2010-05-29得票数 2
回答已采纳
1回答
我尝试了两种不同的网络爬虫(Sistrix和)。这两个爬虫都会报告有关/和/?katID=12等URL的重复内容的错误。
事实证明，如果爬虫调用url /projekte/index.php?katID=12，它会找到<a href="/">Home</a>并将其作为链接添加到/?katID=12。看起来url ?katID=12中的参数被添加到页面上没有参数的每个链接中。
如果我使用浏览器或wget，我会看到想要的到/的简单html链接。
我做错什么了吗？服务器配置？
这是爬虫中的bug还是一个特性？
浏览 5提问于2013-04-02得票数 2
回答已采纳
我需要编写一个网络爬虫，并希望能够爬行使用一个已知的用户代理。例如，我希望我的爬虫程序充当iphone来抓取网站的移动站点，然后使用Mozilla PC代理再次抓取，等等。
这样，我将能够抓取每一个“类型”的网站(移动和个人电脑)。然而，我也希望能够设置我的爬虫的用户代理，这样网站管理员也可以在他们的统计数据中看到访问整个网站的是一个爬虫，而不是真正的用户。
所以我的问题是，你们知道如何在PHP中同时设置一个移动代理和一个爬虫代理吗？这有可能吗？
浏览 1提问于2011-05-14得票数 3
回答已采纳
1回答
我们正在做一个与c#的网络爬虫和提交者的项目。HttpWebRequest在cookie中有错误，并且不支持sock代理，这是“令人惊讶的”。
最好编写一个类似于dll的c++类/包装器来代替c#中的HttpWebRequest。有没有类似的类/包装器?它应该支持cookie、代理、文件上传等线程安全。不需要解析html。Libwww看起来太复杂了，不好用。Libcurl看起来不错，但有bug吗?性能如何？
浏览 0提问于2013-08-02得票数 0
7回答
我正在寻找一些健壮的，良好记录的PHP网络爬虫脚本。也许是Java项目的一个port -
我正在寻找免费和非免费的版本。
浏览 2提问于2011-01-30得票数 9
回答已采纳
6回答
我需要索引一大堆网页，有哪些好的网络爬虫工具？我最好找的是.NET能跟我交流的东西，但这不是什么花哨的东西。
我真正需要的是一些东西，我可以给一个网站的网址&它将遵循每个链接，并存储索引的内容。
浏览 0提问于2008-10-07得票数 16
回答已采纳
我计划为它写一个网络爬虫和一个基于网络的前端(或者至少是它找到的信息)。我想知道是否可以使用Django框架让网络爬虫使用与网站相同的MySQL后端(而不是让网络爬虫本身成为“网站”)。
浏览 1提问于2009-06-04得票数 1
回答已采纳
2回答
我需要建立一个小的搜索引擎，如谷歌使用ASP.NET MVC3。对于这一个，我还需要建立网络爬虫，其中填充搜索引擎的数据。总而言之，我需要以下内容：
如何使用Asp.net MVC3和C#构建网络爬虫。我开始建立一些基本的，但我需要一些指南，资源和书籍。
使用这个网络爬虫，我轮询搜索引擎的数据，并使用Lucene.Net对数据应用索引。我需要建立小型搜索引擎，搜索由网络爬虫填充的数据。
请任何人有任何想法或资源或书籍。请与我们分享。
浏览 8提问于2012-11-14得票数 2
我正在考虑写我自己的，但我想知道是否有好的网络爬虫在那里是用Ruby编写的。
除了一个成熟的网络爬虫，任何可能有助于构建网络爬虫的gem都将是有用的。我知道这个问题的这一部分在几个地方被涉及到了，但是一个适用于构建网络爬虫的宝石列表也是一个很好的资源。
浏览 2提问于2011-02-13得票数 21
回答已采纳
3回答
我试着找到一些好的方法，或者一些例子，当涉及到编写你的第一个网络爬虫时，对初学者来说是很好的。我想用c#写它。有没有人有什么好的示例代码可以分享，或者在一些网站上有一些提示，我可以在这些网站上找到c#的信息，或者一些bacic网络爬行。
谢谢
浏览 1提问于2010-11-11得票数 3
回答已采纳
我有一个PHP网站，我已经完成了所有的URL重写。使得PHP扩展被隐藏。但是不知何故，网络爬虫和安全扫描器/漏洞扫描器能够找到我的站点是用PHP开发的。
我如何避免这种情况，或者如何欺骗他们，使他们相信这个网站不是通过PHP开发的？
浏览 4提问于2014-02-15得票数 1
回答已采纳
我正在开发一个网络爬虫，它对存储数据有好处吗？我在我的MySQL数据库中有1TB的过去6个月的数据，我需要索引它们，我需要尽快在我的搜索中输出数据，我认为，它将存储更多的数据，比如10Peta Byes，因为我的爬虫运行得很快，我需要快速获得读/写操作，我需要将其集成到我的PHP中
浏览 0提问于2010-08-18得票数 3
回答已采纳
6回答
Tor网络爬虫
、、、、
好的，这就是我需要的。我有一个基于PHP的网络爬虫。它可以在这里访问：现在，我的问题是我的爬虫需要在SOCKS端口9050上抓取页面。问题是，我必须通过Tor隧道它的连接，这样它才能解析.onion域，这就是我要索引的。(仅以.onion结尾。)我使用php crawl.php从命令行调用此脚本，并添加适当的参数来抓取页面。我的想法是:有没有办法强迫它使用Tor？或者我可以强制我的整个机器通过Tor进行隧道操作，以及如何实现？(比如强制所有流量通过127.0.0.1:9050)也许如果我设置了全局代理设置，php会尊重它们吗？
如果我的任何解决方案都有效，我该怎么做呢？(请按步骤说明，我是菜鸟
浏览 7提问于2012-02-11得票数 10
1回答
网络爬虫是否只从网页中返回提取的文本？例如，如果web服务器中也存储了一些pdf/doc文件。网络爬虫可以爬行它们并返回它们的内容吗？不管怎样，对于一个好的开源Java网络爬虫有什么建议呢？
谢谢!
浏览 2提问于2011-06-26得票数 0
回答已采纳
在PHPMYAdmin中，我正在运行一个网络爬虫。网络爬虫偶尔会拾取相同的urls。在网络爬虫中，它已经索引了数千个链接，我不想要重复的链接。有没有办法在SQL中删除相似的行(唯一的区别是id字段)
浏览 1提问于2012-08-17得票数 0
2回答
我有一个网站，这是相当好，但与非常少的信息。所以我想添加一些信息，比如关于特定领域的新闻(比如政治、好莱坞等)。我相信爬虫是最好的方法吗？如果我的理解是正确的，请建议您是否有任何其他方法来获取信息，而不使用来自各种来源的爬虫。
其次，我正在做过去两天的研究，但我找不到一个特定的来源能够做到这一点。现在我希望爬虫找到信息，规范化并存储在mysql数据库中。听起来很简单哈。但这不适合我。
因为这非常耗费资源和时间。在选择爬虫之前，我应该考虑哪些因素。我也希望定制它，所以任何工具，这是开源的，很好地被定制将是伟大的。
任何提供信息和研究因素的来源在创建爬虫或教育爬虫时都需要考虑，这将是很棒的。我更喜
浏览 0提问于2010-11-11得票数 0
我一直在建立一个搜索引擎，但现在我需要一个网页爬虫，在PHP中，可以抓取我的网站的内容。
我不知道网络爬虫/蜘蛛是否是正确的词，但我希望并想知道是否有人能帮助我编写一个简单的PHP脚本，该脚本打开以.php或.html结尾的域中的所有页面，并将内容保存在页面中，并将其存储在变量中作为原始文本。每页一个变量。
如果有人知道一个好的开源脚本，或者可以帮助我编写一个，请分享或这样做-我将非常感谢所有和任何帮助。
浏览 2提问于2013-03-07得票数 2
回答已采纳
嗨，朋友们
我正在生成一个网络爬虫，我想知道一些关于它的事情，
1)我可以使用Map reduce从网络获取数据吗
2)是否可以将拉取的数据保存到HBase？
3)我可以用PHP写一个从HBase中获取数据的应用吗?如果可以，你能给我一个代码片段吗?我如何使用PHP从HBase中添加/查看/删除数据？
浏览 1提问于2010-11-14得票数 1
回答已采纳
我正在尝试用Perl做一个简单的网络爬虫，但是很多网站都有动态内容加载，例如，使用javascript函数：
$(document).ready(function() {
$("#blabla").load('blublu/bla.php');
});
因此，我正在尝试调整我已经拥有的网络爬虫(获取HTML内容)，以“等待”这些脚本加载，然后才获取整个(和完整)网站内容(HTML)。
到目前为止，我发现有人说这可以通过WWW::Mechanize，Mechanize::Mozilla，WWW::Mechanize::Firefox来实现。
问题是，我对
浏览 2提问于2013-01-15得票数 2
回答已采纳
我偶然发现一个在其robots.txt文件中使用以下内容的站点：
User-agent: *
Disallow: /*.php$
那它是做什么的？它会阻止网络爬虫爬行以下网址吗？
https://example.com/index.php
https://example.com/index.php?page=Events&action=Upcoming
它也会阻塞子域吗？
https://subdomain.example.com/index.php
浏览 5提问于2015-06-04得票数 1
回答已采纳
file_get_contents()在上返回正确的文件内容，而在上不返回正确的文件内容。
主要的区别是是一个php项目，而是html。
基本上，我正在php中构建一个网络爬虫。当我成功地爬过至少150+站点时，它并没有爬过那个特定的站点。
浏览 2提问于2015-12-24得票数 0
回答已采纳
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
腾讯云开发者
