3回答
我应该用Java写一个网络爬虫。爬行部分很容易，但索引部分很难。我需要能够查询索引器，并让它返回匹配(多个单词查询)。做这样的事情最好的数据结构是什么？
浏览 2提问于2009-12-02得票数 0
1回答
我正在用asp.net开发一个网络爬虫。
我的网络爬虫有一个主页，它从HREF标签打开其他HTML页面，下载HTML页面并获取数据。
现在的问题是，有时我会得到一个对象引用找不到的异常，有时代码运行得很好。
浏览 1提问于2014-01-06得票数 0
我寻找一个网络爬虫解决方案，可以是足够成熟的，可以简单地扩展。我对以下特性感兴趣..。或扩展爬行器以迎接它们的可能性：
部分是为了阅读几个站点的提要
浏览这些网站的内容
如果这个站点有一个归档文件，我也想爬行和索引它。
爬虫应该能够为我探索Web的一部分，并且它应该能够决定哪些站点符合给定的标准
如果发现符合我兴趣的东西，应该能通知我
爬虫不应该通过过多的请求攻击服务器，它应该是聪明的爬行。
爬虫应该对异常站点和服务器具有很强的鲁棒性。
上面的这些事情可以一个一个地完成，而无需付出很大的努力，但我对提供可定制的、可扩展的爬虫的任何解决方案都感兴趣。我听说过A
浏览 1提问于2010-01-18得票数 7
回答已采纳
4回答
嗨，我用python编写了一个网络爬虫，从nytimes.com这样的新闻网站上提取新闻文章。我想知道什么是一个好的数据库作为这个项目的后端？
提前感谢！
浏览 3提问于2010-01-27得票数 1
回答已采纳
2回答
我们有一个SPA，与社会网络共享有一个问题，因为它是爬虫，不会自动获取图片，我们需要指定og:image。考虑到用户可以随机获取网址并经过社交网络，有什么方法可以为所有页面生成图像？
浏览 3提问于2019-11-11得票数 0
回答已采纳
1回答
我已经写了一个php网络爬虫来索引只有180个特定来源的内容，但它平均每页需要2秒来分析，抓取和保存我想要的内容:图片，网址，标题，完整内容，摘录，标签。(有几种算法可以分析所有元标签以获得正确的数据)
我只抓取最新的9个文章页面，所以每个信息源需要18-25秒。
我创建了10个不同的cron作业(它们之间相隔6分钟)，因此每个作业可以处理18个源(大约350秒)。
这似乎非常低效，特别是如果我想达到1000个源码的话。我应该修改什么？
ps:我正在一个共享主机上测试它，一个专用的服务器会大大减少时间吗？
cron作业类似于：
lynx -auth用户名:密码website.com/crawl
浏览 0提问于2012-09-26得票数 1
所以我使用react-helmet在gatsby中创建了一个SEO对象，更新后的meta标签可以在开发者工具中看到，但是当使用网络爬虫时，没有一个动态的meta标签，有人知道如何修复这个问题吗？
浏览 19提问于2021-08-05得票数 1
我目前正在与puppeteer合作创建一个网络爬虫，并面临以下问题： 我试图从网站上抓取信息的网站使用标签。它一次呈现所有的标签，并将除一个标签之外的所有标签的display-property设置为'none‘，这样只有一个标签是可见的。 下面的代码总是让我得到第一个航班行，它可以根据爬虫请求的日期而隐藏。 const flightData = await page.$eval('.available-flights .available-flight.row', (elements) => {
// code to handle rows
} 似乎没有像在
浏览 123提问于2020-07-14得票数 1
回答已采纳
如何从我的web应用程序下载网页，然后读取"title“和"description”元标签？就像网络爬虫一样，但在Asp.net中并被..an asp.net网页调用？
谢谢!
浏览 3提问于2011-01-04得票数 1
回答已采纳
我们在drupal中建立了一个大型社区网站，在您访问该网站的内容之前，该网站有一个强制性的agecheck。
它检查一个cookie是否存在，如果没有，您将被重定向到agecheck页面。
现在我们相信爬虫者会被困在这个部分，他们会被重定向到阿格切克，永远不会爬上完整的网站。
以前有人吃过这个吗？处理这种事情最好的方法是什么？
砂光机
编辑
很抱歉，现在我要说的是，爬虫的一个问题是，当社区中的某个人在他的脸书上贴了什么东西时，facebook会把这个页面爬回来来获取图片和描述(这些图片和描述是在元标签中指定的)，但是facebook也会被重定向到agecheck页面。如果我添加facebook
浏览 18提问于2009-08-19得票数 0
回答已采纳
2回答
我正在使用普通模式和不推荐的浏览器模式创建站点，如果有人进入www.mysite.com，他的用户代理就会出现这样的情况：
// Mobile
if (Request.Browser.IsMobileDevice) return Redirect("/m");
// Tabļet
if (Request.UserAgent.Contains("BlackBerry") || (Request.UserAgent.Contains("iPhone")
浏览 0提问于2013-02-21得票数 0
回答已采纳
3回答
我想创建或找到一个用Python编写的开源网络爬虫(爬虫/机器人)。它必须找到并跟踪链接，收集元标签和元描述，网页的标题和网页的网址，并将所有的数据放入一个MySQL数据库。
有谁知道可以帮助我的开源脚本吗？此外，如果有人能给我一些关于我应该做什么的建议，那么他们将非常受欢迎。
浏览 4提问于2011-08-11得票数 6
回答已采纳
有没有办法让网络爬虫忽略robots.txt文件和标签？是的，我知道这可能会带来法律后果。这个问题很像，但答案非常模糊，我也不太明白。任何帮助都是非常感谢的。
浏览 0提问于2020-04-29得票数 0
我想建立一个基于Scrapy的网络爬虫，从几个新闻门户网站抓取新闻图片。我想让这个爬虫：
永远跑
这意味着它将定期重新访问一些门户页面，以获得更新。
安排优先次序。
对不同类型的URL给予不同的优先级。
多线程取料
我读过Scrapy文档，但没有发现与我列出的内容相关的东西(也许我不够小心)。这里有人知道怎么做吗？或者给出一些想法/例子。谢谢!
浏览 8提问于2010-02-28得票数 11
回答已采纳
我正在尝试编写一个网络爬虫程序，但现在我想知道:存储所有urls的最佳方法是什么，这样爬虫就可以一起工作，但不会干扰。
示例：
爬虫1找到一个包含100个URL的页面。
爬虫2找到一个没有任何URL的页面。
爬虫1和2共享爬虫1发现的100个URL
我的想法(两种不同的方法)
让Crawler扫描页面寻找新的URL
将所有已找到的URL保存在由所有Queue实例共享的PriorityQueue( Crawler )中
一旦Queue变得太大(例如，最大大小的80% )，就将URL外包给数据库
让Crawler保存Analyzer，并在之后
浏览 5提问于2011-12-28得票数 0
回答已采纳
如何使用Headless Chrome登录网页(填写并提交登录/通过表单标签)。我用Python3，BeautifulSoup和无头浏览器做了一个网络爬虫，但现在我需要先登录，我不知道怎么做。
浏览 17提问于2020-02-05得票数 0
facebook链接共享机制如下:当您想要将网站链接共享到Facebook时，facebook爬虫将尝试识别您的网页，并确定head标签中是否存在Facebook Open Graph标记。如果存在，则在分享时将其提取为帖子中的材料。
问题是:如果这是一个单页面的React App，例如，我想分享一个商业产品，我想要我的帖子包含它的图片和品牌名称。但是，由于此类数据是异步检索的，因此facebook爬虫不会获取产品信息。
浏览 7提问于2017-12-13得票数 0
回答已采纳
1回答
用于特定web爬虫的机器人元标记
、、、、
网络爬虫列表
我想要什么
noimageindex (指数化-控制参数)只适用于googlebot (以下两个元标记代码)。
其他所有爬虫(例如YandexBot，Baiduspider)都可以工作(下面是1:一个元标记代码)。
的问题是：
下面的代码对每个爬虫都有效吗？如果没有，最简单的方法是什么？是否需要我为每个爬行者分别写上mea标签？
在编程方法中，有一个术语是覆盖性的，这就是为什么我要以这种方式细化(想要编写元标记)，但我不确定它是否有效？
示例代码
1: <meta name="robots" content="index, follow" &
浏览 0提问于2021-02-25得票数 2
回答已采纳
如何选择位于具有特定子标签的标签之后的p标签？使用网络爬虫。
$crawler->filter('h2 span#hello + p')->each(function ($node) {
var_dump($node->html());
});
示例：
<h2><span id="hello">Hi</span></h2>
<p>I want this p-tag, that is after the h2 above</p>
<p>me too!&l
浏览 1提问于2015-09-29得票数 0
我使用亚马逊云托管我的网站。在过去的三个月里，我收到了来自亚马逊团队的邮件，说网络流量很高。在收到邮件后，我们正在使我们的实例更安全，代码更清晰。当我检查这个的时候，我可以看到一个像这样的帖子，上面说谷歌爬虫可能导致了攻击。当我检查访问日志时，我可以看到已经从bot本地主机(127.0.0.1)和外部ip访问了robots.txt。请看图片。
。谁能让我确定这个附件是由于谷歌爬虫或不？
浏览 1提问于2015-01-01得票数 0
如果出现以下情况，网络爬虫能够找到jpegs/映像吗？
页面使用php $_SESSION作为密码保护。
在页面加载之前，网页检查$_SESSION中的密码是否正确
如果密码正确，则加载页面，加载.jpegs
如果密码在$_SESSION页面中不正确，则使用if状态的METAREFRESH是否会加载.所以爬行器无法访问.jpgs。
我不希望这些图片能够出现在google/yahoo/bing/etc图像搜索中。我读了很多关于搜索引擎优化/机器人/爬虫，但我不确定这一点。
是这样的吗？
浏览 5提问于2013-10-08得票数 0
回答已采纳
这可能是一个愚蠢的问题，但我需要"ALT“HTML标签的帮助。
示例：
我的网站上有一张图片。我应该在HTML中使用"ALT=IMAGE“标签。我也应该使用"TITLE=IMAGE“标签。这样，如果有人不能看到图像，它将有文字，这也是伟大的搜索引擎优化，所以爬虫可以找到我的网站。我从来没有用过alt标签，因为当我这样做的时候，当有人把鼠标放在图像上时，它会添加一个文本的“弹出窗口”。这就是说，我想使用搜索引擎优化的ALT文本，但不希望“弹出”出现，因为我在我的网站上使用多个图像，这会很奇怪。我怎么才能阻止它弹出呢？
这个网站"“在所有图片上都有ALT标签，但当我
浏览 1提问于2011-04-04得票数 0
我计划为它写一个网络爬虫和一个基于网络的前端(或者至少是它找到的信息)。我想知道是否可以使用Django框架让网络爬虫使用与网站相同的MySQL后端(而不是让网络爬虫本身成为“网站”)。
浏览 1提问于2009-06-04得票数 1
回答已采纳
当我查看webhooks时，我看到了这张图片 ? 这是webhooks的通用标识吗？我注意到公司会使用它来表示webhook，但我找不到关于谁创建了这个徽标以及为什么它看起来是这样的信息。好奇是否有人可以使用它作为网络钩子的徽标。
浏览 12提问于2021-06-29得票数 0
回答已采纳
给出了A=和B=.两个网站的设置&lang=en a是国际化的，也就是说，用户可以在不同的语言之间进行选择：或&lang=sw
此外，A通过iFrame：<iframe src=A></iframe>包含在B中
现在，用户应该能够通过社交媒体共享B (google+、fb、Twitter.twitter)。重要的是，相应的社交媒体站点的网络爬虫应该从A获取图片和文本。
但是，至少fb爬虫不会在A中查找元数据标记(在facebook情况下是:打开图)，除非我们也在B：<meta property="og:url" content=A
浏览 1提问于2015-11-07得票数 0
1回答
我正在做一个项目，这是一种用于chrome的网络爬虫扩展，用于创建个人本地网络存档。所以我用javascript得到了视频，图片，css文件和脚本文件。项目的大纲告诉我考虑使用.war文件来保存抓取的页面，但是我找不到一种在扩展名之外创建.war文件的方法。
这是可能的吗?或者我必须找到另一种方法来节省所获得的资源？
浏览 4提问于2016-09-27得票数 0
我正在考虑写我自己的，但我想知道是否有好的网络爬虫在那里是用Ruby编写的。
除了一个成熟的网络爬虫，任何可能有助于构建网络爬虫的gem都将是有用的。我知道这个问题的这一部分在几个地方被涉及到了，但是一个适用于构建网络爬虫的宝石列表也是一个很好的资源。
浏览 2提问于2011-02-13得票数 21
回答已采纳
5回答
我在一个项目上工作，这需要在Java中设计一个网络爬虫，可以采取用户查询一个特定的新闻主题，然后访问不同的新闻网站，然后从这些网页提取新闻内容，并将其存储在一些文件/数据库中。我需要这个来做一个整体存储内容的摘要。我是这个领域的新手，所以希望有经验的人能给我一些帮助。
现在我有代码从单个页面提取新闻内容，这需要手动获取页面，但我不知道如何将它集成在一个网络爬虫中，从不同的页面提取内容。
有没有人可以提供一些好的Java教程或实现的链接，我可以根据需要使用或修改这些链接？
浏览 0提问于2012-04-05得票数 4
回答已采纳
1回答
我的web应用程序出现了以下错误：
2017-12-02 22:32:39
[10.133.0.13][-][-][error][yii\web\HttpException:404]
yii\base\InvalidRouteException: Unable to resolve the request
"assets/7adcf7ba/site.css". in
/var/www/html/my-website/vendor/yiisoft/yii2/base/Module.php:537
它是由我在HTTP_USER_AGENT中看到的引起的。文件夹7adcf7ba已经不
浏览 0提问于2017-12-04得票数 0
1回答
网络爬虫是否只从网页中返回提取的文本？例如，如果web服务器中也存储了一些pdf/doc文件。网络爬虫可以爬行它们并返回它们的内容吗？不管怎样，对于一个好的开源Java网络爬虫有什么建议呢？
谢谢!
浏览 2提问于2011-06-26得票数 0
回答已采纳
有人知道谷歌机器人是用哪种编程语言编写的吗？
或者，更普遍的是，高效的网络爬虫是用哪种语言编写的？
我见过很多Java语言，但在我看来，它不是最适合开发网络爬虫的语言，因为它产生了太多的开销(尝试使用Heritrix网络爬虫，它非常重)。
浏览 0提问于2009-10-29得票数 1
回答已采纳
1回答
我已经做了一个文件爬虫使用python来读取我计算机中的所有图片(大约250K文件)，并将这些信息保存在MySQL数据库中。我还保存了每个文件的所有EXIF元数据。接下来，我会给它们添加标签，将它们与一个唯一的ID相关联，但对于相同的图片，这总是相同的，以防我再次运行爬虫程序，文件改变了它的位置或名称。为此，我使用字符串和相关的Exif信息创建了一个散列。 我考虑到这些年来，我用不同的相机或手机拍摄过照片，有些Exif标签并不是所有相机都有。我还看到，大多数标签没有太多不同的值来使字符串唯一。 即时通信工具使用： Exif_Image_Length * Exif_Image_Width (图
浏览 46提问于2019-09-12得票数 0
1回答
从代码中获取所有href
、、、、
我在做一个网络爬虫。为了在页面中查找链接，我使用了selenium中的xpath
driver = webdriver.Firefox()
driver.get(side)
Listlinker = driver.find_elements_by_xpath("//a")
这样做效果很好。然而，测试爬虫时，我发现并不是所有的链接都在a标签下。href有时也用在area或div标记中。
现在我被困在
driver = webdriver.Firefox()
driver.get(side)
Listlinkera = driver.find_elements_by_xpath(&
浏览 0提问于2011-12-20得票数 1
回答已采纳
在PHPMYAdmin中，我正在运行一个网络爬虫。网络爬虫偶尔会拾取相同的urls。在网络爬虫中，它已经索引了数千个链接，我不想要重复的链接。有没有办法在SQL中删除相似的行(唯一的区别是id字段)
浏览 1提问于2012-08-17得票数 0
我对基于PHP的网络爬虫有些怀疑，它能像基于java线程的爬虫一样运行吗？我之所以问这个问题，是因为在java中，线程可以一次又一次地执行，我不认为PHP有类似线程的功能，你们能说一下，哪个网络爬虫更能充分利用吗?基于PHP的爬虫还是基于Java的爬虫
浏览 1提问于2010-07-27得票数 0
回答已采纳
5回答
我刚刚看到一个网络爬虫在我的电脑上运行，它在短短几分钟内就下载了几千条元标签信息。
当我使用WebClient下载页面，然后在本地解析它们时，为什么WebClient仅下载一个网页就需要大约40秒？有没有替代下载网页的方法？
谢谢：)
浏览 0提问于2009-12-20得票数 3
我是一个网络爬虫的初学者，我正在使用BeautifulSoup。我试着抓取页面“”
(请访问链接以了解查询)
我想要所有的链接，比如："acm15am1235“。我尝试使用soup.findAll('a')，但无法识别要在soup.findAll中传递什么类型的标签以获得所需的链接。
请指出捕获所需链接的方法。
浏览 1提问于2015-10-13得票数 0
我们正处于一个项目的开始阶段，我们目前想知道哪个爬虫是我们最好的选择。
我们的项目：
基本上，我们要建立Hadoop和抓取网络上的图像。然后，我们将根据Hadoop中的Map/Reduce工具，在HDFS中存储的图像上运行我们自己的索引软件。除了我们自己的索引之外，我们不会使用其他索引。
一些特殊问题：
哪种爬虫最适合抓取图像？哪种爬虫最适合分布式爬行系统，在这种系统中我们使用多台服务器一起进行爬行？
现在这些看起来是最好的三种选择-
Nutch:众所周知的规模。看起来并不是最好的选择，因为它似乎与他们的文本搜索紧密联系在一起，software.Heritrix:也可以伸缩。目前看来，最好的o
浏览 5提问于2009-07-28得票数 3
1回答
目标:当网络爬虫访问不同的路径时，修改Open Graph元标签。
我知道Javascript 4.0.0有一个MetaService，而且总是有jQuery，但是除了Googlebot之外的网络爬虫不会执行Angular2，所以它对我的目的有点无用。而Angular Universal听起来像是为了改变几个meta标签而夸大其词。
到目前为止，我的解决方案是将/dist中编译好的index.html复制并粘贴到index.ejs中，然后修改必要的字段。通过将入口点从index.html更改为index.ejs，可以将工作流与angular-cli编译过程集成在一起吗？如果不是，我应该探索的替
浏览 0提问于2017-05-03得票数 3
2回答
写入到标签
、、、
我目前正在尝试在C#中开发一个网络爬虫，它将测试用户指定的页面是否存在。我希望一旦爬虫启动，它会将页面状态写入windows窗体(包括标签)。但是我在让程序实际写入表单时遇到了问题？
private void button1_Click(object sender, EventArgs e)
{
Uri fileURI = new Uri(URLbox.Text);
WebRequest request = WebRequest.Create(fileURI);
HttpWebResponse response = null;
浏览 0提问于2015-11-26得票数 0
1回答
我在建一个网络爬虫来搜索。因为我只需要文章的标题来索引。我使用Jsoup连接URL目的地。
Jsoup.connect(url).timeout(20000).execute();
但是我遇到了一个问题，连接超时。我想知道超时是否是因为在该URL上加载了许多图像而发生的。
我如何才能获得一个网页，而不用加载图片使用Jsoup？
浏览 0提问于2018-06-13得票数 0
我想要检测服务器端呈现的对我的页面的当前请求- ssr来自网络爬虫或普通用户。
我想在网络爬虫中做一些事情，而不是当它是用户的时候。
我想在网络爬虫访问页面以获取完整数据时运行ng-in-viewport。
而不是在用户使用我的页面时运行。
如何检测这个东西？
浏览 4提问于2019-10-22得票数 1
2回答
网络爬虫的最佳数据库设计
、、、
许多数据库系统适合与网络爬虫一起工作，但是有没有专门为网络爬虫开发的数据库系统(在.net中)。
我的经验告诉我，网络爬虫有许多部分和服务，每个部分都需要一些特定的功能。例如，要缓存网页，我们需要一些东西，比如sql server的。或者检查db中是否已经存在URL，最好的选择是。
事实上，我有两个问题
1)与网络爬虫一起工作的最好的数据库系统是什么？
2)是否有涵盖所有功能的数据库系统！
浏览 2提问于2011-07-05得票数 1
1回答
我正在维护一个wordpress博客，并且熟悉使用og:image元标签来设置当按下like按钮时包含的默认图像。我想知道的是，如果有一种方法，使该图像动态的基础上喜欢的项目。
我正在尝试构建它，以便在特定博客帖子中喜欢的第一张图片是推送到facebook feed帖子中的图片，只有在帖子中没有图片时才使用博客的默认图片。facebook是否提供了使用图形api来实现这一点的方法？
我尝试编写javascript来更改文章页面(而不是主页)上的meta标签，但后来发现爬虫不运行javascript，所以我现在考虑用PHP实现相同的服务器端。这仍然不能解决博客主页的点赞问题，尽管页面上有多个博客
浏览 1提问于2011-11-08得票数 0
回答已采纳
2回答
我需要建立一个小的搜索引擎，如谷歌使用ASP.NET MVC3。对于这一个，我还需要建立网络爬虫，其中填充搜索引擎的数据。总而言之，我需要以下内容：
如何使用Asp.net MVC3和C#构建网络爬虫。我开始建立一些基本的，但我需要一些指南，资源和书籍。
使用这个网络爬虫，我轮询搜索引擎的数据，并使用Lucene.Net对数据应用索引。我需要建立小型搜索引擎，搜索由网络爬虫填充的数据。
请任何人有任何想法或资源或书籍。请与我们分享。
浏览 8提问于2012-11-14得票数 2
我正在尝试用ABOT在c#.i中制作网络爬虫，我搜索了很多例子，并添加了ABOT网络爬虫。从那我只能得到日志输出而不是超文本标记语言页面输出。我想得到超文本标记语言页面输出only.because，超文本标记语言输出是超文本标记语言敏捷工具的输入。帮助我从ABOT网络爬虫在C#中获得超文本标记语言输出。谢谢。
浏览 4提问于2013-09-12得票数 5
3回答
<div class="searchWrap">
<label for="SearchBox">Search Scirra</label>
<input type="text" name="SearchBox" id="SearchBox" tabindex="1" />
<div class="s searchIco"></div>
</di
浏览 4提问于2011-03-03得票数 7
回答已采纳
我正在寻找Apache Lucene网络爬虫写在java，如果可能的话，或在任何其他语言。爬虫必须使用lucene并创建有效的lucene索引和文档文件，因此这就是nutch被排除的原因。
有没有人知道这样的网络爬虫是否存在，如果答案是肯定的，我可以找到它。Tnx..。
浏览 0提问于2009-10-16得票数 1
回答已采纳
2回答
我有大约2000张带有二维码的图片，每张图片恰好代表一个字母。有没有人知道一个好的Java开源框架(Java更好，但任何其他语言也可以)来解码它们？
我只发现共享软件框架和网络服务不允许我上传2000张图片到他们的服务器上。
浏览 0提问于2011-06-04得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
