2回答
我必须运行微爬虫，这是一个爬虫网络应用程序，与node.js运行。我不知道如何打开这个应用程序，我下载了node.js，当我在node.js命令行中编写install npm和install bower时，什么也没有发生。我也不知道如何在安装后启动web应用程序。
请帮帮我
浏览 2提问于2014-09-28得票数 1
我正在使用js爬虫来抓取网站，现在我遇到了CNN，的那一部分(基于某种原因动态生成的urls)。事情是爬虫，不要真正接触脚本-我应该如何解决它？除了我的node.js爬虫之外，我还应该编写自己的代码吗？是否有先进的爬虫知道如何处理这种动态行为？
浏览 1提问于2016-07-23得票数 2
回答已采纳
1回答
我正在尝试使用云构造来创建和调用AWS Glue爬虫。爬虫的创建部分(作为目标的发电机数据库)在lambda函数中。 我如何使用云形成来实现所有这些？例如，从s3中存在的cod创建λ函数，在创建lambda函数后，应该触发它来创建爬虫程序，然后应该调用爬虫程序来创建目标表。我希望所有这些都是云的形成。 参考链接：Is it possible to trigger a lambda on creation from CloudFormation template
浏览 21提问于2019-09-17得票数 0
3回答
爬虫/铲运机的数据库是什么？
、、、、
我目前正在研究在我正在做的项目中使用什么数据库。希望你们能给我一些提示。
该项目是一个自动的网络爬虫，它根据用户的要求检查网站，在某些情况下刮取数据，并创建所做工作的日志文件。
要求：
只有少数几个列的表；预先定义列是没有问题的。
模型之间没有过于复杂的关联
大量基于日期和时间的查询
由于日志记录，数据库将迅速增长，占用大量的空间。
应该能够扩展到多个服务器上。
字段主要包含id (int)、字符串(最大200-500个字符)和unix时间戳。
两种不同类型的服务器将同时直接读写数据：
一个(/later更多的) rails应用程序，它接受用户输入并根据请求显示结
浏览 2提问于2012-08-12得票数 11
回答已采纳
1回答
我试图在AWS中创建一个爬虫，但是它给出了错误：{"service":"AWSGlue","statusCode":400,"errorCode":"AccessDeniedException","requestId":"<requestId>","errorMessage":"Account <accountId> is denied access.","type":"AwsServiceError&#
浏览 3提问于2022-08-02得票数 1
回答已采纳
这不一定是一个爬虫，但我想它更容易理解说明的方式。
给定HTML，浏览器加载/执行javascript (+应用样式)
我想在node.js中执行同样的任务。
即。给定html，node.js将加载脚本(通过<script>标记或require()调用)并执行脚本(主要用于呈现)。
as的res.render似乎不接受html-string作为输入。
如何用节点模拟浏览器的javascript呈现能力？假设node.js get与浏览器获得的地址相同的html？
您可以想到一个web爬虫，它获取html并执行javascript来呈现页面。
编辑
虽然，与常规爬行任务有
浏览 2提问于2015-02-01得票数 2
我有一个码头-撰写文件如下所示，它有2个容器。一个是Python，另一个是MySQL爬虫应用程序，它可以读取/写入数据库。当我做docker-compose up时，我看到：
数据库容器构建，然后构建应用程序容器，然后运行app容器上的CMD (例如启动爬虫)，然后根据停靠-组合文件中的环境变量在DB容器中初始化数据库。<code>g 210</code>
我的问题是，为什么在DB容器中创建数据库之前，我的爬虫脚本还在运行？如何确保在运行爬虫脚本之前已经创建了数据库？
version: '3.7'
services:
db:
浏览 5提问于2020-02-05得票数 1
2回答
插入到Rails数据库中
、、、、
我是Ruby on Rails的新手，我想创建一个抓取数据并将其插入数据库的爬虫。我目前使用的是Heroku，所以我不能直接访问数据库，我想知道将爬虫脚本集成到RoR框架中的最好方法是什么。我将使用每小时或每天的cron来运行脚本。
浏览 2提问于2011-03-17得票数 0
要么是我的google-fu让我失望了，要么就是还没有太多的人这么做。正如您所知，Backbone.js有一个弱点--它不能为页面爬虫(比如googlebot )呈现的html提供服务，因为他们不运行JavaScript (尽管考虑到它的Google拥有自己的资源、V8引擎，以及JavaScript应用程序正在崛起这一令人警醒的事实，我预计有一天会发生这种情况)。我知道Google有一个hashbang的解决方案，但这只是一个糟糕的主意。另外，我正在使用PushState。这对我来说是一个极其重要的问题，我也希望对其他人也是如此。SEO是不可忽视的东西，因此对于许多需要或依赖的应用程序来说，不
浏览 4提问于2012-09-16得票数 19
如果使用create_dynamic_frame_from_catalog()，则提供数据库名称和表名，例如，从Glue爬虫中创建，这实际上是命名特定的输入文件。我希望能够在没有爬虫和数据库的情况下完成同样的操作(指定一个特定的输入文件)。
我尝试过使用create_dynamic_frame_from_options()，但“路径”连接选项显然不允许我命名该文件。有办法这样做吗？
浏览 1提问于2020-07-15得票数 1
我目前想部署一个网站排名API，为此，我需要一个网络爬虫。事情是，我想让网络爬虫运行24/7，以便它可以不断更新网站。但是，对于Heroku这样的服务，一个小时后服务器就停止了。所以我所有的爬行过程都消失了，我不得不重新审视。我如何宿主一个总是在Heroku上活动的Node.js脚本。如果不可能，我还能做些什么呢？
浏览 0提问于2021-01-21得票数 1
回答已采纳
在使用aws爬虫之后，当我查询雅典娜时，我得到了以下错误...SYNTAX_ERROR:第1:15行:表awsdatacatalog.datahub2.datahub2不存在
我已经尝试创建一个新的爬虫，一个新的数据库和表。唯一没有改变的是数据，但当爬虫在2周前运行时，这是很好的。
名称Conversations3说明为每个S3路径创建单个架构假安全配置
标签
状态就绪计划
上次更新Mon 5月20日15:07:07 GMT+100 2019创建日期Mon 5月20日15:07:07 :07 GMT+100 2019数据库datahub2服务角色服务-角色/AWSGlueServiceRole
浏览 1提问于2019-05-20得票数 0
我正在尝试编写一个网络爬虫程序，但现在我想知道:存储所有urls的最佳方法是什么，这样爬虫就可以一起工作，但不会干扰。
示例：
爬虫1找到一个包含100个URL的页面。
爬虫2找到一个没有任何URL的页面。
爬虫1和2共享爬虫1发现的100个URL
我的想法(两种不同的方法)
让Crawler扫描页面寻找新的URL
将所有已找到的URL保存在由所有Queue实例共享的PriorityQueue( Crawler )中
一旦Queue变得太大(例如，最大大小的80% )，就将URL外包给数据库
让Crawler保存Analyzer，并在之后
浏览 5提问于2011-12-28得票数 0
回答已采纳
我有一个用C编写的小网络爬虫，它从不同的网站收集一些数据，并创建json对象，这些json对象作为utf-8编码的字符串通过unix套接字发送。
Node.js正在监听该套接字文件，并接收所有的json字符串。
现在的问题是，如何才能将这些数据发送到所有连接的socket.io客户端？
提前感谢并为我糟糕的英语表达歉意。
浏览 0提问于2014-11-16得票数 0
1回答
我正在尝试用postgres数据库作为后端来设置stormcrawler。但是没有文档说明哪些表需要存在才能启动风暴爬行器。
我需要哪些表以及它们有哪些列？或者有什么方法可以自动创建所需的表？另外，如何在这种模式下启动爬虫？因为我不能像样例爬虫拓扑那样发送种子url。
浏览 0提问于2017-05-06得票数 0
回答已采纳
1回答
我刚刚开始尝试AWS glue，我已经能够成功地将数据从我的Aurora MySQL环境拉到我的PostgreSQL DB中。当爬虫程序为我正在试验的表创建数据目录时，所有列的顺序都打乱了，然后当作业创建目标表时，列再次打乱了顺序，我认为这是因为它是根据爬虫程序生成的内容创建的。如何使目录中的表结构与源数据库中的表结构相匹配？
浏览 0提问于2018-07-27得票数 2
我正在尝试通过boto3库创建并运行一个AWS glue爬虫。爬虫针对的是s3文件夹中的JSON文件。爬虫成功完成，当我检查日志时没有错误，但它没有在我的glue数据库中创建任何表 这不是权限问题，因为我可以通过CFT创建相同的爬虫，当我运行它时，它会像预期的那样创建表。我在我的代码中使用与我的CFT相同的角色，我使用boto3来创建它。 我尝试过使用boto3 create_crawler()和run_crawler()。已尝试在从CFT创建的爬网程序上使用boto3 update_crawler()并更新s3目标路径。 response = glue.create_crawler(
浏览 30提问于2019-06-07得票数 0
1回答
网络爬虫会爬行网络并创建一个网络数据库，还是只会创建一个可搜索的网络索引？假设它创建了一个索引，那么谁来收集网页数据并将其存储在数据库中呢？
浏览 2提问于2010-08-17得票数 0
1回答
我在一个基于java的爬虫上工作。我想在我的爬虫恢复功能，用户可以在任何时候暂停爬虫，在他想要的情况下，爬虫崩溃的情况下，他应该能够开始从爬虫停止的点上一次爬行。
为此，我必须在数据库中存储所有outlink (在任何页面找到的链接)。我不确定哪个数据库是最好的这类系统，因为它需要非常快的插入和检索的链接从数据库和频率插入和检索将非常高。
很少有人建议我像mongodb那样使用no-sql，但我只想确保它是这类系统的最佳选择。
浏览 2提问于2012-01-06得票数 1
回答已采纳
4回答
这里有一个excel文件testFile.xlsx，如下所示：
ID ENTITY STATE
1 Montgomery County Muni Utility Dist No.39 TX
2 State of Washington WA
3 Waterloo CUSD 5 IL
4 Staunton CUSD 6 IL
5 Berea City SD OH
6 City of Coshocton OH
现在我想将数据导入到AWS GLUE数据库中，AWS GLUE中的爬虫已经创建，运行爬虫后AWS GLUE数据库中的表中没有任何内容。我猜应该是AWS
浏览 1提问于2017-11-29得票数 2
2回答
网络爬虫的最佳数据库设计
、、、
许多数据库系统适合与网络爬虫一起工作，但是有没有专门为网络爬虫开发的数据库系统(在.net中)。
我的经验告诉我，网络爬虫有许多部分和服务，每个部分都需要一些特定的功能。例如，要缓存网页，我们需要一些东西，比如sql server的。或者检查db中是否已经存在URL，最好的选择是。
事实上，我有两个问题
1)与网络爬虫一起工作的最好的数据库系统是什么？
2)是否有涵盖所有功能的数据库系统！
浏览 2提问于2011-07-05得票数 1
1回答
我的网站的内容是由用户提供的问题和评论定义的，并且是动态的，本质上是不断增长的。该数据库预计将托管数百万个records.However，这些内容将根据访问者对不同类别和类型的选择(使用下拉选项)呈现给他们。本质上，这些内容对于搜索引擎爬虫是不可见的。使这些内容可供爬虫使用的最佳方式是什么？我是否应该定期运行批处理操作，创建静态网页，并通过站点地图将其提供给爬虫？请提个建议。谢谢。
浏览 1提问于2014-11-08得票数 0
目的是使用Glue将数据(csv文件)从一个S3桶转换为另一个S3桶。
我已经尝试过的是：
I创建了CSV分类器，i创建了一个爬虫来扫描S3桶中的数据。。
我被困的地方：
无法找到如何将输出再次存储在S3中，而不将其保存在任何RDS或其他数据库服务中。
因为Glue输出要求数据库输出，所以我没有也不想使用数据库输出。
有没有办法不使用任何其他DB系统就能实现这个目标，只是普通的- S3，Glue？
更多信息
示例单个CSV文件，我正在尝试合并
分类器带有";“；
爬行器配置
爬虫结果(没有检测到模式)
浏览 1提问于2020-09-09得票数 0
回答已采纳
我正在尝试AWS胶水爬虫在雅典娜创建表格。我将其从Postgresql服务器中拉出。爬虫能够解析表，创建元数据，并显示粘合数据目录中的表和列，但表没有添加到雅典娜，尽管我已经从雅典娜添加了目标数据库。不确定为什么会发生这种情况，如果我从s3中选择csv源，那么它就能够在雅典娜中创建一个以_csv为后缀的表，有什么帮助吗？
浏览 2提问于2018-12-12得票数 2
我可以使用node.js删除数据库，但我不知道如何创建新的数据库？我想创建使用node.js的monogo数据库。有没有人能帮我讲讲如何用node.js创建mongo数据库？
浏览 1提问于2016-03-03得票数 12
回答已采纳
1回答
我想从社区中听到一个很好的模式来解决下面的问题。
我有一个“无所不包”的服务器，它是were服务器，mysql，爬虫服务器。由于使用监视工具的两三周时间，我发现当我的爬虫运行时，我的平均负载总是超过5(一个4核心服务器，可以一直使用到4.00作为负载)。所以，我有另一台服务器，我想把我的爬虫移到那里。我的问题是。一旦我在我的爬虫服务器中爬行数据，我必须插入我的数据库。我不想打开远程连接并将其插入数据库中，因为我更喜欢使用Rails框架，顺便说一句，我使用rails，以便更容易地创建所有关系，等等。
有待解决的问题：
服务器，有爬行的数据(一堆csv文件)，我希望将它移动到远程服务器，并使用ra
浏览 2提问于2011-05-01得票数 0
1回答
我是搜索引擎新手，我发现googlenews非常有趣。
我想写一个简单的爬虫
只解析三个不同新闻网站的文章链接。
将链接保存在数据库(mysql)中，并使用链接在网站上公布的时间戳(而不是爬虫检测到链接的时间)。
如您所知，新闻网站每天都会生成链接(我想基本上解析它们的所有链接(不仅仅是今天打印的链接，还包括生成before...and的所有链接--所有这些链接都保存在新闻网站数据库中)。
我不知道我想爬的新闻网站使用的是哪个数据库，我也没有访问它的权限。
那么googlenews如何能够解析所有新闻网站的所有文章链接，包括很久以前生成的链接呢？googlenews可以访问
浏览 4提问于2014-06-06得票数 3
回答已采纳
1回答
我正在通过aws glue爬行数据到数据目录。但是我对数据库的定义有点困惑。根据我在亚马逊网络服务文档A database in the AWS Glue Data Catalog is a container that holds tables. You use databases to organize your tables into separate categories.中找到的信息。我想知道数据库到底包含了什么。它是否加载来自其他数据源的所有数据并在这些数据源上创建目录？或者它只包含目录？如何知道glue数据库中表的大小？以及它使用的数据库类型，如nosql、rds
例如，我创建了
浏览 17提问于2019-07-25得票数 1
回答已采纳
1回答
我必须做一个爬虫(我选择python)来填充在Symfony项目中创建的数据库(使用主义)。爬虫已经完成了，但当我尝试填充数据库时，它不工作...
因此，我在我的数据库(mtdbdd)中创建了一个新的test表，其中只有一个自动增量ID和一个标题。我尝试用下面的代码填充：
from pymongo import MongoClient
MONGO_URI = 'mongodb://root:root@127.0.0.1:8889'
client = MongoClient(connect=False)
client = MongoClient(MONGO_URI)
db =
浏览 2提问于2017-09-16得票数 0
3回答
我想创建或找到一个用Python编写的开源网络爬虫(爬虫/机器人)。它必须找到并跟踪链接，收集元标签和元描述，网页的标题和网页的网址，并将所有的数据放入一个MySQL数据库。
有谁知道可以帮助我的开源脚本吗？此外，如果有人能给我一些关于我应该做什么的建议，那么他们将非常受欢迎。
浏览 4提问于2011-08-11得票数 6
回答已采纳
1回答
创建AWS胶水作业需要爬虫吗？
、、、、
我正在通过下面的页面：来学习“用Pyspark来学习Glue”。
我的问题是:创建胶水作业需要爬虫&在湖中创建数据库吗？
我的aws角色有一些问题，我没有被授权在LakeFormation中创建资源，所以我想我是否可以跳过它们，只创建一个胶水作业并测试我的脚本？
例如，我只想对一个输入的.txt文件进行测试，我将它存储在S3中，我还需要爬虫吗？我是否可以使用boto3创建一个胶水作业来测试脚本并对数据进行预处理并将数据写回s3？
浏览 3提问于2021-02-07得票数 3
回答已采纳
我正在熟悉AWS Glue中的爬虫。我从Athena导入了一个数据库目录，并希望每天爬行这些表的数据位置，以便在添加数据时自动更新它们的分区。
然而，我的爬虫似乎只创建新的表，与从Athena导入的表是分开的。它们似乎不会更新我现有的表。有没有办法做到这一点？在他们的文件里没看到任何提及。
浏览 0提问于2017-10-27得票数 1
1回答
在巴西，政府制作了一个应用程序，你可以输入该项目的名称，例如“精制糖2公斤”，该应用程序返回给你最近的市场，那里有最便宜的商品。它扩展到所有类型的产品，我正在考虑用这个数据库创建一个应用程序。这是公开的，所以这不是犯罪，但他们没有列出所有的产品在屏幕上的类别等。应用程序只有一个搜索栏，仅此而已。我怎么能得到那个数据库？我想到了一个爬虫(可能是蟒蛇)，但我看到的所有爬虫都有一个作为“目标”的网页。我从来没有编程移动，所以我不知道一个爬虫是否能完成这项工作。，那么，我应该研究什么才能制作一个工具来提取这些信息呢？
浏览 0提问于2018-05-09得票数 0
我有一个用例，在这个用例中，我需要创建一个AWS Glue crawler来抓取存储在S3中的一些数据，启动爬虫，然后在完成抓取数据后删除爬虫。
我遇到的难题是，爬虫可能需要很长时间才能完成，有时需要20-30分钟来完成对实际数据的爬行，然后才能将其删除。
最初我打算用AWSGlueAsyncClient来解决这个问题，这样就不会阻塞调用线程20-30分钟，我只需要写一个回调，这样当爬虫完成时，它就会立即被删除。
这样做的问题是，如果服务器在爬虫完成所需的20-30分钟时间内关闭或中断，它将不再被删除。
什么是保持crawler删除步骤的好方法，以便即使服务器关闭，它仍会在重新启动后尝试删除c
浏览 27提问于2021-05-26得票数 0
回答已采纳
1回答
我的任务是创建一个“海量爬虫”，它完全依赖于数据库中的代理。以下是我试图实现的目标的一个简单概述：
1 x CronJob引导文件-这个文件发送50个并行curl请求到单个爬虫文件。
1x单个的Crawler文件-这应该是从数据库中获取一个唯一的行(代理)，而另一个进程还没有选择。
我已经看过TRANSACTIONS和mySQL，但我仍然认为这样做不会有帮助，因为查询将在每个单独的爬虫进程完全相同的时间执行。
以下是我在脑海中对个人爬虫文件的想法：
$db = new MysqliDb("localhost", "username", "
浏览 1提问于2015-02-03得票数 1
回答已采纳
1回答
我目前正在进行一个项目，该项目将启用基于文件中的元数据的文件搜索。
它将由两部分组成：
一种文件系统爬行器，它被动地扫描数据库中的更改并索引结果。
查询数据库的搜索前端。
数据库将使用伪分层(即扁平)模型来创建目录/文件结构的映射。
索引中存储的字段将包括：
文件/文件夹名称
父目录
修正时间
元数据
..。
我想知道的是，修改文件/文件夹的时间通常是如何工作的，如何使用它来减少爬虫必须索引的区域？
注:假设爬虫将定期运行在一个固定的间隔，以保持索引的最新。
浏览 0提问于2015-02-21得票数 0
回答已采纳
我正在努力创建一个Java的网络爬虫。爬虫访问网站，使用JDBC访问/存储数据库中的数据，还将文件存储在本地或云存储上。
作为爬行的一部分，我想记录爬虫使用的确切细节--
参数，如--
Number of sites visited (HTTP+HTTPS)
Number of bytes of data received over one run of the crawler
Number of bytes of data sent over one run of the crawler
Number of rows updated/inserted/deleted/selected via
浏览 1提问于2012-06-28得票数 0
回答已采纳
我正在创建一个从网站下载网页文档的爬虫，并将网页内容存储在数据库中。
我只想存储英语语言的文档。
我不能设法找出哪种语言是一个特定的网页，以便我可以决定是否将其存储在数据库中。
浏览 1提问于2019-03-19得票数 1
客户计划使用Glue爬虫排除oracle模式或oracle表？
Glue爬虫不支持Oracle和MySQL数据库的/数据库/模式/表，我尝试了许多不同的模式来排除oracle模式或oracle表，但结果并不是预测的。
如何设计Oracle数据库或MySQL数据库的排除模式？
包括-模式:测试/%
测试是oracle服务的名称。
我添加了以下模式以排除模式APEX_030200和WWV凝视表：
APEX_030200.WWV*
APEX_030200*
test_apex_030200_wwv*
test.APEX_030200.WWV_*
test.APEX_030200.
浏览 10提问于2020-12-25得票数 1
1回答
我想用JS写我自己的网络爬虫。我正在考虑使用node.js解决方案，如
目标是每10分钟进行一次“爬行”，所以我希望我的爬虫每10分钟从网站上获取数据。
我知道我可以编写一个无限循环，例如：
var keeRunning = true;
while (keepRunning) {
// fetch data and process it every 10 minutes
}
如果我一直都有我的电脑，而且我在网站上，这会非常好的工作。
然而，如果我关闭我的电脑，我可以想象它将不再工作了。那么，我应该考虑什么样的解决方案来让脚本一直运行，即使计算机被关闭了呢？
浏览 3提问于2015-05-23得票数 5
回答已采纳
1回答
我有一个Azure数据库，它仅限于60个并发连接。我的问题是，我有几个爬虫填充这个数据库，以供我们的网站使用实体框架。
很快，多个爬虫就会耗尽所有的连接和错误。我尝试在连接字符串中设置最大池大小值，但这似乎没有对实际的数据库连接强制执行任何限制。
我可以将DbContext封装在一个单例中，但这样我就会将整个爬虫限制在一个连接上。
还有其他方法来实现这一点吗？
浏览 2提问于2016-08-03得票数 5
回答已采纳
2回答
我有一个网站，这是相当好，但与非常少的信息。所以我想添加一些信息，比如关于特定领域的新闻(比如政治、好莱坞等)。我相信爬虫是最好的方法吗？如果我的理解是正确的，请建议您是否有任何其他方法来获取信息，而不使用来自各种来源的爬虫。
其次，我正在做过去两天的研究，但我找不到一个特定的来源能够做到这一点。现在我希望爬虫找到信息，规范化并存储在mysql数据库中。听起来很简单哈。但这不适合我。
因为这非常耗费资源和时间。在选择爬虫之前，我应该考虑哪些因素。我也希望定制它，所以任何工具，这是开源的，很好地被定制将是伟大的。
任何提供信息和研究因素的来源在创建爬虫或教育爬虫时都需要考虑，这将是很棒的。我更喜
浏览 0提问于2010-11-11得票数 0
当对从RDS数据库创建的Glue表运行Athena查询时，我收到了一个错误：
HIVE_UNKNOWN_ERROR:无法创建输入格式
表是使用爬虫创建的。这些表正确地显示在Glue接口中：
但是，它们没有出现在数据库下的雅典娜界面中。它说：“所选的数据库没有表”
在使用使用S3文件创建的数据库时，我没有看到这种行为。也许这与错误有关。有谁有主意吗？
浏览 0提问于2018-05-14得票数 5
回答已采纳
1回答
我有一个亚马逊胶水爬虫，它查看一个特定的s3位置，包含avro文件。我有一个进程，它在那个位置的一个新的子文件夹中输出文件。
一旦我手动运行爬虫，新的子文件夹将被视为数据库中的一个新表，它也将是可从雅典娜查询的。
有什么方法可以使进程自动化，并以编程方式调用爬虫，但只指定新的子文件夹，这样它就不必扫描整个父文件夹结构了吗？我希望将表添加到数据库中，而不是将分区添加到现有表中。
我正在寻找Python选项，我确实看到了这样一个选项：
import boto3
glue_client = boto3.client('glue', region_name='us-east-1
浏览 0提问于2018-08-21得票数 1
回答已采纳
我用node.js做了爬虫。我想爬一些网站的基础上，每小时。
我试着找出我应该使用的用户代理，但是我只得到了像谷歌机器人和必应机器人这样的结果。我不知道我能不能利用这些用户代理。
你能告诉我我应该使用哪个用户代理吗？
浏览 1提问于2018-09-10得票数 1
回答已采纳
1回答
Apache获取和更新b阶段
、、、、
我有一个问题，关于Nutch如何获得链接来更新爬行数据库。
所讨论的命令是bin/nutch updatedb crawl/crawldb $s1
我需要编写一个自定义解析器，在这样做之前，我已经检查了Nutch的源代码，就我而言，我负责提供更新爬虫数据库的链接，方法是从文档中提取它并在ParseData中以ParseData的形式插入它。至少这是我从了解到的。
如果我错了，请纠正我，因为我不希望我的爬虫在第一次迭代之后停止，因为它没有链接来更新爬虫数据库。
浏览 1提问于2017-07-06得票数 0
回答已采纳
我用python编写了一个爬虫，它可以访问60多个网站，解析HTML，并将数据保存到数据库。
现在，我正在使用cron作业，每15分钟运行一次爬虫。问题是，我无法知道爬虫要花多少时间才能完成(有时可能需要超过15分钟)，如果已经在运行，我不想再运行另一个爬虫。
我一直在想，我是否最好使用一个无限循环，并使爬虫成为一个永久运行的进程(但是如何确保爬虫不会失败并退出呢？以及如何在每次退出时重新启动？)。
哪一个更有效率？无限循环还是cron作业？
浏览 7提问于2021-05-14得票数 0
我想抓取一个网页(新闻)，只获得最新的链接。我有一个爬虫代码，从一个网站获得所有的链接，需要2-3个小时来获得大约30000个链接，并在数据库中存储。如果下次运行爬虫程序时，我只想插入新的链接，该怎么办？我知道我可以在插入数据库之前做一个过滤器，但我希望爬虫只抓取新的链接，而不是再次抓取旧链接(基本上是整个网站)。有没有可能做这样的事情？
浏览 1提问于2018-04-18得票数 0
我想在postgres数据库中创建和提取视图。 我可以通过创建spark上下文并在glue脚本中提取信息来做到这一点，但是我失去了数据编目功能。有没有办法从数据目录/爬虫中工作，然后在glue脚本中访问它。
浏览 8提问于2019-09-27得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
