1回答
我正在构建一个小型的网络爬虫，我想知道是否有人对实际的实现有一些有趣的信息(只是爬行，没有搜索，没有排名，没有分类，只是爬行，亲吻:)。这些书很好，但是它们倾向于保持简单，对于缩放、存储数据、并行的东西和其他更高级的主题不详细。当然，我可以检查现有的开源爬虫的代码，但是这会发生在另一个边缘(C++爬虫看起来很复杂.)。我正在寻找一些有趣的信息。
欢迎任何帮助，谢谢。
浏览 5提问于2009-05-18得票数 2
1回答
我是搜索引擎新手，我发现googlenews非常有趣。
爬虫如何知道一个新的链接已经添加到该网站？对于google搜索爬虫，也可以问同样的问题，即爬虫应该意识到一个新的域已经启动，这样它就可以爬行它，从而确保google数据
浏览 4提问于2014-06-06得票数 3
回答已采纳
我有一个网络爬虫应用程序。它成功地抓取了大多数常见和简单的网站。现在，我遇到了一些类型的网站，其中HTML文档是通过表单或javascripts动态生成的。
浏览 0提问于2010-03-30得票数 5
回答已采纳
1回答
我最近发现了import.io和有趣的网络爬虫。现在，这个程序允许我用“手动regex覆盖”来更改爬行数据，但是我不知道如何使用它。我有一个字段，其中包含这个字符串。
浏览 5提问于2015-07-02得票数 0
回答已采纳
1回答
对于我的项目来说，在solr中看到爬虫是从哪里来的将是非常有趣的，也许因此我可以创建一个依赖树，用户可以在其中看到这个链接是如何连接到根的。关联数据是nutch中的一个选项，还是需要另一个程序员来管理？
浏览 0提问于2015-12-03得票数 0
1回答
例如，我有两个分区键，account_id作为int，record_date作为date。当我执行一个查询时，雅典娜说这些是varchar。我得用“键”来查询。是平常的情况还是我做错了什么？
浏览 5提问于2022-09-29得票数 0
1回答
我正在用Node查找域上的所有页面。我在Stackoverflow上搜索，但我只找到了这个用于Ruby：的线程--我有同样的问题，但是对于Node。我也在谷歌上搜索过这个问题，但我发现的都是刮刀器，它们没有找到可以自己抓取的链接。我也在寻找类似“站点地图生成器”、“网页机器人”、“自动刮刀”、“用Node获取域上的所有页面”之类的东西，但没有带来任何结果。
我有一个刮板，需要它将要处理的一系列链接，例如，我有一个页面www.example.com/products/，其中我想找到所有现有的子页面，例如www.example.com/products/product1.html，www.exam
浏览 0提问于2014-07-08得票数 3
1回答
我将XML文件存储在s3桶中，并运行爬虫来生成目录表中的模式。生成了目录表，但是当我在AWS Glue Studio中检查输出时，我可以看到以0开头的数据正在被删除。00034325 => 34325甚至从int到string的目录表模式数据类型的转换都不能解决这个问题。
请告诉我如何解决这个问题。
浏览 4提问于2022-01-15得票数 2
3回答
有没有一个网络爬虫可以做同样的事情，如果我给它一个顶级域名(例如:我告诉它在stackoverflow.com上找到“有趣”这个词，它就会告诉我每次出现“有趣”的时候)？
浏览 1提问于2011-08-24得票数 1
回答已采纳
我发现Flipboard是一个非常有趣和病毒的新闻聚合应用程序。为了实现这一点，我正在构建一个网络爬虫，它将抓取网站，以获取最近的新闻和帖子。我非常熟悉从一个网站中获取数据的过程。但我不确定如何从多个网站和博客中获取数据，这些网站和博客的结构完全不同。问题：
我想知道，我如何才能实现通过一个通用爬虫从数千个网站中获取数据的目标？
浏览 7提问于2015-09-19得票数 0
回答已采纳
我计划使用CloudFlare与我们的网站，但我需要确保我仍然可以提供一些文件的下载统计数据，这将不可避免地被缓存。
我找不到任何涉及特定文件的内容，而不是一般的页面访问。
浏览 0提问于2017-06-12得票数 4
回答已采纳
在AWS作业中，为了从DB或S3检索数据，我们可以使用2种方法。1)使用Crawler 2)直接连接到DB或S3。
所以，，我的问题是：与直接连接数据库和检索数据相比，爬虫如何更好？
浏览 9提问于2020-08-26得票数 1
我选择eclipselink作为我的JPA实现和MYSQL作为我的数据库。应用程序的核心是一个JPA爬虫，它从特定的网站收集HTML并处理HTML，从中提取一些数据，这些提取的数据被JPA实体保存。在我的开发环境中，所有的操作都很好，爬虫运行得很快，所有的数据都存储在数据库中。，一个特定实体的一个特定字段--它的数据--都被破坏了。最有趣的是，我调用persist()方法，在使用同一个实体发送通知电子邮件之后，电子邮件数据</
浏览 1提问于2012-06-12得票数 0
回答已采纳
我将IoT数据从IoT设备中保存到S3中。有7种数据，所以我将它们保存到S3的7个子文件夹中。我设置了下面的爬虫：-Create为每个S3路径创建一个单一模式进展得很好。但是有一天，新数据的列将被添加，您能告诉我如何更改爬虫的设置以获得包含所有列的新模式吗？
浏览 5提问于2022-11-24得票数 0
回答已采纳
我正在尝试使用实现一个爬虫。一切都很好直到：
是否可以：
防止根数据文件夹锁定。(因此，我可以同时运行多个爬虫副本。)重新启动后，根数据文件夹的内容不会删除。(这样我就可以在停下来后恢复爬行器了。)
浏览 3提问于2014-05-11得票数 0
嗨，我想做一个网页爬虫，检查URL的数据，如果我做一个简单的Gui，使脚本更容易查找变量的数据，添加代码的gui会使我的网络爬虫效率降低吗？
我需要爬虫尽可能高效，能够尽可能快地处理数据。为这个Python脚本制作一个gui，会不会妨碍web爬虫的性能？
浏览 3提问于2015-01-27得票数 0
回答已采纳
在out ASP.Net网站(.Net 3.5)的安全模型中，我们存储页面名称：作为数据库表中的主键，以便能够查找用户是否有权访问某个页面。第一次访问页面时，会在数据库中自动创建此记录。
我们已经导出了这些数据库语句以插入脚本，但每次创建新页面时，我们都必须更新脚本，这不是一个大问题，但我希望找到一种自动化的方法来做到这一点。
浏览 0提问于2009-09-18得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
