1回答
我的爬虫(ApacheNotch2.2.1)处于爬行状态。我必须更改nutch-site.xml中爬虫的一些配置。我已经知道，当爬虫处于运行状态时，请避免更改配置。
或者如果我们不能改变爬虫的配置，那么如果配置被改变了，它的缺点是什么？
浏览 0提问于2014-11-26得票数 1
回答已采纳
1回答
我正在运行一个具有自己的绑定DNS缓存的网络爬虫。我们的代码使用DNS缓存进行解析，并使用Python的请求库发出GET请求。问题是许多FQDN配置错误，它们指向RFC1918 IP地址或环回IP(如127.0.0.1或10.0.0.0/8 )。因此，我们的爬虫试图连接这些it，并以来自数据中心的扫描报告结束。我们对爬虫进行了更改，现在它首先为FQDN解析ip，如果IP处于私有/回环/保留范围，则跳过它。
在对tcpdump进行嗅探之后，我发现仍然存在流向私有IP地址的流量。
浏览 0提问于2015-12-30得票数 2
回答已采纳
1回答
可配置HTML信息提取
、、、
场景：例如，一项共同任务如下：
与一般解析器相比，所有这些硬编码(列名、表ids等除外)给我带来了好处或易于实现，效率也比一般解析器高，但是，它的可
浏览 0提问于2019-06-23得票数 0
1回答
例如，我有两个分区键，account_id作为int，record_date作为date。当我执行一个查询时，雅典娜说这些是varchar。我得用“键”来查询。是平常的情况还是我做错了什么？
浏览 5提问于2022-09-29得票数 0
1回答
Sharepoint web爬虫没有提供足够的可配置性，因此我们一直使用快速web爬虫来运行爬虫。我找不到关于如何配置2013 Web Crawler组件的重要文档。它比2010年的Sharepoint爬虫更强大吗？
浏览 2提问于2013-01-17得票数 1
2回答
我想使用python3.6.3抓取mongodb和py魅力来开发我的here爬虫，这是我的项目结构：
这是我的船坞-复合。Here：
当我配置我的pycharm时，一些错误消息会如下所示：
它有什么问题，如何解决？非常感谢
浏览 0提问于2017-10-26得票数 1
1回答
弹性豆杆不运行的克隆约伯
、、、、
我在一个弹力豆茎应用程序上有一个抓取器，我可以像这样运行SSH：
我想帮我安排一个任务来处理这个问题。Cron won't r
浏览 0提问于2015-04-13得票数 0
我使用爬虫在aws胶水中创建了一个表，然后在s3中添加了一个具有不同模式的分区，然后再次运行该爬虫。
当我从分区视图中查看分区的模式时，它会显示新的模式，但是该表的模式保持不变。
浏览 2提问于2018-06-27得票数 2
回答已采纳
2回答
检测网页中同构元素的列表
、、、
我需要检测页面DOM中连续的相同元素的序列。这些元素可以是div元素、li元素或span元素，也可以包含其他元素。这些元素有一个共同的事实，即它们是连续出现的，具有相同的内部结构。谢谢。
浏览 3提问于2014-07-04得票数 0
回答已采纳
1回答
我已经安装了一个新的Laravel (v6.7)项目，然后安装了这个软件包。因此，就像在文档中一样，我在我的路由文件web.php文件中添加了下面的代码ini_set('max_execution_time', 300); // 5 minutes
SitemapGenerator::create('http://sandrianaplantations.com/')->writeToFil
浏览 2提问于2019-12-17得票数 0
我的文档站点得到了阿尔戈利亚的批准，他们的爬虫也能在那里索引几百个记录，所以这方面似乎是可行的。
浏览 13提问于2022-07-02得票数 1
回答已采纳
我将时间序列数据存储在每日生成的DynamoDB表()中。这些表的命名惯例是"timeseries_ 2019-12-20 "，其中2019-12-20为当前日期。我想以CSV格式将前一天表发送到S3桶。推荐的方法是什么？我在看AWS Glue，但不知道如何让它每天找到新的表名。也许有云观察事件的lambda函数会更好？DynamoDB表的大小不大，存储了几百个数字。
浏览 4提问于2019-12-21得票数 0
回答已采纳
1回答
使用AWS Glue，我知道每当模式更改时，爬虫就会创建一个新的表。当我们的模式发生变化时，这导致了爬行器创建了许多新表，正如我们所期望的，但并不完全符合我们的要求.最终，我们希望爬虫检测最新的模式，并将该模式应用于我们正在s3桶中爬行的所有数据，只输出一个表。我们(可能是错误的)假设通过使用Avro，这不会成为一个问题，因为爬虫可以将具有给定默认值或空值的新模式字段应用到旧数据(使用Avro的好处)，并且只输出一个表，然后我们可以使用AWS Athena进行查询
浏览 0提问于2018-02-09得票数 14
2回答
可以在Python 框架中使用.NET框架从不同的站点抓取数据吗？我正在做我的最后一年的项目，在这个项目中，我想使用C#作为前端语言，并使用Python来抓取数据。
浏览 0提问于2014-05-07得票数 4
嗨，我想做一个网页爬虫，检查URL的数据，如果我做一个简单的Gui，使脚本更容易查找变量的数据，添加代码的gui会使我的网络爬虫效率降低吗？
我需要爬虫尽可能高效，能够尽可能快地处理数据。为这个Python脚本制作一个gui，会不会妨碍web爬虫的性能？
浏览 3提问于2015-01-27得票数 0
回答已采纳
我有一个python爬虫，每隔几分钟就抓取几个网页。我现在正在尝试实现一个可以通过web访问的用户界面，并显示爬虫获得的数据。我将使用php/html作为接口。无论如何，用户界面需要某种类型的按钮来触发爬虫程序立即抓取特定的网站(而不是等待下一次抓取迭代)。
现在，有没有一种方法可以将数据从php脚本发送到正在运行的python脚本？然后我在考虑使用一个共享文件，php在其中写入数据，python从中读取数据。但是，我需要一些方法来让python脚本知道，新数
浏览 1提问于2011-03-31得票数 1
1回答
例如，根据一些作者的说法，要索引tt_news，我只需要一个通用的爬虫配置和一个用于tt_news的indexed_search配置；但是对于其他教程的作者，我应该为tt_news创建一个爬虫配置。根爬虫配置在找到indexed_search配置时就运行它，难道还不够吗？或者，URL是否需要同时由两者生成？我已经设法使用一个爬虫根配置创建了一个索引，但是我通过我自己的调用cli_dispatch.phpsh的shel
浏览 5提问于2017-04-26得票数 1
我用Python2.7编写了大量的Scrapy爬行器。我需要将它们全部转换为支持Python 3，这种转换必须在1 go内完成。我只能在Python 3爬虫做好部署准备之后才能开始使用。现在，由于“所有操作都必须保持活动状态”，我需要一个单独的Python 3爬虫的远程分支。这个分支可以称为Remote-B。我手动创建了这个分支，所以整个存储库现在有两个分支: Master(Remote-A)和Python3爬虫(Remote-B)，后者是主分支的一个
浏览 3提问于2019-09-10得票数 0
回答已采纳
1回答
我正在制作一个爬虫来找出最近添加的youtube视频，当我的爬虫到达旧视频(在前一个转弯中爬行)时，我想停止爬虫。我使用的不是scrapy和漂亮的汤，我使用的是python库。请给我推荐任何选项
浏览 9提问于2017-06-27得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
