我有来自服务器的apache日志，我使用python脚本过滤了来自bots/爬虫/刮刀器的访问，该脚本检查包含“bot”、“googlebot”等文本的用户代理字符串。我正在考虑过滤掉特定的IP地址，当我在他们的IP地址上执行msnbot时，我检测到它们是rDNS，但是当我向一位同事展示这一点时，他觉得微软的bingbots没有报告他们的用户代理，比如IE私有浏览或者必应的安全网站爬虫
浏览 0提问于2011-06-02得票数 1
回答已采纳
1回答
弹性豆杆不运行的克隆约伯
、、、、
我在一个弹力豆茎应用程序上有一个抓取器，我可以像这样运行SSH：
我想帮我安排一个任务来处理这个问题。Cron won't r
浏览 0提问于2015-04-13得票数 0
1回答
例如，我可以向防火墙后面的安全网络发送一个映像文件(即ubuntu + tools)，但我不能使用代理，因为它由于有毒的限制而无法工作(例如，我无法下载安全更新以确保其安全)。如何在使用Dockerfile构建映像时调用kaniko来使用这个基本映像--假设这些文件将位于文件系统的某个位置--例如，我希望使用标准图像+我的源代码和一些配置来部署自定义Python应用程序。我的基本图像python将在安全网络中，对卡尼科可见。CMD ['sleep',
浏览 14提问于2022-04-29得票数 0
我将时间序列数据存储在每日生成的DynamoDB表()中。这些表的命名惯例是"timeseries_ 2019-12-20 "，其中2019-12-20为当前日期。我想以CSV格式将前一天表发送到S3桶。推荐的方法是什么？我在看AWS Glue，但不知道如何让它每天找到新的表名。也许有云观察事件的lambda函数会更好？DynamoDB表的大小不大，存储了几百个数字。
浏览 4提问于2019-12-21得票数 0
回答已采纳
6回答
我需要添加完整的网络搜索到我的网站。我需要像谷歌自定义搜索，但没有广告，它必须是免费的东西。任何建议的网络服务或开源项目，可以索引我的网站，并允许我搜索它将是有帮助的。我会把这个问题写在社区维基上，这样你就可以编辑我糟糕的英语了。我认为很多人都可以从这个问题中受益。
浏览 3提问于2008-10-08得票数 8
回答已采纳
2回答
可以在Python 框架中使用.NET框架从不同的站点抓取数据吗？我正在做我的最后一年的项目，在这个项目中，我想使用C#作为前端语言，并使用Python来抓取数据。
浏览 0提问于2014-05-07得票数 4
我有一个python爬虫，每隔几分钟就抓取几个网页。我现在正在尝试实现一个可以通过web访问的用户界面，并显示爬虫获得的数据。我将使用php/html作为接口。无论如何，用户界面需要某种类型的按钮来触发爬虫程序立即抓取特定的网站(而不是等待下一次抓取迭代)。
现在，有没有一种方法可以将数据从php脚本发送到正在运行的python脚本？然后我在考虑使用一个共享文件，php在其中写入数据，python从中读取数据。但是，我需要一些方法来让python脚本知道，新数
浏览 1提问于2011-03-31得票数 1
嗨，我想做一个网页爬虫，检查URL的数据，如果我做一个简单的Gui，使脚本更容易查找变量的数据，添加代码的gui会使我的网络爬虫效率降低吗？
我需要爬虫尽可能高效，能够尽可能快地处理数据。为这个Python脚本制作一个gui，会不会妨碍web爬虫的性能？
浏览 3提问于2015-01-27得票数 0
回答已采纳
我用Python2.7编写了大量的Scrapy爬行器。我需要将它们全部转换为支持Python 3，这种转换必须在1 go内完成。我只能在Python 3爬虫做好部署准备之后才能开始使用。现在，由于“所有操作都必须保持活动状态”，我需要一个单独的Python 3爬虫的远程分支。这个分支可以称为Remote-B。我手动创建了这个分支，所以整个存储库现在有两个分支: Master(Remote-A)和Python3爬虫(Remote-B)，后者是主分支的一个
浏览 3提问于2019-09-10得票数 0
回答已采纳
1回答
我正在制作一个爬虫来找出最近添加的youtube视频，当我的爬虫到达旧视频(在前一个转弯中爬行)时，我想停止爬虫。我使用的不是scrapy和漂亮的汤，我使用的是python库。请给我推荐任何选项
浏览 9提问于2017-06-27得票数 0
尝试将任何Bluemix应用程序绑定到预配置的安全网关服务时，安全网关不在可以绑定到应用程序的服务列表中。nodejs应用绑定到安全网关实例有没有不同的方式？
浏览 13提问于2017-07-03得票数 0
我使用具有无限循环的python制作了一个简单的爬虫，所以它不能停止。随机延迟17 ~ 30，这个爬虫爬行相同的一个页面，并找到'href‘链接，定期更新，并存储到Mysql。因为我使用了Linux命令这个爬虫是在Ubuntu服务器背景下运行的。我想它已经运行了大约4个小时。但爬虫突然停止了。第二天我再试一次。
浏览 1提问于2014-05-20得票数 0
回答已采纳
1回答
我正在使用python中的scrapy框架制作一个web爬虫。其主要思想是，爬虫从页面中提取一些数据，如果数据符合某些条件，爬虫应该提取其当前所处的URL。是否有一些方法/函数可以获得当前的URL？
浏览 5提问于2016-11-27得票数 0
回答已采纳
我正在尝试使用安全网关连接到现场Server到DataWorks。我已经创建了安全网关(安装在我的PC上的客户端，并可以连接到它)。当我转到dataworks -> tasks -> Create connection -> Microsoft时，完成这些字段，然后单击“connection"，就会得到以下错误：
连接属性的验证失败，并报告使用安全网关访问系统失败。CDIC
浏览 4提问于2016-06-13得票数 0
我正在使用Bluemix上的一个安全网关应用程序来创建虚拟机和Bluemix之间的安全网关隧道。我已经在虚拟机上安装了安全网关客户端，并为应用程序打开了端口。我创建了一个安全网关，并在Bluemix上配置了目的地详细信息。当我登录到VM并连接到安全网关客户端时，我会收到以下错误消息：
[2016-04-05 20:37:04.577[INFO]
浏览 8提问于2016-04-06得票数 0
回答已采纳
1回答
我需要创建一个爬虫与客户端在每个台式机和一个中央服务器，其中的数据是索引。有没有可能在Nutch中创建这样的爬虫？还有没有别的选择。基于Python的爬虫会更好。
浏览 2提问于2011-07-04得票数 0
回答已采纳
爬虫的常见输出格式是什么？它会是XML，JSON吗？或者它会根据爬虫的不同而不同，例如: Python，Java？
浏览 0提问于2012-08-20得票数 0
回答已采纳
2回答
一些服务器具有robots.txt文件，以阻止web爬虫在其网站中爬行。有没有办法让网络爬虫忽略robots.txt文件？我正在为python使用Mechanize。
浏览 1提问于2011-12-05得票数 14
回答已采纳
我用python编写了一个爬虫，它可以访问60多个网站，解析HTML，并将数据保存到数据库。哪一个更有效率？无限循环还是cron作业？
浏览 7提问于2021-05-14得票数 0
云服务器
ICP备案
即时通信 IM
对象存储
云直播
腾讯云开发者
