1回答
我想我会写一个爬虫，从www.wordreference.com获取单词。我在机械化爬虫框架中使用Python。这个网站有没有可能有防爬虫机制？
浏览 5提问于2011-04-07得票数 1
回答已采纳
我将编写数百个爬虫来抓取不同的静态网页，所以我选择Scrapy来帮助我完成我的工作。
在工作过程中，我发现大多数网站都很简单，不会防蜘蛛。我想知道哪些型号的爬虫加载和使用DOWNLOAD_DELAY参数，以及如何编写程序在检测服务错误时自动增加DOWNLOAD_DELAY (爬虫请求太频繁)。
浏览 2提问于2019-01-17得票数 1
如何使用爬虫来点击执行js代码的链接，这个链接没有HREF属性。爬虫可以通过客户端在页面上执行js代码吗？
浏览 82提问于2021-02-03得票数 0
1回答
如何防止未经授权保存到数据库？
、、、、
我正在构建一个简单的点击器游戏，可以在线玩。 游戏通过执行对php脚本的Ajax post调用，将点击保存到我的数据库中。我将点击保存到本地存储，我知道这是另一个人们可能作弊的地方。 我该怎么做才能只允许来自我的服务器的帖子？
浏览 7提问于2021-09-08得票数 1
1回答
我对面向公共的站点(登录/身份验证后没有任何内容)感兴趣，这些站点的内容如下：
非语义的，或无效的标记我已经建立了一个爬虫/蜘蛛，执行一系列的分析在网站上，我在寻找网站，将使它的斗争。
浏览 1提问于2013-09-12得票数 11
嗨，我有一个基本的蜘蛛，运行来获取给定的域上的所有链接。我希望确保它保持其状态，以便可以从它离开的地方恢复。当我第一次尝试时，我遵循了给定的url .But，它运行得很好，我以Ctrl+C结束它，当我试图恢复它时，爬行会在第一个url上停止。2016-08-29 16:51:08 [scrapy] INFO: Dumping Scrapy stats: 'downloader/request_count': 4,
'downloader/request_m
浏览 20提问于2016-08-30得票数 3
2回答
Hi，我正在编写一个函数测试，我想知道如何对一个按钮执行简单的单击，我有一个隐藏的表单，显示在按钮单击后$button = $crawler->filter('button
浏览 4提问于2015-03-19得票数 4
回答已采纳
我正在使用Appium 1.4.16在真正的android设备中自动存储在我的系统中的apk文件。我使用的是java-client 3.4.1，代码如下：
capabilities.setCapability("dev
浏览 0提问于2016-06-03得票数 1
1回答
我想了解Googlebot (和其他爬虫)如何爬行我的网站。具体而言，它是否传递一个document.referrer，如果它维护localStorage密钥，那么我通过Google实现了一个脚本，该脚本检测这些爬虫并将数据记录到Logstash。这是我用来检测爬虫用户代理的条件(为爬虫返回true )：if(navigator.userAgent.indexOf('robot de Google') < 0 &&;
js = d.cr
浏览 0提问于2018-02-09得票数 4
回答已采纳
我有一个结果页面，结果是用ajax加载的，这意味着分页按钮正在调用JS。链接到结果页是美丽的‘/结果/销售/06589’，我会引导谷歌到这个页面，但有没有办法让爬虫机器人点击分页按钮。
浏览 0提问于2011-06-04得票数 1
3回答
我正在使用php和jquery开发一个非常、非常基本的回合制游戏，我正在寻找两种不同的方法来跟踪当前用户的分数：
1) global javascript variables -例如js开头的var currentScore我试图在a)加载速度和b)使分数防篡改之间取得平衡。我认为本地javascript会更快，更少的加载时间，但mysql记录会更防篡改。有没有人有任何建议，关于哪个更快，哪个更防篡改，或者可能有其他我没有列出的实现方法？
浏览 1提问于2012-11-28得票数 2
回答已采纳
总的顺序如下：foo.js做的事现在，在一个完美的世界中，我希望看到对foo.js和bar.js然而，bar.js只加载了94%的时间。我想知道，考虑到bar.js延迟1到2秒的事实，这种差异在多大程度上可以归因于站点放弃。
浏览 0提问于2011-06-29得票数 4
6回答
我怎样才能过滤掉网络爬虫等非人类的点击。
我使用maxmind.com向IP请求城市。这并不是很便宜，如果我必须支付所有的点击，包括网络爬虫，机器人等。
浏览 3提问于2011-12-07得票数 33
回答已采纳
我正在使用js爬虫来抓取网站，现在我遇到了CNN，的那一部分(基于某种原因动态生成的urls)。事情是爬虫，不要真正接触脚本-我应该如何解决它？除了我的node.js爬虫之外，我还应该编写自己的代码吗？是否有先进的爬虫知道如何处理这种动态行为？
浏览 1提问于2016-07-23得票数 2
回答已采纳
假设我有一个塔楼和一个生物爬虫(如果你猜不到的话是塔防游戏)，它们的位置都由(object).position.x和(object).position.y表示，其中position是一个向量。
浏览 1提问于2013-01-31得票数 0
我们在我们的服务器上收到来自Facebook IP地址的请求，这些地址不会在广告管理器中显示为点击。我们想知道这是因为Facebook通过他们的服务器重新路由流量，还是Facebook使用了某种爬虫来测试广告中链接的页面？
对于我们的内部统计数据，我们希望只计算真实的访问量。
浏览 2提问于2018-06-01得票数 0
1回答
我已经编写了一个爬虫应用程序，它打开给定的网页，并将HTTP请求和存储在excel表中。所以简单地说，我如何让我的爬虫点击按钮？
浏览 2提问于2013-11-09得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
