我计划为它写一个网络爬虫和一个基于网络的前端(或者至少是它找到的信息)。我想知道是否可以使用Django框架让网络爬虫使用与网站相同的MySQL后端(而不是让网络爬虫本身成为“网站”)。
浏览 1提问于2009-06-04得票数 1
回答已采纳
1回答
我对strapi和gatsby之间的区别有一点困惑。 两者一起使用还是选择其中之一好呢？ 如果它们一起使用，它们是如何协同工作的(背后的机制)？ 什么时候以及在什么情况下一起使用它们？
浏览 51提问于2021-08-01得票数 0
3回答
第三:向用户公开一个基于Django的前端，让他们搜索抓取的数据。基本上--对于用Django或现有的python爬虫编写我可以适应的爬虫有什么建议吗？不过，我真的需要一些可以从前端快速搜索的东西。
浏览 0提问于2009-06-09得票数 2
登录后，我查看了facebook中的html代码，他们似乎对JS文件做了很多请求(根据firebug，多达20个)。所以，虽然我知道facebook需要加载许多JS和CSS文件(而不是一个JS和一个CSS文件)，但我的问题是更通用的网站和网络爬虫的状态。我们应该担心这些技术(通过ajax加载主要内容)会影响网络爬虫(googlebot和朋友)吗？我想提高性能，加载“稍后需要”的内容(text/js/css)似乎是个好主意，但如果<e
浏览 2提问于2013-03-18得票数 3
3回答
我试图在C++中做一个非常简单的网页爬虫/蜘蛛应用程序。我一直在使用谷歌搜索一个简单的，以了解这个概念。我发现了这个：
然而，这是复杂的理解对我来说，因为我开始学习C++大约一个月前。
浏览 15提问于2010-11-25得票数 22
回答已采纳
3回答
我在前端使用框架将我的博客创建为单页面应用程序。为了进行查询，我在后端使用了rest API和Django。由于所有内容都是使用javascript代码呈现的，当爬虫访问我的博客时，它们看到的只是一个空页面。我正在考虑查看用户代理，每当用户代理来自爬虫时，我都会将页面的渲染版本提供给它，但我在实现上述方法时遇到了问题。为网络爬虫创建一个在后台SEO友好的rest API和Django的单页应用程序的最佳实践是什么？
浏览 0提问于2017-08-16得票数 1
我试图为控制器编写测试，而不是依赖于输出HTML (前端开发人员无疑会对此进行修改)，我希望确保前端开发人员拥有他们需要的所有数据。
如何在PHPUnit测试中访问传递给模板的数据数组以便进行验证？我知道我可以假装呼叫控制器，而不是使用网络爬虫，但这是最好的方法吗？
浏览 1提问于2016-08-08得票数 1
回答已采纳
3回答
用PHP解释JavaScript
、、、、
我的第一个想法是使用node.js，但由于node.js可以访问套接字、文件和其他东西，我想我更愿意避免这样做。的基本原理：--我正在用进行屏幕抓取，并且遇到了许多情况，其中的数据是由JavaScript在前端生成的，我想避免编写专门的过滤函数，以便在每个案例的基础上对JavaScript进行操作，因为这需要很多时间否决：--我不知道这个问题有什么争议，现代的网络爬虫都知道，唯一的区别是它们往往不是用PHP编写的。1
浏览 6提问于2010-12-02得票数 15
回答已采纳
2回答
我必须运行微爬虫，这是一个爬虫网络应用程序，与node.js运行。我不知道如何打开这个应用程序，我下载了node.js，当我在node.js命令行中编写install npm和install bower时，什么也没有发生。我也不知道如何在安装后启动web应用程序。
浏览 2提问于2014-09-28得票数 1
2回答
return Redirect("/h");
return View();
问题:如果我限制一些浏览器访问我的主视图，它也会限制对网络爬虫的访问吗
浏览 0提问于2013-02-21得票数 0
回答已采纳
1回答
我已经开发了一个网络爬虫，爬行以启动URL作为种子参数。如果可能的话，我希望允许用户根据作业来安排此任务。
目前我正在使用Spring 3.1.2和Hibernate。我需要给用户一个前端，它接收cronJob参数，并在此基础上运行爬虫。可以用弹簧来做吗。
浏览 6提问于2012-08-28得票数 5
回答已采纳
我目前想部署一个网站排名API，为此，我需要一个网络爬虫。事情是，我想让网络爬虫运行24/7，以便它可以不断更新网站。但是，对于Heroku这样的服务，一个小时后服务器就停止了。我如何宿主一个总是在Heroku上活动的Node.js脚本。如果不可能，我还能做些什么呢？
浏览 0提问于2021-01-21得票数 1
回答已采纳
我正在寻找一个web应用程序，它可以以与搜索引擎非常相似的方式从网络上收集数据，但它不会将结果作为标题和摘要的列表，而是将结果转储到一个表中，试图从其内部索引中的页面中提取元数据。(很久以前，谷歌有一个叫做Google Squared的网络应用程序。今天还有其他类似的工具吗？这是维基百科页面中的相关描述: Google从整个网络中提取结构化数据，并以类似电子表格的格式显示其结果。每个搜索查询返回一个搜索结果表，其中有自己的一组列--与搜索主题相关联的公共属性。
浏览 0提问于2023-02-07得票数 2
1回答
我一直在开发一个使用Backbone.js路由器的项目，所有数据都是通过restful请求由javascript加载的。服务器使用可索引数据呈现此页面，当用户访问此页面时，我可以手动初始化Backbone.js路由器。当用户在某个地方共享该网站的网址时，它将不是一个可索引的页面，而且web爬虫可能无法识别该网址的内容。另外，网络爬虫搜索页面中的额外字符串可能会让用户感到厌烦。我可以在服务器端从他们的用户代理中检测到流行的网络爬虫，比如谷歌、雅虎、必应、Facebook，
浏览 1提问于2013-01-06得票数 2
回答已采纳
1回答
我正处于一个我必须编写的程序的开始阶段，该程序将从我拥有的大型数据库中提取用户，并将其与任何类似于Whitepages电话簿的内容进行比较。这样做的原因是为了用更新的相关联系信息更新存储在我的数据库中的任何旧联系信息。到目前为止，我只接触过Whitepages Pro，它提供了一个API，允许我对他们的数据库运行一些查询，并返回我认为是最新的信息。我可以访问用户的电话号码、姓名和地址，因此最初的想法是将旧的电话号码+姓名与更新的数据库进行比较，以更正旧的数据。我的问题是，对于我的问题，这看起来是一个好的解决方案吗？Whitepages似乎是我唯一可以使用的工具(它确实花费了300美元，但如果它
浏览 1提问于2015-05-01得票数 0
我注意到，来自蜘蛛和爬虫的访问产生了对该API的数千次调用，而我正在为这些调用收费。有没有办法阻止显示由API生成的内容的网页部分，即只有实际的访问者才能看到它，并且在抓取网页时不会生成API调用？
浏览 1提问于2016-10-23得票数 2
我有反应网络应用程序。这是一个单一的页面应用程序，所以基本上有一个“空”HTML文件和一个JS包来完成这一切。我通过用户和机器人的User-Agent字符串来区分它们。所以这些都是可能的：ROBOT DESKTOP
浏览 0提问于2021-01-07得票数 0
回答已采纳
1回答
最近我一直在使用网络爬虫，我已经想出了如何搜索文本，但有没有办法让我的网络爬虫搜索其他东西，比如视频和图像，然后下载它们并组织它们。这是目前为止我的网络爬虫：var cheerio = require('cheerio');
var URL = require('pagesToVisit.push(baseUrl + $(this).attr('href&#x
浏览 3提问于2016-09-04得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
