1回答
我想在HTML页面中有条件地添加元标记，我不确定这样做是否可以或者甚至不使用jQeruy ready。给出了这个例子。if(myHost.startsWith("techstag")) {}
浏览 1提问于2020-01-06得票数 1
2回答
到目前为止，我能够发现网络爬虫/蜘蛛可以用来从网页上删除数据。但我不确定网络爬虫在我们需要用户登录并且页面urls是加密的，或者至少是动态生成的urls的情况下是否有用。如果爬虫是这个问题的解决方案，请提供一些我可以在我的.net应用程序中使用的web爬虫API的链接。Atif
浏览 4提问于2011-09-09得票数 0
回答已采纳
1回答
我想使用CSS显示表代替JS，用于HTML元素的垂直对齐和等高，但是我不确定这是否有任何SEO含义，爬虫会尝试以这种方式解释以表格数据方式显示的元素的内容，还是会忽略它并将其解释为正常的内容？
浏览 0提问于2014-02-07得票数 1
我的Laravel5.6应用程序有一个Vue.js前端。Vue.js应用程序位于资源目录中。我已经读过几篇使用Prerender SPA插件的文章。这些文章是为独立的vue.js应用程序编写的，并且有一个index.html文件。在Laravel的例子中，我们有index.php。我如何使我的Laravel Vue.js应用程序SEO自由。
浏览 1提问于2018-07-20得票数 3
我使用网络收获来获取HTMLs，但是我发现我得到的和浏览器中的略有不同。html中的几个数字被一个破折号(-)替换成了用web采集爬行的HTML中的数字。我保证我的浏览器中的URL和web采集中的http请求中的URL是相同的。我怎么才能让它工作呢？
浏览 0提问于2014-09-23得票数 1
我的Mozilla (用Addon编码)需要在表单提交到网页服务器之前以网页形式加密信息。我使用的加密库只能在lib/main.js中访问，并且要在网页上加密的信息是由内容脚本收集的。我的想法是让我的Addon用以下过程加密数据：
浏览 6提问于2013-11-18得票数 1
1回答
如果我写了一篇文章，他的链接是'example.com/abc.php‘&这篇文章在搜索引擎中排名靠前。 几天后，我更新了这篇文章，包括它的内容和'xyz.php‘的永久链接。 现在，之前URL为'example.com/abc.php‘的帖子被更新为'example.com/xyz.php’。 那么搜索引擎将如何知道这是与URL example.com/abc.php排名相同的页面/帖子。并且需要将搜索结果中的链接更新为“example.com/xyz.php”，而不影响排名。 在更新固定链接之前和之后，在为搜索引擎创建一个唯一标识页面的新帖子时，有
浏览 35提问于2021-01-25得票数 0
想知道谷歌网站爬虫是如何找到我的网站。假设我没有在谷歌索引的任何其他地方发布网址。
有人能解释一下吗？
浏览 2提问于2016-04-22得票数 0
回答已采纳
1回答
我主要是和Next.js一起为网络项目工作。工作要求我从事一个使用Nuxt.js (v2)的项目。
我开始读努克斯特的书。在过去的几天里，从翻阅文档到现在，仍有几个问题悬而未决。这看起来相当简单，与在构建时使用Next.js进行纯静态站点使用getStaticProps()来获取数据并没有太大的不同。动态数据获取和身份验证可以在客户端进行，就像SPA一样。Server-Side呈现(关于下一步)：对于Next.js来说，这也很简单，每次请求页面时，getStaticProps()都会阻止它呈现，直到它能够用服务器本身的上的
浏览 6提问于2022-07-02得票数 0
回答已采纳
2回答
return Redirect("/h");
return View();
问题:如果我限制一些浏览器访问我的主视图，它也会限制对网络爬虫的访问吗
浏览 0提问于2013-02-21得票数 0
回答已采纳
2回答
Facebook在发送动作post请求时需要对象的url。现在，我的应用程序只允许授权用户，我将用户重定向到登录页面，它将重定向回用户请求的页面。
浏览 1提问于2012-03-26得票数 2
1回答
我正在使用Abot库来抓取网页。爬虫可以正确地请求页面，但问题是几乎所有内容都是通过knockout.js动态加载的。爬虫程序目前无法请求此内容，这导致只加载了页面的一小部分。
浏览 12提问于2019-07-09得票数 0
我有一个站点，它的根目录是，任何到的流量都被重定向到。在网站管理员工具中，我将站点添加为，但我只在/blog目录和其他静态页面上获取谷歌。对吗？有人能验证一下这是否会达到我想要达到的目的吗？Allow: /$
浏览 1提问于2015-11-18得票数 0
回答已采纳
我知道您可以禁止爬虫中的: /page1.cfm，但是如果我只想禁止该页面的一部分，比如该页面上存在的链接或联系人表单，该怎么办？这种功能有可能实现吗？根据我最近读到的一些论坛，"nofollow“功能不再有效，因为爬虫变得更智能了。(我不知道那个论坛的可信度如何，所以如果有人有更好的来源，请分享)
有什么建议吗？
浏览 2提问于2012-06-02得票数 1
回答已采纳
我正在编写一个多线程的Java网络爬虫。根据我对网页的理解，当用户加载网页时，浏览器请求第一个文档(例如，index.html)，当它接收到超文本标记语言时，它会找到需要包括的其他资源(图像，CSS，JS)，并同时请求这些资源。我的爬虫程序只请求原始文档。由于某些原因，我不能让它每5秒抓取超过2到5页。我正在为我制作的每一个HttpURLConnection创建一个新的线程。看起来我应该至少能够每秒抓取20-40页。
浏览 1提问于2009-09-04得票数 2
回答已采纳
1回答
我在S3中有一个加密的文本文件。我希望使用AWS Glue将这些数据加载到RDS Aurora。
如果不是，什么最好的方式来摄取加密的数据到AWS胶，而不解密它。
浏览 0提问于2019-04-30得票数 1
回答已采纳
2回答
当抓取一个网页时，网页的结构一直在变化，我的意思是它的动态性导致我的爬虫停止工作。是否有一种机制可以在运行完整的爬虫程序之前识别网页结构的变化，以便识别结构是否已经改变。
浏览 32提问于2020-09-28得票数 0
1回答
我用c# (使用Microsoft WebCrawler)编写了一个简单的网络爬虫项目，它可以下载特定站点的内容。正如Marcom建议的那样，我从我的网页爬虫和网页浏览器上看到了小提琴的响应。当我的网页爬虫导航到网页时，他会在与网页相反的一个仿真器上接收假信息。
有线索吗？
浏览 1提问于2011-03-11得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
