3回答
我有一个页面，通过AJAX动态加载一节内容。我担心这意味着内容不会被搜索引擎找到。
为了向你展示我的意思，网站在，动态内容在 -通常没有人会访问第二个链接，它只是加载到第一个页面中。我知道我可以通过使用sitemap.xml告诉爬虫程序读取speakers.php，但然后我会在搜索结果中显示指向speakers.php的链接。我猜最终的解决方案是，如果有人请求/speakers.php，它会将他们重定向到主页，而让爬
浏览 3提问于2008-10-22得票数 1
回答已采纳
1回答
搜索引擎爬虫会使用Javascript和API调用来索引动态加载的内容吗？或者我必须通过服务器端编程(PHP、ASP等)加载此内容。
浏览 7提问于2012-09-03得票数 1
回答已采纳
我有不同的内容坐在不同的子领域，每一个在不同的框架和不同的数据库。饲料聚合器的目的是：
(这就是为什么我希望构建在web框架上的聚合器
浏览 2提问于2011-03-21得票数 0
我正在使用js爬虫来抓取网站，现在我遇到了CNN，的那一部分(基于某种原因动态生成的urls)。事情是爬虫，不要真正接触脚本-我应该如何解决它？除了我的node.js爬虫之外，我还应该编写自己的代码吗？是否有先进的爬虫知道如何处理这种动态行为？
浏览 1提问于2016-07-23得票数 2
回答已采纳
4回答
我正在抓取一个网站的数据。我能够在一个页面上显示完整的内容。但页面上的一些数据是在一些图标上悬停并显示为工具提示后出现的。所以我也需要这些数据。有没有可能用任何爬虫。我使用PHP和来解析/抓取页面。
浏览 3提问于2012-03-30得票数 3
回答已采纳
1回答
我正在做一些与网络爬虫相关的项目。一件重要的事情是提取发送给每个用户的HTML页面中的URL(在PHP运行之后)。由于网页可能是动态的，每个用户可能收到不同的HTML页面。我只是想知道是否有一种简单的方法在服务器端提取这些页面(实际上是这些URL)，然后才真正发送。我知道从技术上来说，作为服务器，我应该能够准确地知道我将要发送给我的用户的页面。我只是不知道该怎么做。我正在Apach
浏览 2提问于2015-06-04得票数 0
回答已采纳
1回答
我有一个关于预先录制用php构建的vue应用程序的问题( laravel或纯php，没关系)，我的问题是，如何使用动态内容进行预录制:例如:当我用vue和php创建博客以显示帖子时，我在vue应用程序中发出谷歌机器人和其他网络爬虫将如何读取我的网站内容
提前感谢
浏览 1提问于2019-09-17得票数 0
回答已采纳
详细问题可在此链接中找到- prerender能否解决这种特殊情况，以及如何解决？我的后端是用ruby on rails编写的。
浏览 1提问于2016-04-29得票数 0
我有一个网站，主要功能动态内容。每一段动态内容都有自己的网址，如"www.example.com/page/\*/\*“
我遇到的问题是，其中许多页面都需要用户登录。我读过关于AdSense爬虫登录的文章，并试图实现它。但是，我发现没有提到通配符或URL的正则表达式。据我所知，AdSense爬虫登录只支持静态URL。是否有任何方法来设置支持一系列动态URL的AdSense<em
浏览 0提问于2015-02-03得票数 3
我的网站是关于车辆的，而且车辆不是一个单独的文件夹。它会用GET和PHP动态加载--如果它“不存在”，Google可以爬行吗？
页面在?GET变量(如home.com/seevehicles?
浏览 0提问于2013-08-18得票数 0
回答已采纳
1回答
我有一个使用Laravel5.1框架编写的应用程序。最近，我的一个客户端对应用程序进行了Acunetix安全扫描，并在我的登录页面上找到了。所以我的问题是：
"_token“不是CSRF令牌元素的可识别名称吗？是否应该使用更可识别的名称向表单中添加另一个具有相同值的<
浏览 3提问于2016-05-06得票数 0
回答已采纳
我对基于PHP的网络爬虫有些怀疑，它能像基于java线程的爬虫一样运行吗？我之所以问这个问题，是因为在java中，线程可以一次又一次地执行，我不认为PHP有类似线程的功能，你们能说一下，哪个网络爬虫更能充分利用吗?基于PHP的爬虫还是基于Java的爬虫
浏览 1提问于2010-07-27得票数 0
回答已采纳
我想索引爬行网站到ElasticSearch，但我不知道，我可以索引爬行信息到ElasticSearch与php爬虫。我知道Apache可以将爬行网站索引到ElasticSearch，但是我对php爬虫一无所知！我可以在php web应用程
浏览 4提问于2013-05-12得票数 3
2回答
我遇到了一些问题，如果动态页面中不存在404重定向，我如何才能完成。
我正在从MySQL检索文章，在article.php上我有以下内容来检索页面的信息。，如果页面不存在，我想要显示一个404页面，问题是谷歌有我已经从MySQL删除的索引页面，但如果我试图进入该页面，它将显示article.php页面，但它将是空的，不会从MySQL检索数据，但问题是，即使该页面为空如何将重定向添加到我的404页面，如果我像这样输入内容，我知道下面的内容是有效的。，以改变我的</
浏览 1提问于2013-11-27得票数 1
就像Google和Firefox浏览器可以显示一个加载的网站页面所要求的所有链接一样，我想知道是否可以使用PHP获取一个网站页面所请求的所有链接。因此，如果web浏览器和其他应用程序能够做到这一点，我相信PHP也能做到这一点。
我不是在谈论从一个网站页面上写的链接。我希望看到所请求的这些链接.
浏览 3提问于2016-11-06得票数 0
回答已采纳
$("div#maincontent").children(":last-child").after(tip);});
编辑：，我想把它隐藏在搜索引擎中，但同时保持屏幕阅读器的可访问性
浏览 2提问于2010-06-22得票数 3
不要认为我疯了，我知道php是怎么工作的！
话虽如此。我开发个人网站，我通常利用php来避免在开发阶段的重复没有真正动态的东西，只包括菜单，几个foreach之类的。当开发阶段结束时，我需要将html文件中的网站提供给客户端。有没有工具(爬虫？)它可以帮我做到这一点，而不是访问每个页面并保存解释过的html？
浏览 2提问于2010-05-20得票数 0
回答已采纳
我正在尝试用Perl做一个简单的网络爬虫，但是很多网站都有动态内容加载，例如，使用javascript函数： $("#blabla").load('blublu/bla.php');因此，我正在尝试调整我已经拥有的网络爬虫(获取HTML内容)，以“等待”这些脚本加载，然后才获取整个(和完整)网站内容(HTML)。问题是，我对Perl编程和模块实现不是很在行，所以我想知道是否有
浏览 2提问于2013-01-15得票数 2
回答已采纳
1回答
我想从别人的经验中了解用Codeigniter创建站点地图的最好方法。我看过一些插件/库，但都会检查数据库中的页面。如果站点上的一些页面是静态的而不是动态的，会发生什么？有没有办法使用PHP抓取站点并创建一个包含结果的XML文件？这是一个用于创建站点地图的免费工具，并允许诸如cron作业之类的功能。
我的下一步是什么？
浏览 2提问于2011-11-22得票数 0
回答已采纳
1回答
我计划做一个responsive+mobile的第一个网页设计。所以我的计划是：
谁能告诉我，是否可以做SEO友好的条件加载使用Javascript？或者，我是否需要查看服务器端语言即PHP/ASP来使用设备检测加载内容？
浏览 6提问于2012-10-18得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
