腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
这是一个搜索引擎优化错误,没有
加载
谷歌-搞笑
js
的
爬虫
?
、
不会为
爬虫
加载
google-analitics
js
会导致问题吗?这对SEO不好吗?我找不到关于这件事
的
多少信息。
浏览 0
提问于2017-09-19
得票数 1
1
回答
在性能方面,为什么facebook不一次
加载
所有的
JS
文件?
、
登录后,我查看了facebook中
的
html代码,他们似乎对
JS
文件做了很多请求(根据firebug,多达20个)。所以,虽然我知道facebook需要
加载
许多
JS
和CSS文件(而不是一个
JS
和一个CSS文件),但我
的
问题是更通用
的
网站和网络
爬虫
的
状态。我们应该担心这些技术(通过ajax
加载
主要内容)会影响网络
爬虫
(googlebot和朋友)吗?我想提高性能,
加载
“稍后需要”<em
浏览 2
提问于2013-03-18
得票数 3
1
回答
在Python中执行网页上
的
Javascript方法
、
、
我正在为一个特定
的
网页写一个网页抓取器,我正在用"urllib2.Request( MyURL )“和"BeautifulSoup”来做这件事,但问题是在myURL中有一个页面分页,下一个页面通过点击一个链接
加载
(在相同
的
myURL/页面中),这个链接后面是javascript方法,写成 { javascript:__doPostBack('rptPagingBottom$ctl01$btnPage','')现在,如果不从Python执行这个Javascript函数,我就
浏览 2
提问于2012-11-19
得票数 8
回答已采纳
1
回答
在同构React上处理SEO
、
、
、
、
我正在使用React & Node
JS
来构建通用应用程序()。我也使用反应头盔作为库来处理页面标题,元,描述等,但我有一些问题,当我使用ajax动态
加载
内容时,谷歌
爬虫
无法正确
获取
我
的
网站,因为内容将被动态
加载
。有什么建议来解决这个问题吗?谢谢!
浏览 1
提问于2016-09-26
得票数 0
2
回答
使用node.
js
创建启用javascript
的
web
爬虫
、
这不一定是一个
爬虫
,但我想它更容易理解说明
的
方式。我想在node.
js
中执行同样
的
任务。as
的
res.render似乎不接受html-string作为输入。如何用节点模拟浏览器
的
javascript呈现能力?假设node
浏览 2
提问于2015-02-01
得票数 2
4
回答
如何通过
爬虫
php
获取
悬停数据(Ajax)
、
、
、
我正在抓取一个网站
的
数据。我能够在一个页面上显示完整
的
内容。但页面上
的
一些数据是在一些图标上悬停并显示为工具提示后出现
的
。所以我也需要这些数据。有没有可能用任何
爬虫
。
浏览 3
提问于2012-03-30
得票数 3
回答已采纳
1
回答
更好
的
策略,当来自web
的
光标与他不同时更新CursorAdapter
的
数据库
、
、
、
我正在构建一个网络
爬虫
,它从web上
获取
数据,存储到
数据库
中,然后使用CursorLoader从
数据库
中
获取
这些数据并放入CursorAdapter中。然后,我有一个异步任务负责定期从web上
获取
数据,但我想只更新新
的
项,而不是重写整个
数据库
,但有一个问题:为了只更新较新
的
项,我需要
加载
这些项。当然,我不想
加载
它们两次,所以我需要使用我
的
CursorLoader,并且只有在Curs
浏览 0
提问于2016-05-15
得票数 0
2
回答
如何从网站中提取动态生成
的
HTML
、
、
、
、
是否可以像Firebug
的
HTML或Chrome DevTools中显示
的
那样提取页面的HTML?我必须抓取很多网站,但有时信息不是在静态源代码,一个JavaScript运行后,页面
加载
和创建一些新
的
HTML内容动态。如果我然后提取源代码,这些内容就不存在了。我有一个用Java构建
的
web
爬虫
来完成这个任务,但是它使用了很多旧
的
库。因此,为了学习目的,我想转到Rails/Ruby解决方案。我已经和i和玩过了。
浏览 2
提问于2014-07-21
得票数 0
回答已采纳
1
回答
服务端渲染如何帮助
爬虫
?服务器端渲染和客户端渲染哪个更好?
、
、
、
我正在阅读angular
的
服务器端渲染文档,因为它们提到服务器端渲染是帮助
爬虫
。我知道在服务器端渲染
爬虫
可以获得整个dom,但
爬虫
也可以与组件交互,那么它如何帮助
爬虫
呢?从安全
的
角度来看,服务器端渲染和客户端渲染哪个更好?我也为react读到了同样
的
东西。
浏览 18
提问于2019-09-15
得票数 0
2
回答
搜索引擎误解
、
、
如果我有一个从
数据库
加载
内容和/或更改内容
的
页面,那么搜索引擎会抓取由
数据库
和jquery
加载
的
内容吗?? 非常感谢你
的
帮助!
浏览 0
提问于2012-04-04
得票数 2
3
回答
如何防止昂贵
的
API被
爬虫
和
爬虫
吃掉?
我使用
的
API非常昂贵。每次通话
的
费用约为1美分。我注意到,来自蜘蛛和
爬虫
的
访问产生了对该API
的
数千次调用,而我正在为这些调用收费。有没有办法阻止显示由API生成
的
内容
的
网页部分,即只有实际
的
访问者才能看到它,并且在抓取网页时不会生成API调用?
浏览 1
提问于2016-10-23
得票数 2
1
回答
未定义
的
Apache服务器错误rdbmmap
、
几天后,我在服务器错误日志中得到了以下错误消息: 虽然网站
的
加载
是正确
的
。
浏览 0
提问于2017-09-10
得票数 0
1
回答
C#
爬虫
程序无法
加载
动态内容
、
、
、
爬虫
可以正确地请求页面,但问题是几乎所有内容都是通过knockout.
js
动态
加载
的
。
爬虫
程序目前无法请求此内容,这导致只
加载
了页面的一小部分。我试着让程序等待,希望动态
的
请求无论如何都会被发送,但这似乎不起作用。如何才能使crawler请求所有数据? 谢谢!
浏览 12
提问于2019-07-09
得票数 0
1
回答
谷歌抓取/索引“计算
的
”或原始
的
html源代码吗?
、
、
我有一个独特
的
情况,我有几个页面在多个页面中“分页”(通过WordPress
的
“下一页”功能)。相同
的
内容,分布在两个或更多页面上,如下所示:http://mysite.com/mypage/2因此,页面本身有一个html页面标题标记<title>My Page</title>,但
浏览 4
提问于2013-06-22
得票数 2
1
回答
如何从crawler
获取
数据到我
的
站点?
、
、
从外部
爬虫
获取
数据到我
的
数据库
的
最好方法是什么,到我
的
网站我在LAMP环境中工作,web服务是个好主意吗?
爬虫
每15分钟运行一次。
浏览 2
提问于2009-06-15
得票数 0
回答已采纳
1
回答
使用IIS重写规则重定向到仅供
爬虫
使用
的
静态内容
的
SEO后果
、
、
、
要解决这个问题,我
的
想法是使用IIS重写规则来重定向到静态生成
的
内容(使用Nuxt),如果您
的
用户代理是已知
的
爬虫
。如果出于某种原因,一个真正
的
用户偶然到达页面,我可以将他们重定向回实际内容。 在技术层面上,这不是问题。然而,如果有一个重定向,谷歌不是索引静态内容URL而不是真正
的
URL (所需
的
) url吗?
浏览 0
提问于2019-04-18
得票数 0
回答已采纳
2
回答
为什么Google不索引我
的
AJAX
获取
的
内容?
、
我有一个使用ReactJS构建
的
网站,我试图在componentDidMount方法中添加一个使用AJAX
获取
数据
的
新页面。该页面有一些静态组件,例如导航条和页脚,它在
获取
数据之前显示一个
加载
程序,但奇怪
的
是,当我提交url作为Google进行抓取时,它显示
的
是一个完全空白
的
页面。对我来说,这似乎很奇怪,因为我预期如果Google不等待我
的
AJAX调用
的
返回,它至少应该向我展示作为Google结果
的
浏览 5
提问于2017-08-29
得票数 0
回答已采纳
1
回答
包含异步内容
的
博客搜索引擎优化
、
我
的
网站,是建立在角8,采取了部分
的
URL路线,并使用它来搜索博客。我计划使用一个sitemap.xml来引导
爬虫
到HTML页面,而不是静态
的
标记。
浏览 0
提问于2019-08-20
得票数 1
1
回答
如何将Python Scrapy扩展
的
数据插入到MySql
数据库
表中?
、
、
、
我正在为Python Scrapy构建一个扩展,以
获取
爬虫
相关
的
详细信息,如开始时间、结束时间、
爬虫
状态(打开、关闭或活动)。现在我需要在我
的
MySql
数据库
表中存储当前
的
时间戳。有人能帮我吗?我需要一个代码来连接MySql
数据库
从剪贴画代码,并做
数据库
相关
的
查询,如插入,选择等。谢谢..
浏览 3
提问于2013-10-14
得票数 0
3
回答
如何使google bots用动态url爬行我
的
反应网站并在google中显示它们
、
、
、
我有这个网站,我们可以创造新
的
问题。每当一个新
的
问题被创建,一个新
的
url生成,我希望谷歌爬我
的
网站,每次添加一个新
的
问题,并显示在谷歌。由于我使用
的
是javascript,而且我
的
urls都是动态生成
的
,所以google不会爬行或索引它们。目前,我正在将所有动态
浏览 3
提问于2021-12-28
得票数 6
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
想获取JS加载网页的源网页的源码,不想获取JS加载后的数据
js获取节点方法的封装
如何用js实现加载上升的loading效果
JS常用获取时间的方式汇总
JS获取Shadow DOM中的节点
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM
活动推荐
运营活动
广告
关闭
领券