腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
用于gwt应用程序的
爬虫
花费了太多时间
、
、
、
、
我有一个gwt应用程序,我需要为seo (为google抓取内容)进行优化,而且我一直在尝试许多解决方案,这些解决方案都不能满足我们的需求(返回
html
页面需要花费大量时间),试验如下: httpResp
浏览 3
提问于2013-10-31
得票数 0
1
回答
用Python3 (Scrapy,BS4)抓取网站确实会产生不完整的数据。找不到原因
、
、
print("ERROR requesting Price") try: page = response.url.split("/")[-2] filename = f'whisky-{page}.
html
q-macallan/180-per-page/rele
浏览 4
提问于2020-10-22
得票数 0
2
回答
如何使用godoc为文件夹中的所有包
生成
HTML
文档
、
godoc -
html
只为一个包
生成
文档。但是,我想将所有包的所有文档一起交付项目,就像运行godoc -http时一样。这样,我就可以找到所有的包,并从浏览器中浏览它们。是否可以为所有通过godoc -
html
链接在一起的包
生成
HTML
页面?
浏览 0
提问于2018-03-18
得票数 3
回答已采纳
1
回答
对于动态参数的前端路由,像动态seo这样的情况,prerender.io能帮上忙吗?
、
、
、
、
详细问题可在此链接中找到- 现在,在这种情况下,为不同的categoryId做搜索引擎优化似乎是不可能的,因为谷歌机器人不会在爬行时等待我的服务器响应。
浏览 1
提问于2016-04-29
得票数 0
1
回答
对Web Crauler隐藏的网页联系信息
、
换句话说,在执行php代码后,网络
爬虫
是按照服务器上的页面(使用php代码)还是在浏览器上显示的所有信息来“看到”页面?
浏览 9
提问于2021-09-29
得票数 0
回答已采纳
2
回答
如何为AngularJS网站构建sitemap.xml?
、
、
、
、
它有一些静态页面,除此之外还有基于配置文件id
生成
动态页面的配置文件页面。 为了搜索引擎优化的目的,我使用了PhantomJS和
生成
HTML
来给
爬虫
响应。但是,我如何才能
生成
包含所有动态页面地址的sitemap.xml,这样
爬虫
就可以在搜索引擎上获取并列出这些URL了呢?
浏览 22
提问于2016-11-14
得票数 8
2
回答
无法识别附加的h1标记
、
、
、
在类似的注意事项上:在主页上,我使用javascript for循环打印出一个列表,并附加列表
html
和内容: $('#list').append("<div class='point'><a
浏览 2
提问于2013-04-15
得票数 2
回答已采纳
1
回答
什么时候JavaScript内容是可爬取的(如果有的话)?
、
、
fjs);}}(document,"script","twitter-wjs");</script> 代码首先不是有效的XHTML脚本,所以我寻找了一个插件或脚本,找到了,因为它可以为CSS定制,但是这个
爬虫
友好吗我必须(假设有)采取哪些操作才能使我自己的jQuery
生成
的内容可爬行?我在网上找到了关于这一点的各种参考资料,所以如果你觉得它可以帮助我,请告诉我一个值得信赖的资源。
浏览 1
提问于2013-01-10
得票数 1
1
回答
与Django一起使用时ReactJS中的SEO
、
、
、
因此,当
爬虫
请求URL时,Django服务器请求节点服务器,该节点服务器调用React.renderToString并
生成
HTML
。
HTML
被发送到Django,Django将其发送给
爬虫
。当我调用Node并请求数据,然后将其发送给
爬虫
时,这里不存在性能问题吗?与在Django中直接呈现它和发送相比,不存在性能损失吗?SEO在我的应用程序中非常重要,但我也想使用客户端呈现。
浏览 2
提问于2015-08-13
得票数 2
回答已采纳
1
回答
开放图反应性元信息
、
、
、
我的OG元信息对于某个链接(例如博客帖子链接)来自一个数据库(例如,博客帖子需要一段时间的加载)。因为axios是异步的,所以我的页面元素会在发布之前加载。与此同时,facebook已经阅读了“虚拟”元数据。
浏览 2
提问于2018-10-18
得票数 0
回答已采纳
1
回答
如何(动态)改变元标签之前,网站是刮角2?
、
、
我的问题是,社交媒体的网络抓取机器人无论在什么情况下都在搜索静态的src/index.
html
,而这个角度应用程序还没有添加任何内容,包括来自路由器出入口的内容。DOCTYPE
html
><head> <meta http-equiv="content-type" content="text/
html
; charset=.6282a28eb8950eb48467.js"
浏览 3
提问于2020-11-28
得票数 1
回答已采纳
1
回答
ajax请求会影响Alexa的排名吗?
、
、
有一个只用于响应ajax请求的网站,这是另一个网站上的代码。 dataType: 'jsonp', data: 'parametr=value', success: function() { alert("Successfully requeste
浏览 2
提问于2014-01-20
得票数 1
回答已采纳
5
回答
C#中的网页爬行
、
我通常使用
HTML
Agility Pack和C#来解析网站内容。其中之一如下所示: 该网站依靠javascript
生成
内容,并使用GET和POST变量提交的混合模
浏览 1
提问于2010-12-22
得票数 3
回答已采纳
1
回答
没有hashbang的Ajax可爬行应用程序
、
、
、
Google crawler不读取javscript之后加载的内容,所以我需要为我的页面(在服务器上)创建一个
HTML
快照,并让我的服务器使用hashbang处理请求。get_data=true这样的东西,我如何告诉google是哪个请求
生成
了整个页面的
HTML
快照,在哪里可以这样做(也许将请求的url放在站点地图中?) 在优势中感谢你
浏览 2
提问于2014-04-16
得票数 0
1
回答
站点地图未读取javascript链接
、
、
、
link.text;}};</script>但是,当我爬行我的网站以
生成
网站地图时
浏览 0
提问于2012-10-17
得票数 0
1
回答
HTML
流的SEO/爬行性影响
、
、
随着
HTML
流(例如反应18流)的兴起,我想知道
爬虫
是如何处理
HTML
的。谷歌
爬虫
是如何处理这个问题的?谷歌确实提到了流这里,但它没有说明谷歌
爬虫
如何处理
HTML
。 其他
爬虫
(DuckDuckGo,Bing,Facebook,Twitter等)怎么样?我假设
爬虫
会等到
HTML
流结束时,这个假设安全吗?
HTML
可能会导致搜索引擎优化优化页面的快速TTFB。这可是件
浏览 0
提问于2021-07-27
得票数 7
1
回答
使用Vue.js动态返回站点地图
、
、
、
、
我正在尝试寻找一种解决方案,可以为每个租户动态
生成
一个xml文件。反过来,我还需要动态
生成
sitemap.xml。我之前尝试过在我的应用程序之外
生成
html
的类似方法。因此,我有一个称为/test的路由,它将加载一个名为test的组件,然后该组件将具有用其他
html
替换
html
文档的javscript代码。
浏览 4
提问于2018-11-17
得票数 1
2
回答
LinkedIn crawler可以读取SPA页面吗?
、
、
、
、
我设法将其配置为使用Facebook open-graph,但似乎LinkedIn不支持_escaped_fragment_格式,并且在hasbang请求应用程序的index.
html
页面后忽略了路由,
浏览 2
提问于2013-10-20
得票数 7
2
回答
服务器模板与Javascript客户端模板
、
、
、
、
我最近一直在研究从客户端
生成
内容的不同选项(、、)。但我真的不确定这对SEO有好处。我在后台使用Django
爬虫
可以读取AJAX / Javascript
生成
的
HTML
吗? 谢谢
浏览 0
提问于2012-04-03
得票数 0
1
回答
在网站上使用AngularJS,仍然会被搜索引擎索引
、
、
我想重建一个旧网站上的普通超文本标记语言,并添加一些额外的功能与AngulaJS。但是,由于我计划使用ng-views在我的主布局上呈现模板,是否有可能让搜索引擎仍然找到这些子页面的模板?
浏览 1
提问于2014-01-13
得票数 0
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
R爬虫从0开始-HTML
python爬虫初探:HTML解析器
Python爬虫解析html:lxml的HtmlElement对象获取和设置inner html
Python 爬虫实战(二):使用 requests-html
pytest文档7-生成html报告
热门
标签
更多标签
云服务器
ICP备案
对象存储
即时通信 IM
腾讯会议
活动推荐
运营活动
广告
关闭
领券