我想抓取一个ASP.NET网站，但是urls都是一样的，我如何使用python来抓取特定的页面呢？这里是我想爬的网站： 我应该得到哪些信息来区分一个页面和另一个页面？
浏览 4提问于2015-08-16得票数 0
回答已采纳
3回答
平台:服务器2008上的MOSS 2007问题:当你搜索某个东西时，它什么也找不到，也没有错误。可能的问题是什么？任何我可能错过的检查点，任何我应该检查的糟糕的配置，等等…？
浏览 0提问于2009-07-07得票数 4
有谁知道谷歌网站管理员工具提供了什么，我有谷歌分析，我刚刚意识到我可以注册谷歌网站管理员工具。不确定它是否值得。欢迎任何反馈
浏览 0提问于2010-03-19得票数 0
回答已采纳
1回答
由于现在Twitter API 数据爬取付费，所以我想在不使用Twitter API的情况下使用python爬取到特定关键词的Twitter数据或者Reddit数据，有什么好办法吗？
浏览 546提问于2024-01-06
我想爬这个网站：使用Apache。该网页动态加载ajax内容。如果我用默认配置爬行它，Nutch只会带来头和页脚，动态加载的内容就会丢失。我用的是Nutch 1.14。
浏览 0提问于2018-06-08得票数 0
回答已采纳
我是Python的新手，我想使用Python来抓取几个需要Google帐号登录的网站。例如，我想爬一个网站xxx.appspot.com，我需要登录我的谷歌帐户访问它，因为这个数据库需要验证，我是授权人员。
浏览 1提问于2013-12-18得票数 2
回答已采纳
1回答
我应该爬
但我怎么才能爬上这个网站。我想它是用jQuery的。有些人说你应该使用ajax。但是我将包含mongodb的数据库，所以我将使用node.js，如何才能做到这一点？
浏览 8提问于2016-10-05得票数 1
回答已采纳
2回答
我已经使用包(wsp)部署了我的更改，并手动创建了网站集、子网站、页面等。在爬网日志中，很少出现像这样的错误：“crawler无法与服务器通信。请检查服务器是否可用以及防火墙访问是否配置正确。”，但此页库中的所有页都已被索引。问题是，我在搜索查询中使用了自定义托管属性(映射到自定义爬网属性)，但crawler并没有为我的所有新站点列创建爬网属性。我尝试将我的托管和爬网属性从开发环境导出到stage环境，但我所有的托管属性都是空的，之后我重新创建了SSP...the，结果是相同的……
我<
浏览 0提问于2009-09-15得票数 3
当我在SP 2010的中央管理员上查看爬网日志时，我看到了爬网内容。我还可以看到我在其中一个站点添加的爬网日志中的内容。但是当我去这个网站搜索的时候，我得不到任何结果。
浏览 3提问于2011-02-21得票数 1
回答已采纳
我正在尝试创建一个自定义报告，它显示当前的爬网时间/持续时间，状态是完全爬网还是增量爬网。
有谁知道我可以用什么API来获取这样的信息？
浏览 0提问于2009-06-01得票数 0
回答已采纳
利用python爬取豆瓣电影排行榜（https://movie.douban.com/chart)的数据并保存到excel中。用相同代码爬取网页豆瓣top250的数据可以爬取到excel中，但将网址及相关信息改为网页豆瓣电影排行榜中的信息时便无法爬取，也找不出问题所在。以下图片为完整代码。
浏览 335提问于2021-01-09
我想在其中爬行一些网站，并将其索引和信息存储在Hadoop中。然后使用Solr搜索就可以了。但我面临着很多问题。2) Solr有什么用？如果NUTCH完成了抓取，并将抓取的索引和信息存储到Hadoop中，那么Solr的作用是什么？我真的真的被这个卡住了。任何帮助都将不胜感激。
提前说一声非常感谢。
浏览 2提问于2012-09-06得票数 3
SharePoint 2010 search中的爬网程序影响规则和爬网规则有何不同？
浏览 1提问于2011-02-13得票数 4
回答已采纳
1回答
我正在试着从this website那里得到一些显示器的价格。以下是我的代码： def noteBooksBillgerParser(url): 'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.90 Safari/537.36'}
浏览 15提问于2019-03-21得票数 1
回答已采纳
2回答
目前似乎还没有工具可用于爬取站点并将内容转换为ePub格式。我认为，在没有得到网站所有者明确同意的情况下，在网站上执行这一行动是有法律含义的。
浏览 2提问于2011-05-08得票数 1
回答已采纳
我正在使用 apache-nutch-1.6，我可以成功抓取网站。我的问题是并非使用了seed.txt 文件中的所有条目。这取决于里面有哪些站点。那么有没有限制爬多少？没有错误信息。就像我删除一个站点一样，另一个站点会被深度爬网，无论另一个站点是否存在，这个站点都会被爬网，而从其他站点中，只有我相信的顶级站点....
浏览 0提问于2014-06-06得票数 0
我的搜索引擎优化知识很少，我觉得答案可能会有所不同，取决于网站流量和其他搜索引擎优化相关的因素，但从总体上说，这将需要多长时间？
浏览 2提问于2015-08-13得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
即时通信 IM活动推荐
腾讯云开发者
