2回答
我的一位客户说，她注意到她的网站在一家杂货店的wifi咖啡厅被屏蔽了。它不包含任何丑闻--它只是一个旅游博客。该公司表示，这一限制的原因是禁药类别“未评级”。
浏览 5提问于2010-07-09得票数 3
1回答
我想知道我怎么能不允许谷歌爬行我的子域名？另一个曾经是子域。我想说的是谷歌不应该爬这个，但我不知道怎么爬。
我在awesom媒体文件夹中没有robot.txt，但正如您在/部件中所看到的那样。我怎么能告诉google不要爬行子域
浏览 5提问于2014-09-08得票数 1
回答已采纳
2回答
我有一个破烂的代码，应该能够采取电话和地址从一个网页中的表格： name="People" 'http://canada411.yellowpages.ca/search/si/1/519-896-7080/', def parse(self,response): yield
浏览 0提问于2017-02-16得票数 0
我在子域文件夹中的.htaccess中添加了以下内容：AuthType BasicRequireuser username
我只想仔细检查一下，这将阻止谷歌(和其他机器人)爬取内容，这样我就不必处理重复内容的问题。
浏览 0提问于2014-03-05得票数 0
2回答
目前似乎还没有工具可用于爬取站点并将内容转换为ePub格式。我认为，在没有得到网站所有者明确同意的情况下，在网站上执行这一行动是有法律含义的。
浏览 2提问于2011-05-08得票数 1
回答已采纳
1回答
我正在用python在一些页面上做web抓取，我已经被其中的一些阻止了。当我试图通过TOR浏览器检查它时，我已经看到我无法访问页面，所以我认为这些页面已经能够跟踪我所有的IP或我没有很好地配置TOR (我认为不是因为我用Chrome和TOR检查了我的IP地址和TOR是不同的)，所以，有人知道为什么吗？谢谢!
浏览 19提问于2020-05-21得票数 2
回答已采纳
1回答
我的dns A-记录指向我的家庭PC IP，大部分时间是下降的.这个事实是否会令我的注册主任有任何麻烦，或没有甚麽可担心的？
浏览 0提问于2012-10-07得票数 3
回答已采纳
2回答
如何使用Mechanize库查找网站上的所有链接？
我喜欢递归地解析内部链接，以便抓取一个网站的所有链接。
浏览 0提问于2012-07-23得票数 2
回答已采纳
面板中将memory_limit增加到512M，然后运行phpinfo()并测试这两个地址：memory_limit=128M ->
如何增加子域的
浏览 0提问于2013-05-05得票数 0
1回答
我的网站在mozila上工作正常，但当我们转到IE 8时，它在状态栏上显示错误User Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows
浏览 0提问于2011-04-04得票数 0
1回答
我用Sharepoint 2013创建了一个“品牌化”网站。我无法配置搜索引擎，使其能够从自定义web部件中查找内容。来自网站的大多数“静态”内容(机构内容)都是通过自定义web部件显示的。因此，我现在的方法是尝试将内容搜索配置为"Web site“类型，以便让爬行将所有页面作为常规网站进行处理。
浏览 0提问于2014-11-18得票数 1
3回答
网站质量保证测试
、、
它主要是爬行一个网站，并显示对死链接、页面等的引用：。
我发现这对我们发布的网站的质量保证非常有用。我想知道是否有人使用应用程序来爬取这样的站点，但也会检查诸如缺少ALT标记、可访问性问题和有效的xHtml代码。
浏览 1提问于2009-08-28得票数 0
我要做的是创建一个美国所有酒吧的数据库。我需要这个数据库半定期更新(大约每周)，以包括新开的酒吧。
浏览 0提问于2011-01-18得票数 1
我遇到的大多数示例都是为了拉取您控制的网站的信息，并且已经为其设置了分析，这与我的用例略有不同。编辑:我仍然想看看其他人会如何处理这个问题，但我遇到的一个想法是，只需设置一个主帐户，然后在API中按子域进行过滤。
浏览 0提问于2012-11-16得票数 0
2回答
当我重构一个网站时，我喜欢弄清楚现有的结构，以确保在将其移植到新的导航/菜单系统时不会遗漏任何东西。有没有自动化的工具可以在一个页面上生成网站的视觉结构？
浏览 0提问于2015-02-04得票数 0
1回答
我想抓取一个网站，但我得到了下一个错误： '<head>\n<title>Access Denied</title>\n</head>' 我只是在控制台中尝试： scrapy shell https:网站有没有防爬虫的方法？如何抓取这个网站？
浏览 27提问于2020-07-14得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
