1回答
如何处理UUIDS？
、、、
过程是这样的。我有一组数据，其中包括网址，公司名称和一些其他有关公司的信息。我读取这些数据，获取URL，抓取它们，并用随机生成的UUID保存抓取的数据。UUID uuid = UUID.randomUUID();
这对于第一轮爬行来说是很好的。问题是当我想重新抓取数据的时候。我将有一组新的数据-which可能是重复的-因此将生成一个新的UUID和一个新的记录。但这
浏览 1提问于2017-09-21得票数 0
利用python爬取豆瓣电影排行榜（https://movie.douban.com/chart)的数据并保存到excel中。用相同代码爬取网页豆瓣top250的数据可以爬取到excel中，但将网址及相关信息改为网页豆瓣电影排行榜中的信息时便无法爬取，也找不出问题所在。以下图片为完整代码。
浏览 340提问于2021-01-09
我想爬这个网站：使用Apache。该网页动态加载ajax内容。如果我用默认配置爬行它，Nutch只会带来头和页脚，动态加载的内容就会丢失。我用的是Nutch 1.14。
浏览 0提问于2018-06-08得票数 0
回答已采纳
问题是:有没有一种方法可以将一个用clojure编写的网站编译成HTML和Javascript文件，而不需要服务器上的.WAR文件？谢谢。
浏览 3提问于2013-02-14得票数 2
2回答
s.parentNode.insertBefore(ns, s); </script></html>
有没有办法通知谷歌的爬虫在页面完全加载
浏览 1提问于2011-10-04得票数 5
如题，我最近在做一个数据分析，想要用到美团的美食信息，于是就想用python爬取美团的数据，但是在构造爬虫的时候发现美团有一个_token参数，百思不得其解，还请大神指教
浏览 2259提问于2018-09-12
我正在尝试爬行的网站使用的是javascript：在ajax上拉入我需要爬取的额外信息。我尝试了各种不同的排列：
r = mechanize.urlopen("https://site.tld/dir/" + url, urllib.urlencode({'none' : 'n
浏览 2提问于2010-07-12得票数 6
回答已采纳
首先，这样做的目的是爬取我们的一个登录应用程序，并获取有关作业运行的数据，而我可能无法通过任何其他方式获取这些数据。我可以通过浏览器登录，也可以检查我的cookie；那么我如何(及时地)将这些信息添加到cURL调用中，以便我可以使用PHP来解析返回页面(和链接)？
浏览 3提问于2015-11-18得票数 0
我想在我的网站上看到所有公开访问链接的列表，这样我就知道用户可以访问哪些页面。是否有网站或应用程序可以抓取我的网站并显示此类信息？
浏览 1提问于2011-12-04得票数 0
1回答
我的网站在mozila上工作正常，但当我们转到IE 8时，它在状态栏上显示错误User Agent: Mozilla/4.0 (compatible; MSIE 8.0; Windows
浏览 0提问于2011-04-04得票数 0
1回答
网页由CGI程序生成。大多数网页的URL都包含诸如?id=2323&title=foo之类的表达式。然而，我面临的一个问题是，这个网站有一个日历。也会生成一些类似日期的网页。这意味着纳奇将试图抓取一些无害的网页，如year=2030&month=12。如何在Nutch中避免这样的陷阱？编写很多正则表达式？
浏览 1提问于2012-01-27得票数 0
回答已采纳
2回答
很抱歉，如果我的问题已经在某个地方得到了解释，但我不知道如何实际调用它/定义我的搜索问题。
我正在“绘制”在html5中的主页，它工作得很好。我的菜单在顶部，它可以在页面上导航我(就像index.html#abc一样)。在其中一个内容框中，我希望在框中有一个额外的菜单。我想根据我在那里选择/点击的内容来加载内容。我在考虑在php中加入内容，但我没有使用html5和php的经验，所以我甚至不知道这是否可行。抱歉的!
浏览 0提问于2016-06-17得票数 0
我有一个cms，不能生成友好的url这是最好的方法吗？
任何帮助都将不胜感激
浏览 2提问于2010-12-02得票数 0
回答已采纳
我希望我的站点地址栏在我转到子页面时不要更改它的地址，它应该显示我的index.html，即使我进入子页面。
浏览 1提问于2011-03-07得票数 2
回答已采纳
1回答
平面HTML页面的搜索索引
、、、、
我希望添加搜索功能到一个现有的完全静态的网站。很可能，新的搜索功能本身需要是动态的，因为搜索索引需要定期更新(当人们对静态内容进行更改时)，并且当用户与其交互时，需要动态生成搜索结果。我希望使用Python添加这个功能，因为Python是我的首选语言，尽管我对此持开放态度。
在这种情况下，Google Web Search API将不起作用，因为索引的内容位于私有网络上。一个名为mnoGoSearch的工具可能是一个选择，因为我认为它
浏览 2提问于2013-01-29得票数 1
回答已采纳
我想抓取一个网站页面，然后将一些信息保存到我的计算机上，但是一些网站内容是由ajax生成的。
我的问题是，我可以抓取一个包含ajax生成内容的站点吗？
浏览 1提问于2012-02-14得票数 1
回答已采纳
1回答
可以使用带有伪URL的Apify抓取多个页面吗？ 当人们问同样的问题时，答案大多指向伪URL，如果有可能或不可能这样做，并不会直接解决问题。如果我在运行爬虫的时候不知道伪URL，并且我从一个页面上抓取了10个链接-然后想要抓取这10个链接，那怎么做呢？
浏览 15提问于2019-03-19得票数 0
我正在使用ajax加载一个页面 //ajax content在主页上，我包含了具有全局样式表和javascript库的头文件我有相同的包含文件在第2页，我正在通过ajax加载。我的JS在2ns页面中动态生成html标记，我的问题是当我将第二个页面加载到我的主页中时，全局JS并没有应用于第二个页面。
所以现在我的</
浏览 2提问于2011-04-03得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
