3回答
我正在尝试使用file_get_contents()获取url的内容，如下所示：这很好用，但我还必须获得如下所示的页面内容：http://www.website.com#somevalue，但是，如果我使用与上面相同的方法，它只返回与没有散列相同的内容。可以获取更新的内容吗？我假设他们正在使用主干或其他类型的路由来处理此问题。
浏览 2提问于2012-11-11得票数 1
回答已采纳
2回答
用python抓取动态加载的网站
、、、、
我刚开始抓取动态加载的网站，我被困在试图抓取这个网站的团队名称和赔率。www.cashpoint.com/de/fussball/deutschland/bundesliga') js_test= soup.find('div', class_='game__team gam
浏览 0提问于2019-12-13得票数 0
1回答
真的需要这个社区的帮助。我的问题是，当我使用python中的代码时要提取scrapy shell中的供应商名称，输出为空
浏览 2提问于2018-02-12得票数 2
2回答
如果我的问题看起来很蠢，我很抱歉。因为在我的故事板上有很多场景。例如，在sceneA中，我有一个buttonA。当用户单击sceneB时，我想连接到buttonA。问题是:因为我的故事板很大，所以两个场景A和B之间的距离是我的macbook屏幕上的溢出，所以我无法控制拖放来进行搜索。我目前唯一的解决方案是:将sceneB拖到更近的sceneA (当然，可以溢出其他一些场景)，并将其转换为segue。在此之后，再次将sceneB拖到原始位置。
我认为这个
浏览 3提问于2014-08-02得票数 0
回答已采纳
2回答
UI中有很多向纯javascript前端发展的趋势，比如backbone.js或javascript mvc。我知道谷歌有一些指导原则来给你的urls添加#hash标签，使它们成为crawlable...but。我很好奇他们是否仍然可以抓取不遵循这个指导原则的应用程序。我正在讨论是在服务器端使用模板引擎，还是只使用纯javascript解决方案，以及对api的json请求。我希望人们在搜索时能在我的网站上找到页面。
浏览 0提问于2012-09-21得票数 2
1回答
所以我在网上抓取谷歌，我很确定它会根据IP地址阻止我的请求。我已经将我的应用程序部署到Heroku上(当dynos重启时，Heroku有动态IP地址)，我注意到如果应用程序启动，在5个请求之后，它们就不能正常抓取了。如果我重新启动dyne，那么在它停止抓取之前，我会收到另外5个请求。这使我相信当dyno启动时静态IP地址是问题所在。我研究了QuotaGuard的动态IP ()，但我认为这不会起作用，因为谷歌似乎是https。以前有没有人在Heroku上
浏览 24提问于2021-05-17得票数 1
我想从一个特定网站的图表中抓取数据。图形中的此信息只有在我刮擦后将鼠标悬停在graph.But上时才可用，我无法看到输出中的数据，即使它在'Inspect Element‘下可见。我曾尝试使用JSoup抓取数据，但当我抓取数据时，不会显示通过鼠标悬停更改的数据。我该怎么做呢？
当您将鼠标悬停在上面
浏览 1提问于2018-09-21得票数 0
我正在使用js爬虫来抓取网站，现在我遇到了CNN，的那一部分(基于某种原因动态生成的urls)。事情是爬虫，不要真正接触脚本-我应该如何解决它？除了我的node.js爬虫之外，我还应该编写自己的代码吗？是否有先进的爬虫知道如何处理这种动态行为？
浏览 1提问于2016-07-23得票数 2
回答已采纳
我正在用Laravel Goutte包https://github.com/FriendsOfPHP/Goutte构建一个抓取工具，我已经能够抓取大多数网站，直到我遇到这个网站的http://www.bhutanpost.bt/，我需要抓取。我怀疑的问题是该站点的字符集为UTF-7，并且返回的xml与"view source“中显示的不同。我试图抓取<em
浏览 21提问于2021-02-09得票数 0
我打开了页面，开始了Firefox的调试，选择了带有数字的元素，并发现它在<div id="lblOptimizePercent" class="wod-dpsval">98.4%</div>中(98.4%是我想要的)。所以我打开了它的源代码，用于lblOptimizePercent的Ctrl，我发现的只有这个没有任何内容的<div id="lblOptimizePercent&q
浏览 3提问于2014-10-18得票数 0
回答已采纳
1回答
我使用以下代码抓取了一个作业门户： ;(asyncconsole.log(JSON.stringify(position))
})()我在这里粘贴了一个示例URL，当然我在示例中使用了一个真正的URL我的问题是：
我可以在const位置下控制台记录我提取的数据。这是可行的
浏览 3提问于2018-11-22得票数 0
1回答
我必须下载URL链接的所有html。但是我没有得到任何HTML标签。取而代之的是，我只得到了这些行。 <script type="text/javascript" src="/github-user-search/app.bundle.562f293b75a96de878ab.js
浏览 3提问于2019-07-07得票数 0
我正在尝试从文件查找页面()中抓取Github中的所有文件路径。漂亮的Soup 4无法抓取包装文件路径列表的<tbody class="js-tree-finder-results js-navigation-container js-active-navigation-container我想这是b/c bs4无法抓取动态内容，所以我试着等待所有元素装载Selenium：
driver =
浏览 4提问于2017-10-04得票数 0
我有一个任务要抓取所有的普利策获奖者，我发现这个网页有我想要的：。问题1:如何抓取动态页面？我使用python/urllib2.urlopen来获取页面的内容，但是这个动态页面并不返回真实的内容。如果这对你来说太天真了，请说出一些单词，这样我就可以从谷歌学到它了。
提前感谢！
浏览 3提问于2019-03-19得票数 1
回答已采纳
1回答
我需要抓取一个网站，然而，它的内容是动态的。Python中有没有可以调用js函数的包？例如，假设我在JS中有一个链接和JS函数1、2和3，我应该在该网页上调用，并且在所有JS函数调用之后我需要最终的网页。
浏览 16提问于2019-02-12得票数 0
1回答
我仅通过使用以下内容作为请求才能成功抓取js内容。, )
如何在抓取动态内容的同时同时应用
浏览 10提问于2017-08-14得票数 1
1回答
抓取oddsportal信息
、、、、
我使用的是Python3.5，实际上我关注的是使用BeautifulSoup/lxml/Selenium/PhantomJS进行3.5抓取
我只是想用Python代码抓取我需要的所有数据。我可以很容易地用BeautifulSoup从静态HTML中抓取信息。我最近也发现了如何从动态url中获取信息，使用Chrome的网络选项卡，并在XHR选项下查看出现的HTTPrequest。它通常会给我从JS</
浏览 2提问于2016-01-14得票数 1
1回答
我正在尝试使用rvest包中的read_html函数，但遇到了一个我正在努力解决的问题。例如，如果我试图读取出现在页面上的底部表格，我将使用以下代码：html_content <- read_html("https://projects.fivethirtyeight.com/2016-election-forecast/washington/#now")
通过检查浏览器中的HTML代码，我可以看到我想要的<
浏览 17提问于2016-08-31得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
