使用ruby解析网页中的隐藏数据

文章/答案/技术大牛

发布

1回答

ruby、parsing

此价格在此元素的.inspect代码中可见: 680.34，但在"view source“中隐藏。对于我来说，所有的解析(比如Nokogiri)都发现这个元素是空的，从"view source“中分析html。当然，这个价格是页面加载后服务器脚本的结果。有没有办法用ruby (可能是nokogiri，mechanize)得到这个价格？

浏览 13提问于2018-02-06得票数 0

回答已采纳

1回答

从拼音中的HTML元素中提取背景图像

ruby-on-rails、ruby、nokogiri

在StackOverflow上搜索时，我找到了这个链接但是这里给出的解决方案不起作用。

浏览 0提问于2013-06-04得票数 1

回答已采纳

3回答

Ruby/Rails HTML页面解析

ruby、ruby-on-rails-3

我想使用一些Ruby库解析网页(目录)，并将其存储到数据库中。目前，我很难选择什么样的库才是最好的。我对Hpricot很熟悉，但我并不是真的很讨厌现在的Hpricot。P.S -或者任何类型的数据来解析URL-s？谢谢!

浏览 0提问于2011-08-10得票数 1

回答已采纳

1回答

如何解析包含隐藏标记的HTML页面

python、html

我正在尝试解析一些网页，以备将来使用。为了解析网页，我使用了不同的模块，如urllib，lxml，BeautifulSoup，HTMLParser来达到我的目标。我在解析网页时没有遇到任何问题，直到我面对隐藏的标签。当我使用chrome浏览器打开页面并使用开发人员工具查看页面元素时，我能够看到代码的<embed>部分

浏览 0提问于2011-03-22得票数 1

回答已采纳

1回答

使用Ruby中的Watir/Nokogiri解析网页

ruby、excel、nokogiri、watir

我试图为弹出框中包含的纬度和经度解析以下，但似乎无法使其工作。我用的是Ruby里的Watir和Nokogiri。WIN32OLE::new('excel.Application')filepath = excel.Workbooks.Open('C:/users/desktop/rubyNokogiri似乎无法从弹出中解析它们并将它

浏览 0提问于2015-01-09得票数 0

回答已采纳

1回答

我需要登录和解析，然后插入数据到一些网页。我知道php，ruby，java，c#。在ruby中，我知道mechanize -它是在模拟ruby浏览器，而不是启动它。对我来说很好，但它不适用于佩奇的js。我也尝试过watir，但它只是一个基于桌面的应用，因为它可以运行ibrowser。有没有其他的js解决方案，但是不用在php，ruby，java，c#上启动浏览器就可以把它放到服务器上？

浏览 0提问于2013-01-07得票数 1

2回答

获取Ruby页面上所有href内容的最简单方法？

html、ruby、regex、parsing、html-parsing

我正在用Ruby编写一个简单的web爬虫，我需要获取页面上的所有href内容。这样做的最佳方法是什么，或者任何其他的网页源解析，因为有些页面可能无效，但我仍然希望能够解析它们。是否有任何优秀的Ruby HTML解析器允许进行与有效性无关的解析，还是使用regexp手工进行解析的最佳方法？是否可以在非XHTML

浏览 3提问于2009-11-02得票数 1

回答已采纳

1回答

我总是得到一个无效的字节序列在UTF-8错误与机械

ruby、string、encoding、utf-8、mechanize

我最近安装了Ruby 1.9.3。从那以后，当我开始使用Mechanize解析网页时，我总是得到这样的错误信息："ArgumentError: utf-8中的无效字节序列“我在所有源文件的开头应用了"# encoding -8”。我应该使用Ruby1.8还是更新到Ruby2.0？

浏览 1提问于2013-06-25得票数 0

2回答

如何用ruby/nokogiri解析html源代码？

ruby、xpath、nokogiri

我已经成功地使用ruby (1.8)和nokogiri的css解析从网页中提取正面数据。<meta name="geo.position" content="35.667459;139.706256" &#x

浏览 1提问于2010-10-27得票数 1

2回答

rails无法从textfield获取值到数组

ruby-on-rails、ruby、arrays、textfield、form-for

我需要从f.text_field获取一个字符串数组，并将其存储到数据库中。%> <%= f.label :tags %> </div>我该怎么做？谢谢

浏览 8提问于2014-05-15得票数 0

3回答

Sentry Rails客户端

ruby-on-rails、django、sentry

主要的实现是用Python实现的，但是它包含了一个完整的API，可以在任何应用程序中从任何语言发送事件。如果不是，则+1表示Rails Sentry客户端

浏览 1提问于2012-05-18得票数 2

回答已采纳

1回答

Symfony2 -如何在JS中通过控制器正确访问DB中的数据，以便使用Flot？

javascript、mongodb、symfony、flot、doctrine-odm

数据存储在我的数据库(MongoDB)中，Flot是在JS中呈现的-所以我需要以某种方式将数据从我的控制器传递到Javascript，以便将这些数据提供给Flot。我试图用FosRestBundle创建restful api，但当我试图从document.ready上的javascript调用它时，我得到了以下错误： XMLHttpRequest cannot load使用数据库(

浏览 1提问于2016-01-22得票数 0

2回答

使用ruby机械化从foursquare获取数据

ruby、mechanize、foursquare

我正在尝试使用ruby和机械化来解析foursquare网站上的数据。form.F1277807059296KSFTWQ = ARGV[1]puts page.bodyC:/Ruby192/lib/ruby/gems/1.9.1/gems/mechanize-2.0.1/

浏览 0提问于2011-09-14得票数 2

2回答

使用Ruby刮取带有Javascript的数据的URL

ruby、web-scraping、nokogiri、mechanize、scrape

我正在尝试使用Ruby来抓取这个页面以获得出租的。我尝试过的一些方法都是使用Nokogiri和机械化的，但是浏览器只加载了14个清单，其余的都是通过嵌入式javascript加载的。在阅读可用的课程时，我对做了简要的介绍，但没有取得任何进展。json_object = sorted_object.to_json puts "There are #{sorted_object.length} listings

浏览 4提问于2014-11-04得票数 0

回答已采纳

3回答

如何在iframe中获取<a>标记的url

jquery、iframe

我在一个页面中有几个iframe(没有任何ID /类)，通过第三方广告脚本生成。我已经提取了所有的iframe对象$("iframe").each(function(index) {var ur = $(this).attr('src');

浏览 4提问于2015-11-19得票数 2

3回答

用于Spider和Indexer的好语言

parsing、indexing、feed

我喜欢Ruby及其框架，但我不认为Ruby On Rails是开发Feed解析器和索引器的最佳选择。也许Python或Java是更好的选择。你建议用哪种语言？

浏览 0提问于2009-08-22得票数 0

回答已采纳

2回答

在ruby中查找网页中的重复模式

ruby、regex、search、html-parsing、pattern-matching

我正在试图找到一种在网页中找到重复模式的方法，这样我就可以将内容提取到我的数据库中。其他网站将以不同的方式列出，但每个网站都有重复的模式。我喜欢ruby</em

浏览 2提问于2011-06-07得票数 5

3回答

我能用Ruby读取网页数据吗？

ruby

我正在寻找一种方法来自动化测试，网页数据填充，也想提取网页数据，并将其存储到我们的数据库永久的基础上。有没有办法使用Ruby来满足这样的要求？如果是这样的话，请指导我哪些Ruby模块可以帮助我。

浏览 3提问于2013-01-09得票数 1

1回答

Ruby的最快的Net::HTTP/Net::HTTPS包装器

ruby、web-crawler、httparty、open-uri

用Ruby下载解析网页最快的方法是什么？我尝试过使用open-uri和HTTParty下载简单的网页，似乎都需要大约25秒的时间(我已经尝试了多个网站)。

浏览 16提问于2021-02-17得票数 0

回答已采纳

1回答

从iFrame获取内容

javascript、jquery

可以从iFrame获取内容吗？

浏览 6提问于2015-04-14得票数 0

回答已采纳

点击加载更多