我正在使用机械化来抓取一些网站。在爬行时，我会将页面保存到文件中，以便稍后使用Fakeweb进行测试。
我的机械化代理是这样创建的：
Mechanize.new do |a|
a.read_timeout = 20 # doesn't work with Fakeweb?
a.max_history = 1
end
当我运行我的应用程序使Fakeweb能够获取文件而不是实际的Internet访问时，我的日志会为我尝试的每个uri抛出这些消息
W, [2011-08-20T18:49:45.764749 #14526] WARN -- : undefined method
浏览 0提问于2011-08-21得票数 0
回答已采纳
2回答
我对omniauth/openid有一点了解。
在试图进行身份验证时，我在日志中找到了以下内容：
OpenID::FetchingError: Error fetching https://www.google.com/accounts/o8/.well-known/host-meta?hd=profiles.google.com%2Fmy_username: undefined method `io' for nil:NilClass
重要的是undefined method io' for nil:NilClass，它来自openid/ The chers.rb，在下面的代
浏览 5提问于2011-03-19得票数 5
我尝试使用FakeWeb (在cucumber/rails中)模拟地理编码请求。当我阻止所有http请求时，我收到以下消息：
Real HTTP connections are disabled. Unregistered request: GET
http://maps.google.com/maps/api/geocode/json?..... (FakeWeb::NetConnectNotAllowedError)
因此，我尝试通过以下方式注册url：
FakeWeb.register_uri(:any, %r|http://maps\.google\.com/maps/|, :jso
浏览 0提问于2011-11-06得票数 0
1回答
有没有办法在中获得已注册URI的列表？当我像这样注册一个时：
FakeWeb.register_uri(:get, url, body: expected_response)
自从以来，它似乎应该在某个地方可用，但我无法从外部追踪到它。像FakeWeb.registered_uris这样的东西，但显然这不起作用。
浏览 0提问于2012-06-07得票数 2
回答已采纳
我有一个控制器，它在执行ActiveResource请求时触发它。该请求中包含一个id，它是作为我的控制器执行的一部分生成的(因此，/a/b/{my_id}/c.xml，，其中my_id是由控制器生成的值)。
我不希望我的测试用例触发实际的实时请求，但我也不希望调用失败(我需要200个响应)。
我看过HttpMock，这似乎是一个很好的解决方案，但它似乎不允许respond_to块中的通配符或正则表达式(例如)这是必要的，因为生成的id是请求的一部分。
有办法这样做吗？我一直在寻找，但我还没有看到任何东西，而且HttpMock文档根本没有提到它。
浏览 2提问于2011-09-06得票数 0
回答已采纳
我正在尝试测试我在我的一个rails模型上使用的方法。我正在从一个url返回HTTP状态，我不知道如何存根返回来测试不同的返回代码，以确保我的代码在不同的情况下工作。
下面是我想要模拟的代码行：
response = Net::HTTP.get_response(URI.parse(self.url))
我想让Net:HTTP.get_response为我的规范中的每个测试返回一个特定的HTTPResponse。
describe Site do
before :each do
FactoryGirl.build :site
end
context "checkin
浏览 0提问于2012-09-14得票数 2
回答已采纳
有没有办法模仿柯布的Easy.perform方法进行单元测试？我用它来访问Facebook的图形API，但似乎没有一个http mock库支持Curb。
这里最好的方法是什么？
浏览 0提问于2010-08-02得票数 4
回答已采纳
我们正在添加PayPal快捷签出，作为在Rails 2.3.18上运行的ecom应用程序的签出选项。我已经为我的自定义PayPal::Merchant::ExpressCheckout模块提供了代码和一些单元测试，但我很难理解如何正确地模拟或存根控制器方法，以便编写集成测试。
我面临的一个问题是，所有的PayPal API调用都指向同一个端点URI，在POSTed数据中只有一个操作参数来区分我们正在调用的操作。虽然我已经在单元测试中成功地设置了FakeWeb以模拟来自PayPal API的适当的XML响应，但是在一些集成场景中，我需要能够处理背对背的PayPal请求。有没有一种方法可以告诉Fa
浏览 0提问于2013-10-23得票数 1
回答已采纳
我的Rails应用程序调用web服务。
我使用FakeWeb gem在一些测试中伪造这些调用，方法是注册如下所示的URI：
FakeWeb.register_uri(:get, "http://webservice.com/param?value=a", :response => fake_response)
我如何为整个测试环境设置这个假注册，而不是为每个测试手动设置它？
浏览 3提问于2012-11-09得票数 1
回答已采纳
如何使用cucumber在rails中测试OpenID。有谁有真实的例子吗？例如通过使用Fakeweb。感谢‘s
浏览 0提问于2010-01-28得票数 3
2回答
我正在使用Mechanize从页面中提取链接。为了简化开发，我使用fakeweb来做超快的响应，以减少每次代码运行时的等待和烦人。
tags_url = "http://website.com/tags/"
FakeWeb.register_uri(:get, tags_url, :body => "tags.txt")
agent = WWW::Mechanize.new
page = agent.get(tags_url)
page.links.each do |link|
puts link.text.strip
end
当我运行上面的代码时
浏览 0提问于2009-12-09得票数 1
回答已采纳
2回答
Rails伪装路由
、、、
具体地说，出于测试目的，我正在尝试让ActionController::Routing::Routes.recognize_path识别不在routes.rb中的路由。
是否有可能以某种方式模拟或动态添加路由？我正在使用Rspec和Mocha。
浏览 0提问于2010-08-10得票数 1
回答已采纳
1回答
我的 gem目前依赖于。我拿到了，。
我正在与 (一个提供与FakeWeb类似功能的库)的作者一起工作，以使VCR也能与WebMock一起工作，这样VCR的用户就可以使用FakeWeb或WebMock作为http顽固库。
当需要发布下一个版本的VCR时，我不确定处理这些依赖关系的最佳方法。VCR将依赖于WebMock或FakeWeb (但两者都不需要)，并且对两者都有特定的版本要求。我可以将两者作为依赖项添加到我的gem规范中，但是当您使用时，它会捆绑所有的gem依赖项--因此FakeWeb和Webmock都将与应用程序捆绑在一起。
我一直在想，也许我不会将任何一个gem声明为依赖项，并在运行
浏览 2提问于2010-04-10得票数 2
回答已采纳
3回答
我一直在使用Vim中优秀的插件来对齐，但是有一种对齐是我经常想要做的，但我找不到正确的正则表达式。
我想要这个
gem 'fakeweb'
gem 'factory_girl', '~> 1.3'
gem 'factory_girl_rails', '>= 1.0'
gem 'rspec', '>= 2.0'
gem 'rspec-rails', '>= 2.0'
变成这样
gem 'fakeweb'
gem &
浏览 1提问于2010-09-03得票数 1
回答已采纳
2回答
我在创建用户时进行API调用，但我不想在测试环境中执行此调用。
在这种情况下你会怎么做？我有像Mailchimp这样的外部API和内部API来与其他应用程序通信，你如何测试或不测试这些API？
浏览 0提问于2011-08-23得票数 0
回答已采纳
options = {:body => fixture_file("parse.xml"),:content_type => "application/xml",:status =>["200", "OK"]}
FakeWeb.register_uri(:get, @url, options)
doc = Nokogiri::XML(open(@url,:ssl_verify_mode => OpenSSL::SSL::VERIFY_NONE))
should "cases should not
浏览 1提问于2011-06-16得票数 1
1回答
我想知道是否有可能将自定义HTML代码添加到机械化页面对象中。其目的是通过将由javascript代码生成的超文本标记语言添加到机械化页面对象(通过agent.get(uri)方法获取)，并让机械化代理点击提交表单，从而避免创建表单的javascript代码，就好像它真的在那里一样。这应该是可能的，因为表单是直接在页面上创建的，没有任何外部调用，除了一个jpeg。我不能使用硒和类似物，我需要坚持使用机械化和Nokogiri。任何帮助甚至指导都将不胜感激！
浏览 1提问于2016-02-02得票数 0
我编写了自己的FaceBook库，它使用实际的Curl请求，而不是libcurl。
有没有办法对其进行测试？我之所以这样问，是因为大多数解决方案都涉及到使用像fakeweb这样的东西，据我所知，这在这里是行不通的。
现有的代码可以在中找到。
浏览 0提问于2011-12-15得票数 4
回答已采纳
3回答
我使用Handsoap gem和Httpclient gem作为Rails应用程序中的驱动程序。
如何在测试用例中防止来自Handsaop/Httpclient gem的网络调用？
FakeWeb不支持Httpclient。
浏览 2提问于2009-11-16得票数 0
2回答
我需要控制机械化实例与API连接的频率(每2秒一次，因此限制该连接或更多)
所以这就是：
instance.pre_connect_hooks << Proc.new { sleep 2 }
我曾认为这会起作用，但现在该类中的每个方法都会休眠2秒，就好像机械化实例被触摸并被告知保持2秒一样。我将尝试post连接钩子，但很明显我需要一些更详细的东西，但我现在还不知道是什么。
代码是更多的解释，所以如果你对下面的内容感兴趣：，否则我的问题是关于如何有效和有效地将一个机械化实例限制在一个API指定的特定时间范围内(超过这个限制会导致丢弃的请求和禁止)。此外，我想我也需要更好地将一个机械化
浏览 0提问于2012-02-12得票数 5
回答已采纳
如果未发出HTTP请求，则最简单的测试方法是什么？
比方说，如果用户没有提供用户名，我希望我的应用程序不向远程服务器发送API调用。
我应该在我的Rails应用程序中编写什么RSpec测试来测试从未发出过的HTTP请求？fakeweb能以某种方式帮助我吗？
浏览 6提问于2013-03-18得票数 1
回答已采纳
1回答
我做了一个角度项目(摩托车电子商务)，显示产品详细信息的组件负责所有产品，因此这个组件的路由总是相同的：
https://fakeweb.com/second-hand-bikes/details?bikeId=7440483
这会导致所有产品对google都有相同的链接(因为google忽略参数?bikeId=……)
我的问题是：如何根据获取的产品定制urls ?，如下所示：
https://fakeweb.com/second-hand-bikes/details/yamaha-xmax-300
我想做一个脚本，为每次在后端添加新产品时手动创建路径，但看起来是一个痛苦的解决方案。
有什么想
浏览 5提问于2021-05-26得票数 0
我不知道问题出在哪里。我有一个使用机械化打开网页的脚本。我想要为它设置代理来这样做。
我能做到
br.set_proxies({'http':'proxyip:port'})
当我试图打开一个网页时，它会超时。
然而，如果我不使用上面的代理选项，但在windows的互联网选项中设置相同的代理，在连接中，使用代理，脚本将工作，并通过代理打开网页。
怎么回事？代理支持工作到底是如何机械化的？是否基于internet选项代理设置？如果是这样，为什么在mechanize中使用set_proxies选项？有没有可能有一个单独的代理来机械化，它不同于互联网选项之一(如果有)
浏览 0提问于2013-12-29得票数 1
我正在使用WWW：：机械化，并且当前在我的代码中使用'Content-Encoding: gzip‘头来处理HTTP响应，首先检查响应头，然后使用IO::Uncompress::Gunzip来获得未压缩的内容。
然而，我想透明地做这件事，以便像form()，links()等WWW：：机械化方法处理和解析未压缩的内容。由于WWW::Mechanize是LWP::UserAgent的子类，因此我更喜欢使用来完成这项工作。
虽然我已经在一定程度上成功了(例如，我可以打印未压缩的内容)，但我无法以一种我可以调用的方式透明地完成这项工作
$mech->forms();
总而言之:我如何“替
浏览 0提问于2009-05-17得票数 5
回答已采纳
我有一个情景步骤
When I fill in the following:
| Credit Card Number | 4111111111111111 |
| CCV Value | 123 |
| First name | First |
| Last name | Last |
| Address | 123 My St. |
| City | My City
浏览 0提问于2010-11-07得票数 2
回答已采纳
假设我希望能够编写这样的测试：
lambda {
do_something_involving_web_requests
}.should make(1).http_requests
在我看来，实现这种功能有几种可能的方法；然而，似乎还有：
有人可能已经这样做了(在这种情况下，我想研究他们的解决方案)；或
StackOverflow上的某个人可能有一个我还没有想到的想法。
这件事已经做好了吗？还有/或者你有什么想法？
浏览 1提问于2012-03-30得票数 0
1回答
我有这个卷曲序列，在MS中工作，我正在尝试使用与DelphiXE10.1柏林的Indy的等价性。
卷曲代码如下：
curl -k "https://fakeweb.com/options" --data-binary "{\"name\":\"Name of the Client\",\"email\":\"fake@gmail.com\"}"
我尝试过以下代码，但它不起作用
procedure TForm2.Button4Click(Sender: TObject);
const
COMI =
浏览 2提问于2017-05-18得票数 2
回答已采纳
1回答
我正在尝试以编程的方式登录和建立一个ASP.NET站点上的会话，使用Ruby。问题是，我似乎无法获取登录/身份验证所需的三个cookie。
例如，在使用普通浏览器(如Chrome )时，在浏览器使用用户名和密码向登录表单发出POST请求后，将设置三个cookie：
ASPXAUTH
ASP.NET_SessionId
UserName
当使用机械化尝试登录时，在提交登录表单后，机械化代理的Mechanize::CookieJar只包含一个cookie：ASP.NET_SessionID。
这显然会导致后续对登录后页面的请求失败，并抱怨“会话过期”和“请再次登录”。
不管怎样
浏览 3提问于2015-06-18得票数 0
回答已采纳
1回答
问题：
我编写了大量代码(用于在线自动化一些相当辛苦的任务)，并使用Python的机械库来处理网络请求。它工作得很好，除了现在我遇到了一个我需要 javascript功能的页面.机械化不处理javascript。
提出的解决方案：
我使用PyQt来编写这个应用程序的图形用户界面，它附带了处理javascript的QtWebKit包。我想使用QtWebKit来评估我被困在的页面上的javascript，最简单的方法就是将我的web会话从机械化转移到QtWebKit。
我不想对我的整个web请求使用PhantomJS、Selenium或QtWebKit；我100%希望为此目的保持机械化。我想知道如
浏览 2提问于2014-01-19得票数 1
回答已采纳
我在Rails 4应用程序中使用机械化。我创建了一个新的agent来抓取页面：
clienturl = @bid.mozs.where(is_main: true).first.attributes['url']
agent = Mechanize.new
@page = agent.get('http://' + clienturl)
@url = @page.uri
我可以做的事情，如得到uri，标题和元描述。现在，我想了解页面上图像的数量，以及这些图像中有多少缺少alt属性。机械化能做到这一点吗？
浏览 2提问于2014-05-15得票数 0
回答已采纳
regexp = /(?:status\\\":)(\d*)(?:\,)/
string = '\n{\"status\":80,\"message\":\"Test message\"}\n'
result = string.scan(regexp)[0]
puts result
为什么这行得通，但如果我这么做了
regexp = /(?:status\\\":)(\d*)(?:\,)/
string = "\n{\"status\":80,\"message\":\
浏览 0提问于2015-11-10得票数 1
1回答
我正在写一个gem，我想检查它是否正在执行http请求，以及它应该传递的参数、标头和内容。如何编写单元测试。
我使用httparty来做请求，我也使用fakeweb来测试响应后的动作。
浏览 0提问于2011-05-29得票数 1
回答已采纳
1回答
我想安装Mechanize，但它看起来像是两个宝石。我应该同时安装“机械化-下载器”和“机械化”，还是只安装“机械化”？
gem install mechanize-downloader
gem install mechanize
或者：
gem install mechanize
浏览 1提问于2013-01-21得票数 1
回答已采纳
因此，我有以下HTML代码：
<form action="blabla" blabla >
<input 1 type=blah>
<input 2 type=blah2> etc
<noscript>
<textarea name="prda" rows="3" cols="40"></textarea>
</noscript>
我想填写文本区，最好是用机械化(在Python中)，然而，表单“prda”总是给我控制找不到错误。StackO
浏览 0提问于2011-09-19得票数 1
在本教程中，有一个构建一系列加载操作的示例，如下所示：
function getJSON(url) {
let prom = new Promise((resolve, reject) => {
setTimeout(()=>{resolve(`I'm am ${url}`);}, (Math.random()*3000 + 1000));
});
return prom;
}
let story = {};
story.chapterUrls = ['www.fakegoogle.com', 'www.fakeyahoo.cn
浏览 4提问于2017-10-30得票数 0
回答已采纳
1回答
机加工和斜纹谈话
、、、
我正在为我的雇主编写一个脚本，以便从他们自己的网站获取某些数据。由于一长串的原因，我需要把数据从网站上显示出来。我发现，有些数据是通过js电话检索的.
回想起来，我应该去机械化，但我使用斜纹(我认为我可以获得机械化，因为斜纹描述自己是一个薄包装机械化)这个项目只是一个后调用完成，我非常不想重写我的所有基于the的代码机械化。
我需要提交一份没有附在表格上的职位申请。因此，我需要机械化(或类似的库)。根据the的文档，应该有一个机械化的浏览器对象，可以通过以下代码检索：
#after logging in and successfully loading pages
b = get_browse
浏览 4提问于2017-08-17得票数 0
问题：
当解析一个网站时，有一些字符会使机器无法正确地解析它。
解决方案提出的
在机械化尝试解析之前，解析来自网站的响应以删除这些字符。
或者，在机械化解析完web后删除这些字符，然后进行机械化重新解析以获得链接、表单等.
问题
如何在网站响应被解析之前访问它？
或者，我如何解析它之后，然后要求机械重新加载它？
谢谢!
浏览 4提问于2015-04-15得票数 0
我想提交一个表格，点击链接，选择一些复选框和单选按钮，然后通过我的Python程序点击按钮。我曾经使用过Perl的机械化。我在谷歌上查了一下，发现它也可以用Python
http://wwwsearch.sourceforge.net/mechanize/
不幸的是，这个链接已经死了！那么，我在哪里可以得到一些Python机械化的教程，我可以从哪里下载它？如果不是机械化，你还有什么建议？
浏览 0提问于2011-07-25得票数 4
回答已采纳
正在寻找类似于.NET的机械化的东西...
如果你不知道机械化是什么..
我将在这里维护一个建议列表。用于浏览/张贴/屏幕抓取的任何内容( WebRequest和WebBrowser控件除外)。
解析
HTMLAgilityPack -
网络应用测试
WatiN -网络应用程序测试框架(.NET) - Selenium -测试设计画布的Art - Costs
工具
适用于Firefox的Firebug 适用于IE的IE浏览器开发人员工具栏Chrome有一个too
便笺
WatiN和我想要的很接近，除了它打开了一个浏览器，这很烦人，同时也很棒。这取决于你在做什么。
浏览 14提问于2010-01-28得票数 16
回答已采纳
2回答
因此，我正在测试爬虫的各个部分，现在我遇到了一个难题:模拟实际的请求。
我不想在每次运行规范时都发出请求。
有没有人尝试过在测试助手中启动ever服务器？
就像这样
myserver = SomeServerLib.start('localhost', some_port)
myserver.serve_directory(a_directory_with_some_html_files)
谢谢!
浏览 0提问于2010-02-05得票数 1
回答已采纳
我正在使用Python3.6，而我必须填写一个表单。不幸的是，机械化不能在Python3上工作。你建议用什么来替代机械化呢？
浏览 0提问于2010-04-18得票数 23
1回答
如何存根调用url (例如 )并返回名为123.png的图像？
我使用的是Rails 3.2，Carrierwave。我试过Fakeweb，但有点迷惑。
浏览 2提问于2012-07-27得票数 2
回答已采纳
下面是HTML的一个示例：
<td colspan="3">TARGET</td>
<td>NOT TARGET</td>
如何使用Ruby的机械化gem来仅针对colspan="3"的<td>
浏览 1提问于2012-11-17得票数 0
回答已采纳
3回答
Python抓取线程性能
、、、、
我有一个需要测试功能和性能的web应用程序，我们计划使用的部分测试套件已经用Python编写了。当我第一次写这篇文章的时候，我用机械化作为网络抓取的手段，但是它看起来太笨重了，我无法做我想做的事情(要么是我错过了什么)。
我试图做的事情的基本布局如下所示。都是物体。
用户有Comm (以前是我的东西和机械之间的接口)
Comm有浏览器(持有我的CookieJar、urllib2和BeautifulSoup对象，过去是机械化的)
浏览器有表单(以前是机械处理的)
现在，就线程而言，我已经把它放下了。在处理GIL和运行Python的单独实例之间将根据需要进行调整，但建议将被采纳
浏览 4提问于2011-02-15得票数 2
回答已采纳
2回答
我正在连接一个页面，它需要一个登录与机械。它在首页使用了一些javascript，使得直接使用机械化变得更加困难。我知道我必须向log-in提交什么表单-总是由js生成的表单，每次都是一样的。我怎么才能让机械化只提交一个不在页面上的自定义表单呢？基本上等同于，但在Python语言中。
浏览 1提问于2011-02-08得票数 4
回答已采纳
1回答
我试图添加cookie到浏览器的机械化，所以我不会重定向到单击确定同意页面。
我看过了，但能想出怎么做。
我已经可以用urllib2来做了，但是我希望用机械化来做。
import urllib2
opener = urllib2.build_opener()
opener.addheaders.append(('Cookie', 'ASPSESSIONIDAEBDRQRT=HBODDIACJNHNMHNHBBIHOEGO; ASPSESSIONIDCEAATTSQ=ECNDDBKCJBMAHBIJOCJAEPEO'))
u = opener.open(&#
浏览 5提问于2015-07-14得票数 0
回答已采纳
3回答
我真的很喜欢Ruby中的fakeweb在测试时用来伪造http请求的方式。有没有类似的库或者Python的替代品？
浏览 0提问于2010-01-29得票数 8
回答已采纳
我怎样才能得到一个网站的所有链接使用ruby机械化gem？Mechanize是否可以像Anemone gem一样：
Anemone.crawl("https://www.google.com.vn/") do |anemone|
anemone.on_every_page do |page|
puts page.url
end
end
我是网络爬虫的新手。提前感谢！
浏览 1提问于2014-09-11得票数 6
我正在使用urllib2爬行一些站点，并将其机械化，但其中一些会给我带来错误。
当我使用urlllib2爬行时，它给出了HTTPError: HTTPError()
urllib2代码
import urllib2
response=urllib2.urlopen('http://proxygaz.com/country/india-proxy/').read()
误差
HTTPError: HTTPError()
当我使用机械化爬行时，它给了我httperror_seek_wrapper：>>
机械化代码
import mechanize
from mec
浏览 1提问于2015-01-21得票数 2
回答已采纳
因为Selenium可以遍历javascript网站(机械化不能)，而机械化可以发出post请求( Selenium不能)，所以在某些情况下，将两者结合使用是非常强大的。
+Zarkonnen对的回答表明，一个人最初会使用Selenium，然后机械化会介入到post请求中，而不是将它传递回Selenium。
如何将机械化post方法集成到硒中？
我正在使用这些库的Ruby版本，但是任何信息都是有用的。
编辑，这里有一个Venn，希望能澄清我正在寻找的功能。
在这种情况下，"Javascript网站“只是指在没有启用javascript的情况下其功能无法工作的网站。意思是说，我
浏览 3提问于2016-02-26得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
