我想抓取一个网站，但它有一些javascript命令，可以创建我想要放入程序中的元素。我如何在这个网站上执行javascript命令，然后在它有新元素后将其清除？我正在使用Jsoup库进行抓取和java ofc。
浏览 17提问于2017-02-08得票数 0
回答已采纳
实际上，用jsoup库实现的爬虫代码可以工作，因为我的请求的结果是一些HTML代码，但是当我搜索一个明确写在网站上的单词时，没有找到它，因为一些div的来自于空的爬虫。然后我意识到，当您导航到网站并右键单击‘查看页面源’时，我得到了与相同的代码。当我将代码与进行比较时，右键单击“->”检查“”时，代码与“查看页面源”中的不同。
浏览 0提问于2019-09-12得票数 1
回答已采纳
1回答
使用JSoup，我一直试图选择所有h2节标题节点(进入Elements列表)：
Elements sectionheadings = dom.doc.select("h2[class=section-heading我知道它不是空的，因为我可以使用Firebug查看它。选择所有这类JSoup标题的适当h2语法是什么？(我在那里至少能看到4个)
浏览 2提问于2015-11-12得票数 2
回答已采纳
1回答
硒对洁汤性能的影响
、、、
我正在做一些用Selenium做的web抓取(所以使用这个不是问题)。当我必须识别一个元素(即:获得一个src属性)时，我应该使用Selenium内部选择引擎，还是应该使用Jsoup (这要容易得多)。所以，问题是: Jsoup的使用性能这么好吗？我应该尽可能多地使用硒吗？谢谢
浏览 3提问于2015-11-29得票数 8
1回答
文档类型和公司的信息String keyword = "http://www.manta.com/mb_43_E7_24/manufacturing/minnesota.php";
Document doc = Jsoup.connecten-US; rv1.8.1.6) Gecko&
浏览 1提问于2012-08-26得票数 0
1回答
我试图从网站上抓取一些内容，但您必须登录才能查看特定内容。我想使用用户id和密码进行登录，并将会话cookie保存在: m.amway.com上，我尝试使用Jsoup...然而，在使用下面的代码后，我意识到Jsoup无法读取网站所基于的javascript……有没有人有方法可以用来登录、保存会话cookie和抓取内容，使用的不是Jsoup？String User, String P
浏览 0提问于2012-10-27得票数 0
回答已采纳
3回答
我目前有一个应用程序，它从用户那里获取用户名和密码，然后在webview上使用javascript命令登录并显示页面。我现在想避免使用网页视图，所以我计划使用jsoup来拉取页面的必要部分，并使用诸如文本视图之类的东西来呈现。那么，如何使用jsoup执行javascript来让用户登录，然后抓取html呢？
浏览 1提问于2014-05-16得票数 0
我正在尝试模拟学校门户登录页面上的按钮点击。然而，当我查看代码时，我只看到名称和ID，然后是一个“事件”按钮。"event“按钮显示到jquery文件的重定向，该文件将用户重定向到特定的链接。我附上了代码的一些部分。 如何在代码中启动事件以模拟按钮单击并自动重定向。 附言:我会经常检查回复，所以如果没有足够的信息，请告诉我，这样我就可以创建一个更好的问题。 [这是登录按钮代码的图片： <input id="LoginButton" style="visibility: visible" type="button" value=&#
浏览 16提问于2019-01-10得票数 3
回答已采纳
我甚至不确定是否有可能在我正在使用的文本编辑器IntelliJ上做到这一点，因为我不认为它本身就与互联网相连。我认为一种方法是使用单独的程序(而不是IntelliJ)自动转到每个网站，并将适当的信息复制到excel文档中；然后，我可以每天在运行它之前将该文件复制到我的项目中。这就是我的想法，但如果有人知道我可以使用哪种策略来克服这个障碍，我将不胜感激。 我最近学习了如何创建一个GUI来导航我的程序，这比通过控制台更容易一些；因此，在这种情况下，我的职业道德并不是障碍。
浏览 9提问于2019-12-23得票数 0
3回答
我正在尝试从一个网站抓取数据，这个网站使用javascript来加载他们的大部分内容。现在我正在使用来解析html页面，但是由于大部分内容都是使用javascript加载的，所以我还无法解析我想要的数据。
我该如何获取这个javascript内容呢？我应该先保存页面，然后使用jSoup加载和解析它吗？如果是这样，我应该在保存之前使用什么来加载javascript内
浏览 1提问于2011-08-09得票数 0
回答已采纳
1回答
我需要从一个具有大约20,000行的html表中抓取数据。然而，该表被分成200页，每页有100行。问题是，我需要单击每一行中的一个链接来访问所需的数据。我尝试使用显式等待，而不是隐式等待。
浏览 2提问于2015-07-01得票数 2
我有一个项目，要求我使用JSOUP进行网络抓取。我能够从我想要刮的网站主页上得到数据。但是，当我通过循环进入超链接并访问它而在页面中更深入地抓取时，我会得到以下错误： atorg.jsoup.UncheckedIOException.at org.jsoup.helper.HttpConnection.get(HttpConnection.java:285)
浏览 9提问于2020-01-10得票数 2
1回答
如何使用Jsoup在javascript按钮上执行单击？，然而，当我抓取html时，它给我的是登录页面的html，其中填写了页面的字段，而不是登录后的页面。所以这一定意味着Jsoup只是简单地填写了字段，但没有让我登录。我该怎么做呢？此外，登录按钮没有id元素，也没有name元素。它只有javascript。抱歉，如果我说得不够清楚，我是个新手。='login';document.form.submit();" class="btn_css&quo
浏览 0提问于2012-01-04得票数 3
1回答
我开始使用JSoup today.So作为一个例子，我从这个中抓取代理开始。import org.jsoup.nodes.
浏览 0提问于2012-11-01得票数 0
1回答
关于抓取网站内容的建议
、、、、
我试着抓取一些网站内容，使用和java的组合。将相关详细信息保存到我的数据库中，并每天进行相同的活动。但是，当我使用jsoup(来自Java类)进行解析/get时，只有最初的网站被下载用于解析。这意味着有一些网站的动态部分，我想要获取这些数据，但由于它们是
浏览 1提问于2012-07-02得票数 1
回答已采纳
2回答
刮擦时取空src
、、、、
我正在尝试刮一个网站的内容使用Jsoup。Src=解析的HTML具有空的src属性(即“”)，而当我在chrome中检查网站时，它显示的是非空的src(它没有被javascript填充)。这不仅仅是Jsoup的问题，Scrapy返回相同的结果(空的src)。我尝试过添加自定义用户代理。正在使用的站点是f
浏览 0提问于2018-06-28得票数 0
回答已采纳
我有5行简单的Jsoup代码来解析一些字符串，它可以流畅地运行并返回我想要的值的数组列表，但是在android模拟器和手机上，它什么也不返回，甚至不会给出一个错误。这就是整个代码：Elements els = doc.select("div font a");
for (int
浏览 1提问于2012-05-15得票数 0
回答已采纳
当我在像这样的安卓应用程序页面上尝试使用jsoup 时，没有找到任何图像。是因为内容是通过javascript加载的吗？现在我的代码看起来像这样：Elements media = doc.select("[src]");
}Collections.sort(finalLinks, new LinkSizeComparator());
第二
浏览 0提问于2015-05-27得票数 0
1回答
我有一个任务，我需要自动登录和抓取一个特定的网站。我是一名Java开发人员。任何与它密切合作的人都可以分享一些想法吗？
浏览 4提问于2012-01-06得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
