要使用Java从网站检索URL,您可以使用Java的网络编程功能和HTML解析库。以下是一个简单的示例,说明如何使用Java从网站检索URL。
<dependency>
<groupId>org.jsoup</groupId>
<artifactId>jsoup</artifactId>
<version>1.14.3</version>
</dependency>
</dependencies>
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.io.IOException;
public class URLRetriever {
public static void main(String[] args) {
String url = "https://www.example.com";
try {
Document document = Jsoup.connect(url).get();
Elements links = document.select("a[href]");
for (Element link : links) {
String href = link.attr("abs:href");
System.out.println(href);
}
} catch (IOException e) {
e.printStackTrace();
}
}
}
这个示例使用了jsoup库来解析HTML并提取所有的URL。Jsoup.connect(url).get()
方法连接到指定的URL,并返回一个Document
对象。document.select("a[href]")
选择所有具有href
属性的<a>
元素,并将它们存储在Elements
对象中。最后,我们遍历所有链接并打印出它们的绝对URL。
请注意,这个示例仅适用于静态HTML页面,如果您需要检索动态加载的内容,您可能需要使用其他方法,例如使用Selenium WebDriver。
领取专属 10元无门槛券
手把手带您无忧上云