- 综合排序
- 最热优先
- 最新优先
- 来自专栏有趣的Python和你
python爬虫之MQL5爬虫
今天中文社区有人要爬MQL5的网站，要和其做的图表一样，这里写上原图和我画的图，代码就不上了~ 以下是我的图片 成长.png 结余.png 净值.png 表格没有做，回归的直线没有做，继续加油!
47230发布于 2018-07-03 - 来自专栏alexzhang
JAVA爬虫
所以这时候写一个小爬虫，晚上睡觉时让他勤劳的给我们打工干活就好了。不过一提到爬虫，就避不开 Python。只要一搜爬虫入门教程，满篇都是教你如何使用 Python 爬虫。 诚然，Python 简单、高效、易用以及丰富的库与爬虫框架，是新手在入门爬虫时的最佳选择。但是我们 Java 开发者就不配用 Java 写爬虫了吗？ 但是如果自己熟悉的语言有一个好上手，开箱即用的爬虫框架，一解燃眉之急，是不是就可以在短时间内高效的完成自己的目标呢？那么就分享给广大Java程序员一个好用的爬虫框架，Jsoup。 这些逻辑对于一个熟练掌握 Java 语言的程序员来说，都是很容易实现的事情。这也是为什么，我认为 Java 程序员使用自己的本职语言来开发爬虫，效率会更高一些。 爬虫只是获取数据的一个方式，对于数据的处理和使用也是非常重要的一部分。
1K20编辑于 2022-09-02 - 来自专栏微光点亮星辰
JAVA爬虫
一、HttpClient vs HttpUrlConnection 抓取一张网页的内容，通常使用HttpClient 、HttpUrlConnection，首先查了下这两个类的区别： java.net 包中提供了HttpURLConnection来访问 HTTP 协议，这个是java的标准类，什么都没封装，用起来太原始，不方便 Apache的HttpClient模块，用来提供高效的、最新的、功能丰富的支持 由于做了很多封装，性能上要比HttpURLConnection差一些，但用着方便，这里就基于此类来实现爬虫。 5. 放心，根据css选择器获取dom元素的代码是没问题哒，之所以获取不到，是因为这个价格是ajax动态加载的，普通的抓取静态网页爬虫抓不下来，此处留一坑 ，下期来补，敬请期待下期——phantomjs抓取ajax
1.1K31发布于 2020-06-15 - 来自专栏原创笔记
Java爬虫
在日常生活中，我们最先想到的爬虫是Python，它的确是一个非常方便且快捷易上手的， 但我们是否能用Java来实现python这一功能呢，让我们一起来看看~ 导入Jar包 需要用到Jsoup这个包导入即可
46950编辑于 2023-08-24 - 来自专栏nice_每一天
Java爬虫
作为一位Java爬虫的初学者，分享一下自己的心得。 所用到的jar包 org.codehaus.jettison.jar jsoup-1.7.3.jar 个人认为爬虫的实现机制： 获取Docume对象—>获取节点—>输出或者持久化 获取页面的图片地址 ; 5 import org.jsoup.nodes.Document; 6 import org.jsoup.nodes.Element; 7 import org.jsoup.select.Elements ; 4 import java.io.File; 5 import java.io.FileOutputStream; 6 import java.io.IOException; 7 import java.io.InputStream; 8 import java.net.HttpURLConnection; 9 import java.net.URL; 10 import java.util.Date
1.2K30发布于 2018-09-12 - 来自专栏全栈程序员必看
java爬虫系列（一）——爬虫入门
项目地址 简单爬虫实现 导入项目 编写爬虫 启动爬虫 同系列文章 爬虫框架介绍 java爬虫框架非常多，比如较早的有Heritrix，轻量级的crawler4j，还有现在最火的WebMagic。 Heritrix 优势 java的第一批爬虫框架，拥有独立的后台页面，可以实现界面操作去爬去网页。 劣势 相对其他框架，代码相对臃肿，上手难度较高，解析网页不如其他框架灵活。 编写爬虫 打开crawlers文件夹，里面每个文件都是一个爬虫，我们可以学习一下Basic，这是开发者写的最简单的爬虫demo，其他的都可以以此内推。 ; import java.util.List; import java.util.Map; /** * @author 汪浩淼 [et.tw@163.com] * @since 2015/10/21 图(1) 同系列文章 java爬虫系列（二）——爬取动态网页 java爬虫系列（三）——漫画网站爬取实战 java爬虫系列（四）——动态网页爬虫升级版 java爬虫系列（五）——今日头条文章爬虫实战
3.2K10编辑于 2022-09-08 - 来自专栏营琪的小记录
爬虫入门（Java）
网络爬虫 网络爬虫是什么？是一种按照一定规则，自动抓取网页信息的脚本。对于获取公开数据，是一个效率很高的工具。本篇文章先介绍HttpClient，Jsoup这两个开源工具。 ; import java.util.ArrayList; import java.util.List; public class jsoupTest { public static void 从元素中获取所有属性attributes href="https://spec.csdn.net" lists.add(element.text());//5. (element3.toString());//专题 } } 总结 HttpClient、Jsoup这两个工具是绝大多数爬虫框架的基础 找几个自己感兴趣的点，爬数据下来看看，后面会讲一下爬虫多线程、爬虫模拟点击、模拟登陆、代理Ip设置、去重。。。
1.7K20发布于 2019-11-04 - 来自专栏用户4184852的专栏
JAVA爬虫 – Jsoup
jsoup 介绍 jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。 Element element4 = doc.getElementsByAttribute("").last(); // 根据属性和属性值获取 Element element5 id"); // 4，从元素中获取所有属性 attributes Attributes str4 = element.attributes(); // 5， 从元素中获取文本内容 text String str5 = element.text(); 5，使用选择器获取元素 selector选择器概述 tagname：通过标签查找元素，比如：span s_name"); // ancestor child：查找某个元素下子元素，比如：.city_con li 查询“city_con”下的所有li Elements select5
1.6K20编辑于 2022-06-27 - 来自专栏Java大联盟
Java爬虫入门
这次为大家分享不一样的Java，使用Java完成简单的爬虫，爬取某网站文章中的插图，当然你也可以爬感兴趣的其他资源。 但Java同样不逊色，它也有自己独特的对html解析的lib库，今天，我们就使用Jsoup，和HttpClient做一个简单的图片爬虫。 环境准备： 1.自己喜欢的IDE（本文使用的是IDEA）。 5.使用Jsoup的解释器对html文档进行解析。 每循环一次，让下载线程睡眠一会，是因为太过频繁的二进制读取，会使得服务器警觉，从而关闭网络链接，爬虫自然也就失效了，当然本次的教程是初级教程，图片都很少，只是为了让大家感受下Java爬虫的实现过程，对比 源码： 链接: https://pan.baidu.com/s/16dZQtK5_yHuqPhCIAFF9QA 密码: tgid
2.3K50发布于 2018-07-02 - 来自专栏全栈程序员必看
java爬虫实现
爬虫入门 手写一个Java爬虫 本文内容 涞源于 罗刚 老师的 书籍 << 自己动手写网络爬虫一书 >> ; 本文将介绍 1: 网络爬虫的是做什么的? 2: 手动写一个简单的网络爬虫; 1: 网络爬虫是做什么的? 这就是网络爬虫主要干的工作. 下面是流程图: 通过上面的流程图 能大概了解到 网络爬虫 干了哪些活 ,根据这些 也就能设计出一个简单的网络爬虫出来. 文章主要参考： 1： 自己动手写网络爬虫； 2： https://github.com/CrawlScript/WebCollector WebCollector是一个无须配置、便于二次开发的JAVA 爬虫框架（内核），它提供精简的的API，只需少量代码即可实现一个功能强大的爬虫。
92740编辑于 2022-09-08 - 来自专栏快乐阿超
java简单爬虫
今天手把手教你写爬虫！ 注意！仅供学习交流使用，请勿用在歪门邪道的地方！技术只是工具！关键在于用途！ 重点关注：下列情况下，爬虫有可能违法，严重的甚至构成犯罪。 1.爬虫程序规避网站经营者设置的反爬虫措施或者破解服务器防抓取措施，非法获取相关信息，情节严重的，有可能构成“非法获取计算机信息系统数据罪”。 2.爬虫程序干扰被访问的网站或系统正常运营，后果严重的，触犯刑法，构成“破坏计算机信息系统罪” 3.爬虫采集的信息属于公民个人信息的，有可能构成非法获取公民个人信息的违法行为，情节严重的，有可能构成“侵犯公民个人信息罪 ; import java.util.ArrayList; import java.util.List; /** * @ClassName: BeCarefulInPrison * @Date:
95820编辑于 2022-08-16 - 来自专栏Python数据科学
Python爬虫架构5模板 | 你真的会写爬虫吗？
为啥标题是这样，因为我们日常写小爬虫都是一个py文件加上几个请求，但是如果你去写一个正式的项目时，你必须考虑到很多种情况，所以我们需要把这些功能全部模块化，这样也使我们的爬虫更加的健全。 2、基础爬虫的架构以及运行流程 首先，给大家来讲讲基础爬虫的架构到底是啥样子的？JAP君给大家画了张粗糙的图： ? 从图上可以看到，整个基础爬虫架构分为5大类：爬虫调度器、URL管理器、HTML下载器、HTML解析器、数据存储器。 下面给大家依次来介绍一下这5个大类的功能： 1. 5.数据存储器：就是将HTML下载器发送过来的数据存储到本地。 4、总结 我们这里简单的讲解了一下，爬虫架构的五个模板，无论是大型爬虫项目还是小型的爬虫项目都离不开这五个模板，希望大家能够照着这些代码写一遍，这样有利于大家的理解，大家以后写爬虫项目也要按照这种架构去写
2.3K41发布于 2019-05-10 - 来自专栏java后端
java怎么爬虫呢？
Part1文章首推 支付宝接口对接 高德地图调用 验证码登录 QQ邮箱登录 Part2今日主题:java爬虫 1简介 相信爬虫大家是有听过的，听到最多的是python爬虫，但是我们也可以用java来干
84510发布于 2021-06-22 java接口防爬虫
Java接口防爬虫的原理通常涉及到以下几个方面：验证码（Captcha）：验证码是一种常见的反爬虫技术，通过让用户解决图像中的文字、数字或几何图形问题来证明其是人类用户。 在设计Java接口防爬虫的案例时，我们可以结合多种策略来提高安全性。 以下是一个简单的例子，展示了如何使用Java来创建一个简单的防爬虫接口： 首先，我们创建一个简单的Web应用程序，使用Servlet来处理接口请求。在这个例子中，我们将使用一个简单的验证码来防止爬虫。 生成验证码图片：import java.awt.Color;import java.awt.Font;import java.awt.Graphics;import java.awt.image.BufferedImage rand = new Random(); StringBuilder captcha = new StringBuilder(); for (int i = 0; i < 5;
44800编辑于 2024-11-17- 来自专栏kali blog
Java爬虫框架：jsoup
jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。
1.5K10编辑于 2021-12-17 - 来自专栏爬虫逆向案例
Java爬虫框架WebMagic
WebMagic的架构设计参照了Scrapy，而实现则应用了HttpClient、Jsoup等Java成熟的工具。 开始开发第一个爬虫 项目中添加了WebMagic的依赖之后，即可开始第一个爬虫的开发了！ 下面是一个测试，点击main方法，选择“运行”，查看是否正常运行。 .thread(5) //启动爬虫 .run(); } } 追加请求的链接 先把链接通过正则匹配出来或者拼接出来 爬虫的配置 Spider: 爬虫程序的入口，Spider的其他组件（Downloader、Scheduler、Pipeline）都可以通过set方法来进行设置。 /webmagic")) //开启5个线程抓取 .thread(5) //启动爬虫 .run(); } 模拟
2.1K10发布于 2021-11-22 - 来自专栏Python爬虫逆向教程
Python爬虫之文件存储#5
爬虫专栏：http://t.csdnimg.cn/WfCSx 文件存储形式多种多样，比如可以保存成 TXT 纯文本形式，也可以保存为 JSON 格式、CSV 格式等，本节就来了解一下文本文件的存储方式。 数组：数组在 JavaScript 中是方括号 [] 包裹起来的内容，数据结构为 ["java", "javascript", "vb", ...] 的索引结构。 运行结果如下： json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes: line 3 column 5 10003', 'Jordan', 21]]) 输出效果是相同的，内容如下： id,name,age 10001,Mike,20 10002,Bob,22 10003,Jordan,21 但是一般情况下，爬虫爬取的都是结构化数据
1.3K10编辑于 2024-02-10 - 来自专栏AI科技大本营的专栏
5行代码就能入门爬虫？
所以，我在写第一遍的时候，只用了5行代码，就成功抓取了全部所需的信息，当时的感觉就是很爽，觉得爬虫不过如此啊，自信心爆棚。 reportTime=2017-12-31&pageNum=%s' % (str(i)))[3] 5 tb.to_csv(r'1.csv', mode='a', encoding='utf_8_ sig', hea 3000+ 上市公司的信息，安安静静地躺在 Excel 中 ▌不断完善 有了上面的信心后，我开始继续完善代码，因为5行代码太单薄，功能也太简单，大致从以下几个方面进行了完善： 增加异常处理 经过以上这几点的完善，代码量从原先的5行增加到了下面的几十行： 1import requests 2import pandas as pd 3from bs4 import BeautifulSoup 4from lxml import etree 5import time 6import pymysql 7from sqlalchemy import create_engine 8from
58220发布于 2019-03-06 - 来自专栏二进制文集
Java 知乎爬虫
基于 Java 的 webmagic，开发极其简单，这个知乎爬虫的代码主体就几行，而且只要专注提取数据就行了（其实是因为我也不知道其它 Java 的爬虫框架）。 按照上面的分析，也没有必要将关注了他的用户放入待爬虫的列表。 仅followerCount>10的用户，才加入待爬虫列表。 如果redis中已经有了这个人的信息，则将其排除掉，也不要将其关注者放入待爬虫列表，否则会导致非常巨大的冗余，爬了一些人之后就会非常慢 分析爬虫结果 代码贴在文章结尾处（很短，核心就50行左右）。 先分析下爬虫结果（仅爬到了3w数据，第一次想分析数据时，误删了所有爬虫数据……现在又爬了一遍，写博客的时候才爬到3w，就这样吧~），「粉丝用户最多的用户」、「回答数最多的用户」就不分析了。 代码 pom 文件 需要爬虫框架 webmagic。
1.6K40发布于 2018-10-08 - 来自专栏老九学堂
Java也能做爬虫？？？
爬虫实现原理 网络爬虫基本技术处理 网络爬虫是数据采集的一种方法，实际项目开发中，通过爬虫做数据采集一般只有以下几种情况： 1） 搜索引擎 2） 竞品调研 3） 舆情监控 4） 市场分析 网络爬虫的整体执行流程 7） 直到队列中没有新的内容，爬虫执行结束。 这样完成爬虫时，会有一些概念必须知道的： 1） 深度（depth）：一般来说，表示从种子页到当前页的打开连接数，一般建议不要超过5层。 1 package com.plane; 2 3 import java.io.*; 4 import java.text.ParseException; 5 import java.text.SimpleDateFormat 1 package com.exe1; 2 /** 3 * 读取当当网下机械表的数据，并进行分析 4 * sunwengang 2017-08-13 20：00 5 */ 6 import java.io 例如：准备好5个线程来同时进行爬虫操作。 这些线程需要标注出当前状态，是在等待，还是在爬取。 如果是等待状态，那么就需要取得集合中的一个连接，来完成爬虫操作。
1.2K20发布于 2020-12-14
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号