前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >使用BeautifulSoup 爬取一个页面上的所有的超链接

使用BeautifulSoup 爬取一个页面上的所有的超链接

作者头像
梅花
发布于 2020-09-28 08:06:08
发布于 2020-09-28 08:06:08
1.7K00
代码可运行
举报
运行总次数:0
代码可运行
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# !/usr/bin/python
# -*-coding:utf-8-*-

import urllib
from bs4 import BeautifulSoup

response = urllib.urlopen("http://www.imau.edu.cn")
html = response.read()
data = html.decode('utf-8')
soup = BeautifulSoup(data)
# print soup.findAll('span')


for item in soup.find_all("a"):
    if item.string == None:
        continue
    else:
        # print type(item.string)

        print item.string+":"+item.get("href")

运行代码,电脑上需要安装BeautifulSoup的库

目标网址:www.imau.edu.cn

爬取的结果:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
首    页:index.htm
农大概况:ndgk.htm
农大简介:ndgk/ndjj.htm
党政领导:ndgk/dzld.htm
农大校史:http://xsg.imau.edu.cn/
图说农大:tsnd.htm
机构设置:jgsz.htm
纪委、监察审计处 :http://jiwei.imau.edu.cn/
党政办公室(校友会办公室):http://dangban.imau.edu.cn
组织部(统战部、党校):http://zzb.imau.edu.cn
宣传部(新闻中心):http://xcb.imau.edu.cn
工会:http://gonghui.imau.edu.cn
团委(彩虹网):http://rainbow.imau.edu.cn
教务处:http://jwc.imau.edu.cn
人事处:http://rsc.imau.edu.cn
科技处:http://kyc.imau.edu.cn/
研究生院(研究生工作部):http://yjsy.imau.edu.cn
后勤管理处:http://hqc.imau.edu.cn
财务处:http://cwc.imau.edu.cn/
学生工作处(学生工作部):http://xsc.imau.edu.cn
招生就业处:http://zjc.imau.edu.cn/
国有资产管理处:http://gzc.imau.edu.cn
保卫处:http://bwc.imau.edu.cn/
离退休人员工作处:http://laogan.imau.edu.cn
国际交流与合作处(港澳台办公室、中加可持续农业研究与发展中心):http://waiban.imau.edu.cn
动物科学学院 :http://dky.imau.edu.cn/
兽医学院:http://shouyi.imau.edu.cn
农学院:http://nxy.imau.edu.cn
林学院:http://linxue.imau.edu.cn
草原与资源环境学院:http://grass.imau.edu.cn
沙漠治理学院:http://smzl.imau.edu.cn
机电工程学院:http://jidian.imau.edu.cn
水利与土木建筑工程学院:http://sjy.imau.edu.cn
材料科学与艺术设计学院 :http://cyy.imau.edu.cn
经济管理学院 :http://jgy.imau.edu.cn
食品科学与工程学院 :http://spy.imau.edu.cn
计算机与信息工程学院:http://jsj.imau.edu.cn
生命科学学院:http://sky.imau.edu.cn
人文社会科学学院:http://renwen.imau.edu.cn
外国语言学院:http://wy.imau.edu.cn
理学院:http://lxy.imau.edu.cn
能源与交通工程学院:http://nyjtxy.imau.edu.cn
体育教学部:http://tyjxb.imau.edu.cn
马克思主义学院:http://malie.imau.edu.cn
国际教育学院:http://gjjyxy.imau.edu.cn
继续教育学院(中央农业干部教育培训中心农大分院):http://jjy.imau.edu.cn
职业技术学院:http://zy.imau.edu.cn
学报编辑部:http://xuebao.imau.edu.cn
图书馆:http://tsg.imau.edu.cn
档案馆:http://dangan.imau.edu.cn
科技园区管理办公室 :http://kejiyq.imau.edu.cn
信息与网络中心:http://nic.imau.edu.cn
发展研究室()(高等教育研究所):http://fzh.imau.edu.cn
基础教育中心:http://jcjy.imau.edu.cn
资产经营公司:http://zichan.imau.edu.cn/
机关党总支:http://jiguan.imau.edu.cn/
后勤党总支:http://houqin.imau.edu.cn
内蒙古农业大学校友会:http://xiaoyou.imau.edu.cn/
农林工程设计研究院:http://nlsjy.imau.edu.cn
农大关工委:http://ggw.imau.edu.cn
农大老教授协会:http://professor.imau.edu.cn
农大学生公寓:http://xsgy.imau.edu.cn
农大医院:http://hospital.imau.edu.cn/
农大附中(附小):http://ps.imau.edu.cn
农大幼儿园:http://yey.imau.edu.cn
内蒙古农牧渔业生物实验研究中心:http://cszx.imau.edu.cn
教学科研:jxky.htm
教学工作:jxky/jxgz.htm
科研动态:jxky/kydt.htm
招生就业:http://zjc.imau.edu.cn/
招生网:http://zhaosheng.imau.edu.cn
就业网:http://job.imau.edu.cn
师生风采:ssfc.htm
院部动态:ybdt.htm
视频专栏:spzl.htm
专题网站:ztwz.htm
网络电视:wlds.htm
数字校报:http://xiaobao.imau.edu.cn
敕勒川网:http://chilechuan.imau.edu.cn
English:http://waiban.imau.edu.cn/
更多>>:index/zhxw.htm
1:javascript:u_u3_icn.changeimg(0)
2:javascript:u_u3_icn.changeimg(1)
3:javascript:u_u3_icn.changeimg(2)
4:javascript:u_u3_icn.changeimg(3)
5:javascript:u_u3_icn.changeimg(4)
6:javascript:u_u3_icn.changeimg(5)
学校举办第十一届大学生“大地母亲”蒙古语诗歌大赛:info/1035/23508.htm
学校举办郝龙彪牺牲十五周年纪念活动:info/1035/23505.htm
我校学生在第十届“挑战杯”全区大学生课外学术科技...:info/1035/23431.htm
自治区“平安校园”创建检查验收组来校进行检查评估:info/1035/23423.htm
学校举办第三届“心悦杯”校园心理微电影大赛:info/1035/23412.htm
内蒙古自治区第一所文化寻力研发中心和基地学校落地...:info/1035/23409.htm
网络电视:校园新闻201712月第二十六期(试运行):http://www.imau.edu.cn/info/1402/23404.htm
王万义校长深入教职工党支部宣讲党的十九大精神:info/1035/23398.htm
教育部:中共教育部党组关于印发《高校思想政治工作...:info/1037/23394.htm
动科院师生共同完成的科研论文“大规模全基因组重测...:info/1035/23396.htm
学校与波兰波兹南生命科学大学签署合作意向书:info/1035/23388.htm
学校召开学习贯彻党的十九大精神形势政策报告会:info/1035/23379.htm
更多>>:index/tzgg.htm
关于表彰2017年度优秀通讯员、优秀学生记者...:http://xcb.imau.edu.cn/info/1003/2662.htm
关于发放2017年生源地信用助学贷款的通知:http://zizhu.imau.edu.cn/info/1003/2803.htm
关于尽快完成2016年度档案归档工作的通知:http://dangban.imau.edu.cn/info/1043/2585.htm
关于举办软件正版化培训的通知:http://dangban.imau.edu.cn/info/1043/2584.htm
2017年下半年普通话考试时间通知:http://jwc.imau.edu.cn/info/1114/4236.htm
关于做好2018年春季学期网上选课工作的通知:http://jwc.imau.edu.cn/info/1113/4235.htm
内蒙古农业大学20162017年度信息公开报告:http://dangban.imau.edu.cn/info/1043/2582.htm
关于做好2017年度分党委(党总支)书记抓党建...:http://dangban.imau.edu.cn/content.jsp?urltype=news.NewsContentUrl&wbtreeid=1039&wbnewsid=2583
内蒙古农业大学文明校园创建工作实施方案:http://dangban.imau.edu.cn/content.jsp?urltype=news.NewsContentUrl&wbtreeid=1039&wbnewsid=2566
更多>>:index/mtnd.htm
【内蒙古日报】文化寻力研发中心和基地学校在内农大授牌:info/1025/23407.htm
【华夏蒙商网】王召明:执着20载 只为种好一颗草——记蒙草创...:info/1025/23139.htm
【内蒙古足球频道】这个内蒙古小伙厉害了!花式足球玩到国外:info/1025/23113.htm
【内蒙古卫视】探索“三位一体”教学模式,我校云畜牧平台受...:info/1025/23111.htm
【内蒙古日报】透彻深入宣讲 鲜活生动解读:info/1025/23083.htm
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2017-12-15 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
火龙果如何科学保鲜:转录组分析探讨火龙果的保鲜机理
转录分析揭示贮藏过程中新型超氧化物清除剂胰蛋白酶调控火龙果内源活性氧代谢的关键基因及蛋白互作网络
Chris生命科学小站
2023/02/28
4150
火龙果如何科学保鲜:转录组分析探讨火龙果的保鲜机理
Stata | 2020年国家社科基金立项名单分析
刚在群里看见今年社科基金立项名单,想着了解下学科、单位和课题名称的情况,所以用 Stata 整理和粗略分析了一下。用表格贴入公众号太长,不便于浏览,所以表格中就只放排在前几位的几个条目。更全的分析可以前往我的博客(http://lgspace.top/)查看。
PyStaData
2020/09/14
1K0
Python分析西游记字数+爬虫初步
UnicodeDecodeError: 'gbk' codec can't decode byte 0xfe in position 575056: illegal multibyte sequence
云深无际
2021/07/23
6700
Python分析西游记字数+爬虫初步
学大数据哪家强?2018全国高职院校“大数据技术与应用” 专业排行榜
导读:在高职院校开设大数据技术与应用专业,符合当今社会经济发展对专业技能型人才的需要。
IT阅读排行榜
2018/09/29
9.2K0
学大数据哪家强?2018全国高职院校“大数据技术与应用” 专业排行榜
构建网安人才队伍,赋能数字经济“基建”丨 2021西湖论剑·网络安全大会网安人才队伍建设分论坛成功举办
由中国网络安全审查技术与认证中心、教育部高等学校网络空间安全专业教学指导委员会联合主办,安恒信息承办的2021西湖论剑·网络安全大会网安人才队伍建设分论坛于4月24日在杭州成功举办。
安恒网络空间安全讲武堂
2021/05/08
1.3K0
构建网安人才队伍,赋能数字经济“基建”丨 2021西湖论剑·网络安全大会网安人才队伍建设分论坛成功举办
教育部:35所高校获批AI专业、203所获批数据科学专业
导读:近日,教育部印发了《教育部关于公布2018年度普通高等学校本科专业备案和审批结果的通知》。
IT阅读排行榜
2019/04/25
1.2K0
教育部:35所高校获批AI专业、203所获批数据科学专业
第三批国家“万人计划” 教学名师入选人员名单公布
教育部日前印发通知,公布了第三批国家“万人计划”教学名师入选名单,共195人。据悉,中央财政将为每一位入选者提供50万元特殊支持经费。 此次入选的国家“万人计划”教学名师涵盖各级各类学校,其中高校教师117人,中等以下学校(含普通中小学、中职、幼儿园、特殊教育学校等)教师78人。平均年龄53岁,地域上涵盖了全国31个省(区、市)及新疆生产建设兵团,学科门类包含工学、理学、文学等全部13个学科门类,以及中等以下学校的综合实践、科技教育、聋哑教育等相关专业,具有广泛的代表性。 国家“万人计划”教学名师是国家高
WZEARW
2018/04/08
2.5K0
【2018年高校人工智能学院报考指南】第一批“00后”高考,数学满分同学看过来
新智元报道 编辑:克雷格、李静怡 【新智元导读】今天高考迎来了数学考试。数学不好能否学好人工智能?本科生学人工智能专业是否过早?北大黄铁军教授、南大俞扬副教授、上交大卢策吾教授进行了答疑解惑。 第
新智元
2018/06/22
1.2K0
带你来看全国3000所高等院校分布
截至2020年月30日,全国高等学校共计3005所,其中:普通高等学校2740所,含本科院校1272所、高职(专科)院校1468所;成人高等学校265所。本名单未包含港澳台地区高等学校。
可以叫我才哥
2021/08/05
1.2K0
CCDC下载以及安装
位于英国剑桥大学的剑桥晶体数据中心(CCDC)自1965年起从事晶体数据的收集、整理与数字化工作。剑桥结构数据库(Cambridge Structural Database,CSD)是该中心同美国Brookhaven国家实验室合作的成果,基本上包括已发表的所有原子个数(包括氢原子)在500以内的有机及金属有机化合物晶体数据,并对收集的数据进行严格评审。剑桥结构数据库包括功能完整的应用软件,不仅具有数十种查询化合物的方法,而且提供了分子结构信息统计方法和三维图像演示方法,以帮助研究人员寻找、观察、分析和总结有关的化合物信息。
DrugScience
2021/05/14
7.8K0
CCDC下载以及安装
98转出0转入,985高校土木工程沦为“天坑”引热议
羿阁 发自 凹非寺 量子位 | 公众号 QbitAI 一份转专业录用名单,直接把土木工程推向了舆论焦点。 事情是这样的。 前不久,湖南大学公示了2022年本科生转专业的一份名单。 然后网友们惊奇地发现,土木工程学院共转出98人,人数最多不说,竟然还无一人转入。 对比其他学院有进有出,可以说非常惨淡了。 △图源:网友整理 不仅如此,把范围放大到今年高考的录取情况,土木专业也频频遇冷。 例如同济大学土木工程专业在河南招生的投档分比去年下降了103分、东南大学的土木交通材料实验班录取分数在整个学校垫底、吉林大学
量子位
2022/08/26
2920
98转出0转入,985高校土木工程沦为“天坑”引热议
史上首次,45岁计算机大牛蒋濛当选普渡大学校长!
---- 新智元报道   编辑:编辑部 【新智元导读】普渡大学史上首位华裔校长诞生!45岁计算机大牛蒋濛当选,本硕博毕业于斯坦福,产学研大满贯的他,此前曾屡拒其他名校。 刚刚,年仅45岁的华裔科学家蒋濛被任命为美国普渡大学第13任校长。 这位出生于中国天津的科学家,此前曾是多所美国大学争抢的「香饽饽」,但他都拒绝了邀请,选择留在普渡大学。 蒋濛自2017年起在普渡大学任John A. Edwardson工程学院院长,自2021年4月起担任负责战略的执行副校长。 此次任命也使他成为该校历史上首位华裔校长
新智元
2022/06/13
4770
史上首次,45岁计算机大牛蒋濛当选普渡大学校长!
青岛理工大学官网仿制Demo
话不多说 先上图 标题 布局哈: <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8">
编程张无忌
2021/01/26
5890
青岛理工大学官网仿制Demo
高考+考研,如何选择人工智能相关专业?
小编结合相关资料,整理出与AI紧密相关的国内高校与科研院所名单,希望能帮到小伙伴们
用户1386409
2018/07/26
2K0
【热点专刊】大数据治理的理论与技术(附链接)
来源:软件学报微站本文约2500字,建议阅读5分钟本专题旨在探究大数据治理所面临的核心技术挑战。 大数据治理的理论与技术专题 数字经济时代, 数据已成为新型生产要素, 大数据技术更是数据要素市场发展的核心科技引擎。然而, 近年来大数据使用中普遍存在着“重采集轻管理、重规模轻质量、重利用轻安全”的现象。科学而有效地进行大数据治理将有助于提升数据质量、降低管理成本、增强决策能力。本专题旨在探究大数据治理所面临的核心技术挑战, 面向数据的全生命周期, 不仅研究劣质数据的清洗与修复等数据治理技术, 也讨论隐私安全与
数据派THU
2023/03/29
8400
【热点专刊】大数据治理的理论与技术(附链接)
02_输入检索词自动爬取百度搜索页标题信
背景: 在百度每次输入关键词检索后,会出现很多的检索页,不利于有效阅读, 为更方便收集检索信息,编写了一个可以收集每个检索页与检索词相关的十条检索信息(百度在每个检索页放置十条检索标题信息)。 可以根据需要选择爬取多少检索页,通过修改main()函数的depth变量 1 import urllib.request 2 import re 3 4 def get_html_text(url,data_lst,depth): 5 7 for i in range(depth): 8
py3study
2020/01/17
4790
机器人工程专业(080803T)的学科特色与开设高校名单详细版(2018年12月更新)
https://blog.csdn.net/ZhangRelay/article/details/83988827
zhangrelay
2019/01/23
6.8K0
10亿美金加持,MIT设立人工智能新学院,明年秋季开学
美国麻省理工大学(MIT)在人工智能领域一直不落俗套,它开发的人工智能和自动驾驶课程已经成为了行业的标杆。
大数据文摘
2018/10/18
4270
北大直博保送生论文抄袭后续!南开大学:留校察看一年
伊同学是2019级学生,今年读大四。而留校察看期为2022年11月7日到2023年11月6日,因此,伊同学拿到毕业证的时间会晚一年。
新智元
2023/01/07
5950
北大直博保送生论文抄袭后续!南开大学:留校察看一年
我爬取了知乎上大学相关话题中的热门高赞问答,其中是否有你大学生活的影子呢?
你的大学生活过得怎么样?充实?有趣?有遗憾?本文我们使用 Python 爬取知乎上大学相关话题中的热门高赞问答,看看是否有你熟悉的场景。
Python小二
2020/08/18
7900
我爬取了知乎上大学相关话题中的热门高赞问答,其中是否有你大学生活的影子呢?
推荐阅读
相关推荐
火龙果如何科学保鲜:转录组分析探讨火龙果的保鲜机理
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档