文章/答案/技术大牛

发布

社区首页 >问答首页 >如何用python爬取数据并保存到excel？

问如何用python爬取数据并保存到excel？

提问于 2021-01-09 14:16:45

回答 1关注 0查看 347

利用python爬取豆瓣电影排行榜（https://movie.douban.com/chart)的数据并保存到excel中。

用相同代码爬取网页豆瓣top250的数据可以爬取到excel中，但将网址及相关信息改为网页豆瓣电影排行榜中的信息时便无法爬取，也找不出问题所在。以下图片为完整代码。

python

回答 1

EatRice

发布于 2021-01-12 01:07:00

您好，上述问题您可以自己可以采用单步调试以排查问题

和开发者交流更多问题细节吧，去写回答

scrapy爬取数据并保存到文本

xslt & xpath scrapy json python

2.打开spidler目录下的Duba.py文件，代码如下（这个是根据豆瓣一部分页面获取的热门话题内容，有6条数据）：

句小芒

2022/12/29

7140

利用python爬取信息并保存到excel

python

哈喽，大家好！今天小编为大家带来一个非常实用的小技巧我们如何把爬取的信息保存到excel。首先我们讲存入excel经常用到的库，xlrd，xlwt，xlwings，openpyxl,xlsxwriter等等有很多，但是我用的是openpyxl这个库去保存的信息到excel。

码农向前冲

2021/12/20

1.7K0

简单的图片爬取，爬取豆瓣电影图片并保存到本地

爬虫正则表达式

这是本人第一次写博客，如有失误请见谅。这段时间，由于疫情原因，在家无聊，再加上这学期要学习爬虫这们课程。所以我开始了自学爬虫的“艰苦岁月”。爬虫，看似简单，实则并不简单。刚开始听别人说只要学会爬虫，什么都能爬取，我是不信的。但是，通过这段时间的学习和了解，我相信别人说的都是真的。当然了，对于目前我这个小菜鸡来说，还很遥远。还需要学习很多东西。话不多说，开始爬取豆瓣电影Top250(这次仅仅爬取电影图片并保存到本地)。

不温卜火

2020/10/28

2.5K0

python爬取微博图片数据存到Mysq

云数据库 SQL Server 数据库 sql sql server windows

由于硬件等各种原因需要把大概170多万2t左右的微博图片数据存到Mysql中.之前存微博数据一直用的非关系型数据库mongodb，由于对Mysql的各种不熟悉，踩了无数坑，来来回回改了3天才完成。

py3study

2020/01/07

1.2K0

Python爬取网页中表格数据并导出为Excel文件

python 正则表达式 go 爬虫

本文使用自己创建的网页进行模拟和演示，在爬取真实网页时，分析网页源代码然后修改代码中的正则表达式即可。

Python小屋屋主

2018/09/20

3.2K0

如何快速爬取新浪新闻并保存到本地

api php 爬虫编程算法 https

这篇文章能够快速教你爬取新浪新闻。希望这篇文章对您有所帮助！如果您有想学习的知识或建议，可以给作者留言~

不温卜火

2020/10/28

5.9K1

Python解析MDX词典数据并保存到Excel

python excel mdx 脚本数据

下载help.mdx词典后，我们无法直接查看，我们可以使用readmdict库来完成对mdx文件的读取。

Python进阶者

2023/09/22

7890

Python爬取彩票双色球并存到把数据e

python3 数据

环境：python3 目的：爬取15年的双色球开奖号以及期数和开奖日期：上代码 #!/usr/bin/env python3 #-*-coding:utf-8-*- # @Author : 杜文涛 # @Time : 2018/4/19 16:01 # @File : cpssq.py #×××双色球数据 import requests import re import xlwt import time def get_all_page(): global all_page

py3study

2020/01/06

1.5K0

多线程爬取都挺好链接并保存到mongod

mongodb python3 requests 多线程

一个比较简单，python3多线程使用requests库爬取都挺好，并使用正则提取下载链接，保存到mongodb #!/usr/bin/env python # -*- coding:utf-8 -*- """ @author:Aiker Zhao @file:doutinghao.py @time:下午8:18 """ import requests import re import pymongo from multiprocessing import Pool MONGO_URL = 'localh

py3study

2020/01/08

3730

Python如何爬取b站热门视频并导入Excel

python excel 工作视频

这篇文章主要介绍了Python如何爬取b站热门视频并导入Excel,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下

python学习教程

2020/09/16

6520

python实现简单爬取图片保存到本地

windows 终端

import requests import os url="http://lofter.nos.netease.com/sogou-Y1gxMDFIeFVHeWhCTkZaMEkzYWx1bGR5WEszQTdRTEZPcndxZWo3Q0dwTG1iZF9uVENpM0tCaUJNOXA1bmZkTA.jpg" root="F://pics//"; path=root+url.split('/')[-1] try: if not os.path.exists(root): os.mkdir

py3study

2020/01/08

8360

python入门012～使用python3爬取网络图片并保存到本地

python https 网络安全爬虫

本节知识点 1，python3爬取网站源码 2，正则匹配获取图片链接 3，使用python3将不怕保存到本地

编程小石头

2020/10/22

5.9K0

将爬取的数据保存到mysql中

scrapy 编程算法云数据库 SQL Server php 数据库

create database scrapy (我新建的数据库名称为scrapy)

py3study

2020/01/19

3.9K0

python爬虫爬取豆瓣Top250的书籍信息，并保存到文件

爬虫

python爬虫爬取豆瓣Top250的书籍信息，并保存到文件 import requests from bs4 import BeautifulSoup resp = requests.get('h

种花家的奋斗兔

2020/11/13

7880

如何用 Python + Scrapy 爬取视频？

爬虫 scrapy http php html

今天将带大家简单了解Scrapy爬虫框架，并用一个真实案例来演示代码的编写和爬取过程。

快学Python

2021/08/09

2K0

selenium爬取博客园文章保存到mysql并自动发布

python

它这里是有js动态加载的标签，而且经过观察()里面的数字是会随机变化的，并不是写死的(推测是一种防爬虫策略)。

py3study

2020/01/20

8360

如何用python爬取知乎话题？

数据库

因为要做观点，观点的屋子类似于知乎的话题，所以得想办法把他给爬下来，搞了半天最终还是妥妥的搞定了，代码是python写的，不懂得麻烦自学哈！懂得直接看代码，绝对可用

py3study

2020/01/08

1K0

Python登录豆瓣并爬取影评

http 网络安全 html php

kbsc13

2019/08/16

1.7K0

python爬取微博热搜数据并保存！

http python 数据分析

主要用到requests和bf4两个库将获得的信息保存在d://hotsearch.txt下

python学习教程

2021/03/01

1K0

如何用 Python 爬取天气预报

爬虫 python

大家好，我是Victor 278，由于本人是做前端的，Python学来作知识扩充的，看到非常多的小伙伴高呼着想从0开始学爬虫，这里开始写定向爬虫从0开始，献给想学爬虫的零基础新人们，欢迎各位大佬们的指

CDA数据分析师

2018/02/05

3.1K0

相似问题

使用python爬取Reddit数据出现错误？

0102

基于Python的股票数据爬取？

1223

在python中利用Reddit API爬取数据出现错误？

2231

java怎样爬取js动态请求的数据？

0233

编写一个爬取QQ音乐的python代码？

091

问如何用python爬取数据并保存到excel？