Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Python实际开发中经常用到和遇到的问题

Python实际开发中经常用到和遇到的问题

作者头像
嘉美伯爵
发布于 2021-01-18 03:06:37
发布于 2021-01-18 03:06:37
45800
代码可运行
举报
运行总次数:0
代码可运行

文件操作

  • 读取大文件
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
with open('test.txt', 'r') as file:
        while True:
            line = file.readline()
            if line:
                print(line)
            else:
                break
  • 多线程线程池

在实际开发中进程还是慎用的,但使用多线程要注意线程变量的问题,线程变量是共享的,因此操作一些文件要保证文件名是唯一的

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
from concurrent.futures import ThreadPoolExecutor
with ThreadPoolExecutor(6) as executor:
    for each in get_card():
        executor.submit(task, each)
  • 批量移动

这样操作效率会高一些

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
import os, shutil  

# 绝对路径  
src_dir = os.path.abspath(r"C:\Users\Yaotc\Desktop\hi\train_2018")  
dst_dir = os.path.abspath(r"C:\Users\Yaotc\Desktop\hi\data")  

if not os.path.exists(dst_dir):  
    os.makedirs(dst_dir)  

if os.path.exists(src_dir):  
    # root 所指的是当前正在遍历的这个文件夹的本身的地址  
    # dirs 是一个 list,内容是该文件夹中所有的目录的名字(不包括子目录)  
    # files 同样是 list, 内容是该文件夹中所有的文件(不包括子目录)  
    for root,dirs,files in os.walk(src_dir):  
        for file in files:  
            src_file = os.path.join(root, file)  
            shutil.copy(src_file, dst_dir)  
            print(src_file)  

print('Done!') 

序列化

  • json.dumps会变成unicode
代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
json.dump(dic, ensure_ascii=False)
  • TypeError: a bytes-like object is required, not 'str'

存储数据的时候key若为单引号会报此错误

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
{"title": title, "avgScore": avgScore, "allCommentNum": allCommentNum, "address": address,"avgPrice": avgPrice}

计数器

文件移动

shutil

定时执行

想要定时执行脚本,而有不想安装太多依赖,可以使用shell的定时

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# 查看定时任务
crontab -l
# 编辑定时任务
crontab -e
# 删除定时任务
crontab -r
# * * * * * 
minute hour day month week
# * 表示任意 - 范围(2-6 == 2,3,4,5,6) 
# , 取值(1357/ (频率) 
5 8-23/1 * * * /home/myshell.sh  823点每隔一个小时的第五分钟

shell传递变量

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
#!/bin/bash
a=1
b=2
sudo python test.py $a $b

参考文档

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2020/03/22 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
解决Hexo博客批量上传的小问题:利用 Python 脚本提取 HTML 文件
2018-12-12 by Liuqingwen | Tags: Hexo Python | Hits
IT自学不成才
2019/01/08
9290
shutil 标准库: Python 文件操作的万用刀
今天来聊一个被低估的 Python 标准库 - shutil 。工作中我们用 Python (尤其是写一些短小轻快的脚本)虽然经常和文件打交道,却很少用到 shutil 。但实际上, shutil 提供了比 os 模块更高级的文件操作接口,能让我们写出更 Pythonic 的代码。
Piper破壳
2024/12/21
1470
Python-文件夹的拷贝操作
在Python中,想要实现文件夹的拷贝,需使用shutil包,其中文件复制的内置函数为shutil.copy
kirin
2021/04/28
3.2K0
复制文件到一个文件夹并进行排序copy_imgs_to_dir
发布者:全栈程序员栈长,转转请注明出处:https://javaforall.cn/2160.html原文链接:
全栈程序员站长
2021/04/07
5630
python写的系统常用命令(一)
      python写的系统常用命令,linux和windows通用,用的时候直接from util import *导入即可使用,很方便,本来是一个脚本,但是博文有字数限制,只能分成两部分发了,第二部分连接:http://wangwei007.blog.51cto.com/68019/960000 。
py3study
2020/01/06
3850
copy数据
#!/usr/bin python3 # -*- encoding: utf-8 -*- # @Author : lideshan # @File : 拷贝数据.py import os import json import shutil def from_name_copy_image(dir_traverse, src_dir, dst_dir, src_file_type, dst_file_type): """ 这是一个拷贝数据的脚本,根据某个文件夹的文件,从某个文件夹拷贝到另外
爱喝水的木子
2022/01/12
6180
90-综合练习:备份程序
1、既要可以实现完全备份,又要实现增量备份 2、完全备份时,将目录打个tar包,计算每个文件的md5值 3、增量备份时,备份有变化的文件和新增加的文件,更新md5值
凯茜的老爸
2018/09/11
3300
django 定时任务 django-crontab 的使用
在做 django 开发需求时,多多少少都会遇到需要定时任务的功能,比如定时执行任务,检查订单之类的。可能是一段时间,比如每隔 10分钟执行一次,也可能是定点时间,比如 14:00 执行,也可能是长时间,比如每周几,每个月的哪一天等。查看了一下相关资料, django 定时任务 django-crontab 库比较多教程和资料,虽然 star 数才五百,但是 API 接口比较简单,接入也很方便,功能也很全面,当然,也存在一此无法解决的问题,使用时需要注意的。
KEVINGUO_CN
2020/03/17
6.6K0
Python之文件操作大全
在日常工作或生活中,总避免不了需要操作文件或文件夹,比如希望找出电脑中所有临时文件并清除,或者找到指定文件夹内所有图片文件并进行重新命名等等,如果能通过Python脚本的方式解决,会大大提升相关操作效率,本文即总结使用Python进行常见操作相关知识点,方便用到的人随时查阅,不用再每次使用都要花费时间检索或查阅文档。本文主要使用os、shutil、pathlib三个包。
全栈程序员站长
2022/08/23
4730
Alphafold预测后小工具
今天使用cloba版本的alpahfold预测了21个蛋白质序列。用过colab版本的alphafold的你应该知道,alphafold运行结束之后会自动下载一个压缩包。例如这个样子:
Tom2Code
2024/01/10
4980
Alphafold预测后小工具
协程小练习
我们已经知道可以对list、tuple、str等类型的数据使用for...in...的循环语法从其中依次拿到数据进行使用,我们把这样的过程称为遍历,也叫迭代
小闫同学啊
2019/07/18
5780
清除过期日志的py脚本
本篇和大家分享的是一个清除过期日志的python脚本,年后第二篇希望对大家有帮助;
py3study
2020/01/17
6120
自动同步2个目录python脚本
#!/usr/bin/python # -*- coding: utf8 -*- import os import sys import filecmp import re import shutil file_list = [] def recursive_dir(dir1):     """     递归当前目录的文件和子目录     :param dir1: 传参 需要递归的目录     :return: 当前目录下所有文件和目录     """     curDir = os.path.absp
py3study
2020/01/15
1.3K0
我是如何用10行代码搬运目标图片的?
嗯呢,你没看错,就是教你把一个路径下的所有目标图片搬运到制定路径下。有读者说:小詹你忽悠人吧,要搬运目标图片复制粘贴不就好了嘛,要什么代码,搬砖脑子秀逗了?
小小詹同学
2019/11/12
1.2K0
我是如何用10行代码搬运目标图片的?
python3基础:目录操作
os模块提供了统一的操作系统接口函数,python中对文件和文件夹的操作都要涉及到os和shutil模块,在使用前需要使用import引入,例如;
py3study
2020/01/09
1.3K0
python常用模块收录
    3、元组(struct_time),如gmtime、localtime等等
py3study
2020/01/06
9640
Python操作系统模块大揭秘:从基础到实战的全面指南
os模块是Python标准库中的一部分,提供了一种与操作系统进行交互的方法。主要功能包括文件和目录的操作、路径处理、进程管理等。在使用os模块之前,我们需要先导入它:
一键难忘
2024/03/20
5230
Python同步文件
最近在做Python开发,研究了技术大牛写的脚本,在他的脚本上做了优化。优化脚本已在做过测试还是挺好用的,如果你觉得不错就直接拿到生产用吧。
py3study
2020/01/06
1.1K0
自动规整微信接收文件-python
相信大家都体验过以"小而美"著称的微信, 这款神奇而伟大的软件无情的占据了每一个电脑的15g空间以上, 而鄙人的电脑总空间...只有256...
叶子Tenney
2023/03/09
1.1K0
自动规整微信接收文件-python
python解析照片拍摄时间整理图片
手机中拍摄照的照片和视频快爆了,想转移到PC端,并按时间建立文件夹存储到电脑中,本文主要介绍如何通过python获取手机拍摄图片的时间信息并存储。
languageX
2022/07/14
1.9K0
相关推荐
解决Hexo博客批量上传的小问题:利用 Python 脚本提取 HTML 文件
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验