首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >python重复执行10次_卡bug

python重复执行10次_卡bug

作者头像
全栈程序员站长
发布于 2022-11-01 02:32:25
发布于 2022-11-01 02:32:25
86900
代码可运行
举报
运行总次数:0
代码可运行

使用这个库,遇到不少问题,搜索加查看源码,暂时能用了~

py3Fdfs 2.2.0

安装:pip install py3Fdfs

TypeError: type object argument after ** must be a mapping, not str

调整代码为:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
#由配置文件中的信息得到字典trackers
trackers = get_tracker_conf('../config/fdfs_client.conf')
self.client = Fdfs_client(trackers)

download_to_file(local_filename, remote_file_id),提示must be bytes[], not str

看源代码发现,在utils.py 222行

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
index = remote_file_id.find(b'/')

但是注意,这里去掉’b’,后面还有很多错误。 仔细查询后发现,是struct格式化字符串的问题,在python3发生了变化。utils.py还原~

Python3 struct格式化

在python2中’s’是string类型,改为了bytes,进参前做encoding:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
remote_file_id = remote_file_id.encode(encoding='utf-8')

下载30k文件出现socket超时

使用donwload_to_file出现;反复尝试,无奈换一个方法调用donwload_to_filebuffer

增加上传文件指定group

发现api中,无对应方法。 位置:D:\ProgramData\Anaconda3\Lib\site-packages\fdfs_client

阅读源代码后发现在tracker_client.py中有方法获取group,如下:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
def tracker_query_storage_stor_with_group(self, group_name):
'''Query storage server for upload, based group name. arguments: @group_name: string @Return Storage_server object '''
conn = self.pool.get_connection()
th = Tracker_header()
th.cmd = TRACKER_PROTO_CMD_SERVICE_QUERY_STORE_WITH_GROUP_ONE
th.pkg_len = FDFS_GROUP_NAME_MAX_LEN
th.send_header(conn)
group_fmt = '!%ds' % FDFS_GROUP_NAME_MAX_LEN
send_buffer = struct.pack(group_fmt, group_name)
try:
tcp_send_data(conn, send_buffer)
th.recv_header(conn)
if th.status != 0:
raise DataError('Error: %d, %s' % (th.status, os.strerror(th.status)))
recv_buffer, recv_size = tcp_recv_response(conn, th.pkg_len)
if recv_size != TRACKER_QUERY_STORAGE_STORE_BODY_LEN:
errmsg = '[-] Error: Tracker response length is invaild, '
errmsg += 'expect: %d, actual: %d' % (TRACKER_QUERY_STORAGE_STORE_BODY_LEN, recv_size)
raise ResponseError(errmsg)
except ConnectionError:
raise
finally:
self.pool.release(conn)
# recv_fmt: |-group_name(16)-ipaddr(16-1)-port(8)-store_path_index(1)-|
recv_fmt = '!%ds %ds Q B' % (FDFS_GROUP_NAME_MAX_LEN, IP_ADDRESS_SIZE - 1)
store_serv = Storage_server()
(group, ip_addr, store_serv.port, store_serv.store_path_index) = struct.unpack(recv_fmt, recv_buffer)
store_serv.group_name = group.strip(b'\x00')
store_serv.ip_addr = ip_addr.strip(b'\x00')
return store_serv

在client.py中增加一个新的方法,注意这里的参数group_name仍然需要转换为bytes[]

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
	# 指定group上传文件
def upload_by_filename_with_gourp(self, filename, group_name, meta_dict=None):
isfile, errmsg = fdfs_check_file(filename)
if not isfile:
raise DataError(errmsg + '(uploading)')
tc = Tracker_client(self.tracker_pool)
store_serv = tc.tracker_query_storage_stor_with_group(group_name)
store = Storage_client(store_serv.ip_addr, store_serv.port, self.timeout)
return store.storage_upload_by_filename(tc, store_serv, filename, meta_dict)
# 指定group上传可追加文件
def upload_appender_by_filename_with_group(self, local_filename, group_name, meta_dict=None):
isfile, errmsg = fdfs_check_file(local_filename)
if not isfile:
raise DataError(errmsg + '(uploading appender)')
tc = Tracker_client(self.tracker_pool)
store_serv = tc.tracker_query_storage_stor_with_group(group_name)
store = Storage_client(store_serv.ip_addr, store_serv.port, self.timeout)
return store.storage_upload_appender_by_filename(tc, store_serv, local_filename, meta_dict)

部分代码

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
# -*- coding: utf-8 -*-
""" Created on Wed Jul 24 14:31:45 2019 @author: yk """
from config.loki_config import lcfg
import os
from fdfs_client.client import Fdfs_client, get_tracker_conf
class FDfsClient(object):
def __init__(self):
# 由配置文件中的信息,得到字典trackers
trackers = get_tracker_conf(lcfg.FDFS_PATH)
self.client = Fdfs_client(trackers)
def upload_filename(self, file_path):
res = self.client.upload_by_filename(file_path)
if res.get('Status') != 'Upload successed.':
raise Exception('upload file to fastdfs failed. path:{}'.format(file_path))
filename = res.get('Remote file_id')
return filename.decode()
def upload_filename_with_group(self, file_path, group_name=lcfg.FDFS_GROUP_NAME):
group_name = group_name.encode(encoding='utf-8')
res = self.client.upload_by_filename_with_gourp(file_path, group_name)
if res.get('Status') != 'Upload successed.':
raise Exception('upload file to fastdfs failed. path:{}'.format(file_path))
filename = res.get('Remote file_id')
return filename.decode()
# 上传文件使其后续可以追加,修改等
def upload_appender_by_filename(self, file_path):
res = self.client.upload_appender_by_filename(file_path)
if res.get('Status') != 'Upload successed.':
raise Exception('upload_appender file to fastdfs failed. path:{}'.format(file_path))
filename = res.get('Remote file_id')
return filename.decode()
# 追加文件内容
def append_by_filename(self, file_path, remote_file_id):
remote_file_id = remote_file_id.encode(encoding='utf-8')
res = self.client.append_by_filename(file_path, remote_file_id)
if res.get('Status') != 'Append file successed.':
raise Exception('append file to fastdfs failed. file_path: {} || remote_file_id:{}'.format(file_path, remote_file_id))
def download_file(self, local_path, remote_file_id):
filename = remote_file_id.split('/')[-1]
remote_file_id = remote_file_id.encode(encoding='utf-8')
filename = os.path.join(local_path, filename)
res = self.client.download_to_buffer(remote_file_id)
with open(filename, mode='ab+') as f:
f.write(res.get('Content'))
return filename
raise Exception('download file from fastdfs failed. remote_id:{}'.format(remote_file_id))
def list_all_groups(self):
return self.client.list_all_groups()
def main():
filename = r'D:\workspace\iot-loki\util\1.txt'
group_name = 'group1'
fdfs_client = FDfsClient()
# res = fdfs_client.upload_filename(filename)
res = fdfs_client.upload_appender_by_filename(filename)
print(res)
# local = r"D:\workspace\iot-loki\util\1.txt"
## remote_id = "/sampling/ts/20191223/AACHD52496857/1577080025-1577080035.ts"
# remote_id = "group1/M00/04/7A/Ct39y14DDtuEEEEGAAAAAPvT3Cw584.txt"
# res = fdfs_client.append_by_filename(local, remote_id)
# res = fdfs_client.download_file('./', 'group1/M00/04/7A/Ct39y14DDtuEEEEGAAAAAPvT3Cw584.txt')
# print(res)
if __name__ == '__main__':
main()

部署替换linux下文件

找到对应包安装路径,使用命令:pip show py3Fdfs 获得信息:

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
Name: py3Fdfs
Version: 2.2.0
Summary: Python3 and Python2 client for Fastdfs
Home-page: http://www.google.com
Author: wwb
Author-email: 416713448@qq.com
License: GPLV3
Location: /usr/local/python3.6.8/lib/python3.6/site-packages
Requires: 
Required-by: 

到对应路径找到fdfs_client文件夹,将本地client.py替换上就好了。

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/179416.html原文链接:https://javaforall.cn

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2022年10月21日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
26 Dec 2023 python虚拟环境学习
在python项目开发中,保持环境的独立和清洁是至关重要的。这正是python虚拟环境的用武之地。本文旨在为python初学者提供一个关于虚拟环境的简明指南,帮助你理解其概念、重要性以及如何高效使用它们。
俊采
2023/12/27
1810
Python3虚拟环境venv
多项目共存的服务器,每个项目依赖的包可能不一样,比如项目A需要 utilset 0.0.3, 项目B需要utilset 0.4,这时候就需要隔离开,venv就是用来为一个应用创建一套“隔离”的Python运行环境。
闻说社
2025/01/22
1590
Python3虚拟环境venv
Python 中的虚拟环境变得容易
大多数 Python 新手不知道如何设置遵循专业程序员使用的最新标准的开发环境。本教程将教您如何使用行业公认的最佳实践正确创建一个完整的 Python 开发环境。
玖柒的小窝
2021/09/13
1.7K0
Python 中的虚拟环境变得容易
python基础安装虚拟环境
1、pip install virtualenv或者pip3 install virtualenv
Se7eN_HOU
2020/06/04
8360
Python 虚拟环境配置
总结一些使用 Python 开发过程过程中的环境配置,常用操作,常见错误处理等等。
每周聚焦
2025/01/17
3640
Python 虚拟环境配置
几分钟就能学会的Python虚拟环境教程
我们在使用Python的时候,通常用pip来进行包管理。比如我们要安装一个叫requests的库,那么我们就会采用以下命令去安装:
冬夜先生
2021/09/28
6790
用虚拟环境实现开发隔离
在实际的项目中,是不是一定要用“最新版”的模块或包呢?不一定。实际的项目要求往往比较复杂,比如有一个比较“古老的”网站项目中使用了 Django 2.2(参阅第12章12.3节),现在又要新建一个网站,要求使用 Django 3 。如此,在本地计算机的开发环境中就出现了同一个包的不同版本冲突,如何解决?
老齐
2022/01/27
8760
Python - 虚拟环境 venv
Python 虚拟环境主要是为不同 Python 项目创建一个隔离的环境,每个项目都可以拥有独立的依赖包环境,而项目间的依赖包互不影响
小菠萝测试笔记
2021/09/22
8660
Python - 虚拟环境 venv
Python虚拟环境virtualenv手册
python 的虚拟环境可以为一个 python 项目提供独立的解释环境、依赖包等资源,既能够很好的隔离不同项目使用不同 python 版本带来的冲突,而且还能方便项目的发布。
仲君Johnny
2024/01/24
3180
Python版本切换与虚拟环境管理
Python2和Python3之间存在较大的差异,并且由于各种原因导致Python2和Python3长期共存。我们在使用的时候,可能会遇到不同的Python版本问题或者是Python工作环境的切换问题。这里介绍pyenv、virtualenv、conda、venv,pyenv用于管理不同的Python版本,virtualenv、conda以及venv管理不同的工作环境。
py3study
2020/01/06
5.3K0
Python版本切换与虚拟环境管理
挑战30天学完Python:Day23虚拟环境
从项目开始,最好有一个虚拟环境。虚拟环境可以帮助我们创建一个隔离或分离的环境。这将帮助我们避免项目间依赖关系的冲突。如果你在你的终端上执行pip freeze 你会看到你的计算机上所有已安装的包。如果我们使用virtualenv,我们将只访问特定于该项目的包。
MegaQi
2023/10/21
2690
挑战30天学完Python:Day23虚拟环境
Python:创建虚拟环境
在软件和系统架构领域,尤其是作为运维开发工程师,掌握如何在Python项目中创建和管理虚拟环境是一项重要的技能。本文将详细介绍如何在Python 3中创建和使用虚拟环境,这对于隔离项目依赖、维护清洁的开发环境以及促进团队合作至关重要。
运维开发王义杰
2023/11/29
4890
Python:创建虚拟环境
python安装虚拟环境步骤_python虚拟环境迁移
http://blog.csdn.net/pipisorry/article/details/47008981
全栈程序员站长
2022/09/27
8.2K0
python安装虚拟环境步骤_python虚拟环境迁移
python虚拟环境管理之virtual
使python环境拥有独立的包,避免污染原本的python环境。为不同的项目创建不同的环境可以避免安装的库过于庞大和相互干扰。
py3study
2020/01/17
1.1K0
虚拟环境管理
和其他大多数现代编程语言一样,Python对包和模块的下载、存储以及管理有其自己的一套方法。Python的包一般存在几个地方,使用sys.path可以查看python包和模块的存放路径。
以某
2023/03/07
3760
python笔记41-虚拟环境virtualenv
如果你是一个python初学者,我是不建议你搞python虚拟环境的,我看到很多python的初学者同学,使用最新版的pycharm,新建一个工程时候默认就是venu虚拟环境。 然后在使用cmd里面pip安装第三方包的时候,在工程里面死活导入不成功,搞的开始怀疑人生。(你给他讲这是虚拟环境venu,他会一脸懵逼!)
上海-悠悠
2019/09/02
1.2K0
【Python学习笔记】-虚拟环境virtualenv
在开发python应用程序的时候,系统安装的python3只有一个版本:3.4。所有的第三方的包都回被pip安装到python3的site-packages目录下。
DevOps在路上
2023/05/16
4610
Python 虚拟环境 virtualenv
  Python 今天我们就不聊了。接下来咱们说说virtualenv,英文比较好的同学,可能已经猜到了一半,virtual,即:虚拟的。那env是什么鬼?environment吗?所以翻译成中文就是”虚拟环境“。     到底什么是虚拟环境呢?顾名思义,它是一个虚拟出来的环境。通俗的来讲,可以借助虚拟机,docker来理解虚拟环境,就是把一部分内容独立出来,我们把这部分独立出来的东西称作“容器”,在这个容器中,我们可以只安装我们需要的依赖包,而且各个容器之间互相隔离,互不影响。我们要学习Django,我们通过这个环境搞一个Django的虚拟环境就好了。 【前提概要】     Django也是一个非常流行的web框架。由于Django的迭代更新非常快,也比较频繁,所以有一些过时的东西需要丢弃掉,一些新的东西需要加进来,从而导致不同的版本之间不兼容。比如Django1.3、Django1.4、Django1.8之间就有很大的差异性。     或者是说,以Python的版本举例,现在工作中使用的Python版本与Python2.x和Python3.x两种。 【故事背景】   假设要进行Python web开发,使用的是Django。手上还有两个老项目A和B需要维护,而新项目C也正在开发中。这里项目A使用的是django1.3,项目B使用的是django1.4,而新项目C使用的是Django1.8。那么问题来了,如何同时在本地进行ABC这三个项目的开发和维护? 正常的模式可能是这样:现在在A项目上有一个BUG需要修复,于是,先执行下面的命令,删除掉原来的版本:
Lansonli
2021/10/09
1.1K0
Python 虚拟环境 Virtualenv 分别在 Windows 和 Linux 上的安装和使用
virtualenv 是用来创建 Python 的虚拟环境的库,虚拟环境能够独立于真实环境存在,并且可以同时有多个互相独立的 Python 虚拟环境,每个虚拟环境都可以营造一个干净的开发环境,对于项目的依赖、版本的控制有着非常重要的作用。
Hopetree
2022/09/26
1.4K0
Python 虚拟环境 Virtualenv 分别在 Windows 和 Linux 上的安装和使用
python虚拟环境
Python 虚拟环境与docker容器的概念有点类似,也和操作系统的沙箱有点类似。用户可以创建独立的虚拟环境,然后在虚拟环境安装指定的外部包,每个虚拟环境之间不会相互影响。
zero000
2021/06/22
5810
python虚拟环境
相关推荐
26 Dec 2023 python虚拟环境学习
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验