使用Python多进程将CSV转换为JSON的过程如下:
import csv
import json
import multiprocessing
def csv_to_json(csv_file, json_file):
with open(csv_file, 'r') as file:
reader = csv.DictReader(file)
rows = list(reader)
with open(json_file, 'w') as file:
json.dump(rows, file, indent=4)
def process_csv(csv_files):
processes = []
for csv_file in csv_files:
json_file = csv_file.replace('.csv', '.json')
process = multiprocessing.Process(target=csv_to_json, args=(csv_file, json_file))
processes.append(process)
process.start()
for process in processes:
process.join()
if __name__ == '__main__':
csv_files = ['file1.csv', 'file2.csv', 'file3.csv'] # 替换为实际的CSV文件列表
process_csv(csv_files)
以上代码将会并行处理给定的CSV文件列表,将每个CSV文件转换为对应的JSON文件。每个CSV文件将被一个独立的进程处理,以提高处理速度。
这种方法适用于大量的CSV文件转换任务,通过利用多核处理器的并行能力,可以显著提高转换速度。
推荐的腾讯云相关产品:腾讯云函数(Serverless 云函数)可用于部署和运行上述代码,腾讯云对象存储(COS)可用于存储CSV和JSON文件。
腾讯云函数产品介绍链接:https://cloud.tencent.com/product/scf 腾讯云对象存储产品介绍链接:https://cloud.tencent.com/product/cos
领取专属 10元无门槛券
手把手带您无忧上云