HarmonyOS 开发实践——基于原生能力的压缩与解压缩能力

原创

小帅聊鸿蒙

发布于 2024-11-20 16:13:56

1K0

一、场景描述

概览、常用图片编码格式比对及系统支持情况

压缩格式	简介	系统支持/使用方式
zip	普及率高，适用范围也最广，压缩速度相比rar快一些	ArkTs支持，可通过zlib实现，jszip
rar	rar格式比zip更能够提供较好的压缩率，但压缩速度也相对慢一些	三方库支持，通过Unrar实现
7z	压缩率相对前两种最大，但速度也最慢	三方库支持，通过commons-compress实现
brotli	无损压缩算法，主要目标是压缩 Internet 上的数据	三方库支持，通过commons-compress实现
tar	简单封装，被称为归档文件，只是简单的将文件组装到一个.tar的文件内，并没有太多文件体积的减少，仅仅是简单的封装	三方库支持，通过commons-compress实现
gzip	.gz:使用gzip算法将文件压缩到一个文件，极大的减少压缩后的体积	三方库支持，通过三方库pako实现

ArkTs 侧：

场景一：压缩与解压rawfile目录下的文件，由于在resource/rawfile目录下存放的文件，没有对外暴露的沙箱路径，无法使用文件管理接口或以沙箱路径形式处理，因此需要将rawfile下文件通过fs拷贝进沙箱目录下，再使用 zlib 进行压缩与解压。
场景二：压缩与解压resfile下的文件，通过getContext().resourceDir获取到该路径下的文件，再使用zlib进行压缩与解压。

Native 侧：

当前鸿蒙暂无native的压缩与解压接口，本文主要介绍native侧通过zlib实现压缩与解压。

二、方案描述

ArkTs 侧

方案

1）通过resourceManager.getRawFileContent获取到rawfile下的文件；

2）然后通过fs将rawfile文件内容copy到沙箱路径；

3）最后使用zlib.decompressFile对沙箱路径下的压缩文件进行解压。

效果图

核心代码

function resfileZlibDecompress() {
  getContext().resourceManager.getRawFileContent('file1.zip', (_err, value) => {
 
    //将rawfile下的文件拷贝至沙箱下，沙箱路径：/data/storage/el2/base/haps/entry/filesfile1.zip
    let myBuffer: ArrayBufferLike = value.buffer
    let filePath = getContext().filesDir + "file1.zip";
    let file = fs.openSync(filePath, fs.OpenMode.READ_WRITE | fs.OpenMode.CREATE);
    let writeLen = fs.writeSync(file.fd, myBuffer);
    fs.closeSync(file);
    let outFileDir = getContext().filesDir;
    let options: zlib.Options = {
      level: zlib.CompressLevel.COMPRESS_LEVEL_DEFAULT_COMPRESSION
    };
 
    //解压沙箱下的文件
    try {
      zlib.decompressFile(filePath, outFileDir, options, (errData: BusinessError) => {
        if (errData !== null) {
          console.error(`errData is errCode:${errData.code}  message:${errData.message}`);
        }
      })
    } catch (errData) {
      let code = (errData as BusinessError).code;
      let message = (errData as BusinessError).message;
      console.error(fs.accessSync(filePath)+`errData is errCode:${code}  message:${message}`);
    }
  })
}

2.压缩rawfile目录下的文件

方案

思路同rawfile解压，用到的方法：resourceManager.getRawFileContent、fs、zlib.compressFile

核心代码

getContext().resourceManager.getRawFileContent('file1.txt', (_err, value) => {
  let myBuffer: ArrayBufferLike = value.buffer
  //将rawfile下的文件拷贝至沙箱下，沙箱路径：/data/storage/el2/base/haps/entry/files/file1.txt
  let filePath = getContext().filesDir + "/file1.txt";
  let file = fs.openSync(filePath, fs.OpenMode.READ_WRITE | fs.OpenMode.CREATE);
  let writeLen = fs.writeSync(file.fd, myBuffer);
  fs.closeSync(file);
 
  //压缩沙箱下的文件
  let outFile = getContext().filesDir + '/file1.zip';
  let options: zlib.Options = {
    level: zlib.CompressLevel.COMPRESS_LEVEL_DEFAULT_COMPRESSION,
    memLevel: zlib.MemLevel.MEM_LEVEL_DEFAULT,
    strategy: zlib.CompressStrategy.COMPRESS_STRATEGY_DEFAULT_STRATEGY
  };
  zlib.compressFile(filePath, outFile, options)
})

方案

通过 getContext().resourceDir获取resfile目录下文件，再使用zlib.decompressFile对文件进行解压

效果图

核心代码

  let inFile = getContext().resourceDir + '/file1.zip';
  let outFile = getContext().filesDir;
  let options: zlib.Options = {
    level: zlib.CompressLevel.COMPRESS_LEVEL_DEFAULT_COMPRESSION
  };
  //解压沙箱下的文件
  zlib.decompressFile(inFile, outFile, options)

方案

思路同resfile解压，用到的方法：zlib.compressFile

核心代码

  let inFile = getContext().resourceDir + '/file1.txt';
  let outFile = getContext().filesDir + "/file1.zip";
  let options: zlib.Options = {
    level: zlib.CompressLevel.COMPRESS_LEVEL_DEFAULT_COMPRESSION,
    memLevel: zlib.MemLevel.MEM_LEVEL_DEFAULT,
    strategy: zlib.CompressStrategy.COMPRESS_STRATEGY_DEFAULT_STRATEGY
  };
  //压缩沙箱下的文件
  zlib.compressFile(inFile, outFile, options)

native 侧

zlib 库进行 gzip 压缩

当前ArkTs侧zlib暂不支持gzip压缩，可以使用基础库压缩，参考 zlib Usage Example 。

方案

1）首先初始化z_stream结构体，然后设置输入数据和输出buffer的信息。

2）接着使用deflateInit2函数初始化，并使用deflate函数进行压缩。如果输出buffer不足以存储所有压缩数据，则进行拓容并重复压缩的过程，直到所有数据压缩完毕。

3）最后，返回压缩后的数据和数据大小，并使用deflateEnd函数释放。

头文件：zlib.h

核心代码

char* compressToGzip(const char *input, int inputSize, int* outputSize) {
    z_stream zs;
    // 初始化 （主要用于开发者自定义内存管理, 此处不使用, 应用有诉求可参考：https://www.zlib.net/manual.html）
    zs.zalloc = Z_NULL; // 用于分配内部状态
    zs.zfree = Z_NULL; // 用于释放内部状态
    zs.opaque = Z_NULL; // 传递给 zalloc、zfree的私有数据对象
 
    // 初始化输入数据
    zs.next_in = (Bytef *)input;    // 输入数据头
    zs.avail_in = (uInt)inputSize;  // 输入数据的内存块大小
 
    // 初始化输出buffer
    char *compressedData = new char[CHUNK_SIZE];
    // 输出头
    zs.next_out = (Bytef *)compressedData;
    zs.avail_out = (uInt)CHUNK_SIZE;
 
    // 开始压缩（此处使用空的gzip头）
    int windowBits = WINDOWS_BITS;  // windowBits历史缓冲区的大小，此参数的值越大，压缩效果越好。 范围(8-15) 
    // 特殊：windowBits加上 16，表示使用gzip头 windowBits加上 32，表示自动识别gzip/zlib头 
    int memLevel = 8;   // memLevel=1使用最小内存但速度较慢,降低压缩比; memLevel=9使用最大内存以获得最佳速度 默认值为8
 
    deflateInit2(&zs, Z_DEFAULT_COMPRESSION, Z_DEFLATED, windowBits, memLevel, Z_DEFAULT_STRATEGY);
 
    // 压缩  尽量一次压缩完毕
    deflate(&zs, Z_FINISH);
 
    int chunkCount = 1; // 数据块的个数
    // 重复压缩
    while (zs.avail_out == 0) {
        // 为输出数据 拓容
        chunkCount++;
        char* newBuffer = new char[CHUNK_SIZE*chunkCount];
        // 复制历史数据
        memcpy(newBuffer, compressedData, CHUNK_SIZE*(chunkCount-1));
        delete[] compressedData;
        compressedData = newBuffer;
 
        // 继续压缩
        zs.next_out = (Bytef *)(compressedData+CHUNK_SIZE*(chunkCount-1));
        zs.avail_out = (uInt)CHUNK_SIZE;
        deflate(&zs, Z_FINISH);
    }
    // 返回结果
    *outputSize = zs.total_out;
    deflateEnd(&zs);
    return compressedData;
}

zlib 库进行 gzip 解压

方案

思路与压缩相同，使用inflateInit2函数初始化zlib库，然后调用inflate进行解压缩，最后调用inflateEnd结束解压。

核心代码

char* decompressGzip(const char *input, int inputSize, int* outputSize) {
    z_stream zs;
    zs.zalloc = Z_NULL;
    zs.zfree = Z_NULL;
    zs.opaque = Z_NULL;
    zs.avail_in = (uInt)inputSize;
    zs.next_in = (Bytef *)input;    
    char *deCompressedData = new char[CHUNK_SIZE];
    zs.avail_out = (uInt)CHUNK_SIZE;
    zs.next_out = (Bytef *)deCompressedData;    
    inflateInit2(&zs, WINDOWS_BITS);    
    // 解压  尽量一次解压完毕
    inflate(&zs, Z_FINISH);
    int chunkCount = 1; // 数据块的个数
    // 重复解压
    while (zs.avail_out == 0) {
        // 为输出数据 拓容
        chunkCount++;
        char* newBuffer = new char[CHUNK_SIZE*chunkCount];
        // 复制历史数据
        memcpy(newBuffer, deCompressedData, CHUNK_SIZE*(chunkCount-1));
        delete[] deCompressedData;
        deCompressedData = newBuffer;        
        // 继续压缩
        zs.next_out = (Bytef *)(deCompressedData+CHUNK_SIZE*(chunkCount-1));
        zs.avail_out = (uInt)CHUNK_SIZE;
        inflate(&zs, Z_FINISH);
    }
    // 返回结果
    *outputSize = zs.total_out;
    inflateEnd(&zs);
    return deCompressedData;
}

基于request上传下载控制

request主要给应用提供上传下载文件、后台传输代理的基础能力。

场景一：上传下载进度回调。

方式一：使用request.agent.create下载文件开启进度回调，当前规格是约1s一次回调。

//进度回调的Callback
let progressCallback = (progress: request.agent.Progress) => {
  console.info('download task progress：'+progress.sizes+'/'+progress.processed);  };
request.agent.create(context, config1).then((task: request.agent.Task) => {
  console.log(task.tid)
  //开启进度回调监听
  task.on('progress', progressCallback);
  console.info(`Succeeded in creating a download task. result: ${task.tid}`);
  task.on('completed', createOnCallback);
  task.start((err: BusinessError) => {
    if (err) {
      console.error(`Failed to start the download task, Code: ${err.code}, message: ${err.message}`);
      return;
    }
    console.info(`Succeeded in starting a download task.`);
  });
  console.info(`Succeeded in creating a download task. result: ${task.tid}`);
}).catch((err: BusinessError) => {
  console.error(`Failed to create a download task, Code: ${err.code}, message: ${err.message}`);
});

方式二：使用request.downloadFile下载文件，传入context和DownloadConfig，开启进度回调。

request.downloadFile(context.getApplicationContext(), {
  url: 'xxxxx',
  filePath: filesDir + '/文件路径',
  enableMetered: true
}).then((downloadTask: request.DownloadTask) => {
  let progresCallback = (receivedSize: number, totalSize: number) => {
    console.info("download receivedSize:" + receivedSize + " totalSize:" + totalSize);
  };
  //开启进度回调
  downloadTask.on('progress', progresCallback);
})

场景二：暂停恢复下载。

要实现按钮点击暂停/恢复下载，需要先将Task传入，然后调用pause()暂停/resume()恢复下载任务。

request.agent.create(getContext(), config).then((task: request.agent.Task) => {
  // pause暂停任务
  task.pause((err: BusinessError) => {
    if (err) {
      console.error(`Failed to pause the download task, Code: ${err.code}, message:    ${err.message}`);
      return;
    }
    console.info(`Succeeded in pausing a download task. `);
  });
  console.info(`Succeeded in creating a download task. result: ${task.tid}`);
}).catch((err: BusinessError) => {
  console.error(`Failed to create a download task, Code: ${err.code}, message: ${err.message}`);
});

request.agent.create(getContext(), config).then((task: request.agent.Task) => {
  // resume恢复下载任务
  task.resume((err: BusinessError) => {
    if (err) {
      console.error(`Failed to resume the download task, Code: ${err.code}, message:   ${err.message}`);
      return;
    }
    console.info(`Succeeded in resuming a download task. `);
  });
  console.info(`Succeeded in creating a download task. result: ${task.tid}`);
}).catch((err: BusinessError) => {
  console.error(`Failed to create a download task, Code: ${err.code}, message: ${err.message}`);
});

场景三：后台上传下载，应用长时任务。

requestdownload接口默认是后台任务，支持应用长时任务。

request.agent需要配置为BACKGROUND模式，后台任务默认会有系统通知。

gauge：后台任务的过程进度通知策略，仅应用于后台任务，默认值为false。

false：代表仅完成或失败的通知。
true：发出每个进度，已完成或失败的通知。

上传任务配置：

let attachments: Array<request.agent.FormItem> = [{
  name: "createTest",
  value: {
    filename: "createTest.mp4",
    mimeType: "application/octet-stream",
    path: "./createTest.mp4",
  }
}];
let config: request.agent.Config = {
  //任务操作选项。UPLOAD表示上传任务。DOWNLOAD表示下载任务。
  action: request.agent.Action.UPLOAD,
  url: 'http://127.0.0.1',
  title: 'createTest',
  description: 'Sample code for create task',
  //下载的模式，FOREGROUND表示前台任务；BACKGROUND表示后台任务。
  mode: request.agent.Mode.BACKGROUND,
  //覆写配置true，覆盖已存在的文件。 false，下载失败。
  overwrite: false,
  method: "PUT",
  data: attachments,
  saveas: "./",
  network: request.agent.Network.CELLULAR,
  //是否允许在按流量计费的网络中工作，默认为false。
  metered: false,
  roaming: true,
  //是否为后台任务启用自动重试，仅应用于后台任务，默认为true。
  retry: true,
  //是否允许重定向，默认为true。
  redirect: true,
  index: 0,
  gauge: true,
  //如果设置为true，在上传/下载无法获取文件大小时任务失败。
  precise: false,
  token: "it is a secret"，
  //任务的优先级。任务模式相同的情况下，该配置项的数字越小优先级越高，默认值为0。
  priority:0
};
request.agent.create(getContext(), config, (err: BusinessError, task: request.agent.Task) => {
  if (err) {
    console.error(`Failed to create a download task, Code: ${err.code}, message: ${err.message}`);
    return;
  }
  console.info(`Succeeded in creating a download task. result: ${task.config}`);
});

下载任务配置：

let config1: request.agent.Config  =  {
  action: request.agent.Action.DOWNLOAD,
  url: "https://fe-static.xhscdn.com/mp/red/bc446184a0c84aa785ea3cada920f6ac.zip",
  overwrite: true,
  method: 'GET',
  //保存的地址，默认为cache目录下，如果需要保存在子目录下需要提前手动创建。
  saveas: './',
  mode: request.agent.Mode.BACKGROUND,
  gauge: true,
  priority:0
}
let createOnCallback2 = (progress: request.agent.Progress) => {
  console.info('download task pro.'+progress.sizes+'/'+progress.processed);
};
let createOnCallback = (progress: request.agent.Progress) => {
 
  console.info('downloadTask complete,filesDir:' );
 
};
let createOnCallback1 = (progress: request.agent.Progress) => {
  console.info('download task failed.'+progress);
};
request.agent.create(context, config1).then((task: request.agent.Task) => {
  console.log(task.tid)
  task.on('progress', createOnCallback2);
  task.on('failed', createOnCallback1);
  console.info(`Succeeded in creating a download task. result: ${task.tid}`);
  task.on('completed', createOnCallback);
  task.start((err: BusinessError) => {
    if (err) {
      console.error(`Failed to start the download task, Code: ${err.code}, message: ${err.message}`);
      return;
    }
    console.info(`Succeeded in starting a download task.`);
  });
  console.info(`Succeeded in creating a download task. result: ${task.tid}`);
}).catch((err: BusinessError) => {
  console.error(`Failed to create a download task, Code: ${err.code}, message: ${err.message}`);
});

场景四：断点续传。

断点续传的场景，如果是因网络等问题导致的任务失败，用户可以改为使用api10后台任务设置retry属性为true，这样内部会有自动暂停，网络恢复时自动重试，内部能续传时自动续传。on('pause') 回调会监听到它的暂停状态。

场景五：获取服务端返回的 headers 信息，用于后续处理。

订阅on('response')事件返回的headers中包含有header和body，可以通过解析返回的headers来进行后续处理。

let responseCallback = (response: request.agent.HttpResponse) => {
  console.info('download task response.'+JSON.stringify(response)+JSON.stringify(response.headers));
};
task.on('response',responseCallback)