模型管理是 TI-ONE 训练平台提供模型注册、优化的模块,包含模型仓库和模型优化两个子模块。
TI-ONE 模型仓库是一个统一的模型资产管理平台,提供模型的全生命周期管理能力。
统一管理:集中管理从训练到部署的所有模型版本
版本控制:支持模型版本管理和模型文件管理
上下游集成:与任务式建模、在线服务、批量预测、模型优化等模块打通
多存储支持:支持 COS、CFS、GooseFSx、数据源等多种存储方式
模型优化是 TI-ONE 平台模型推理加速的模块,使用了 TI-ACC 的能力,可对模型仓库里纳管的模型进行推理优化加速,降本增效,模型优化后的模型仅能支持在 TI-ONE 平台模型服务进行推理服务使用。
支持模型仓库纳管的模型进行推理加速
支持快速进行批量模型加速
支持对 CV、NLP、以及 OCR 等领域常用模型进行加速
优化级别支持无损、FP16 两种级别
支持对多输入节点、固定&动态 shape 的模型进行优化
支持输出模型推理部分的加速报告
支持对优化后的模型保存到模型仓库进行服务发布