是具备虚拟化异构算力和弹性扩缩容能力的在线推理平台
腾讯云TDP | KOL (已认证)
TI-EMS 是一个模型服务平台,用户可以在平台上部署自己的模型,且可以根据自身业务的特点进行服务的弹性伸缩配置。
借助 TI-EMS,您只需规定模型服务的基本配置和扩展要求,无需进行集群管理或任何基础设施管理,因此可以专注于模型服务的管理和业务情况的监控。
TI-EMS 的计算资源非常灵活,用户在进行模型服务配置的时候可以按照业务需求进行弹性伸缩策略设置,使得计算资源可以跟随业务的变化进行灵活的扩展,从而提高资源利用率。
首先您需要对您的模型进行基本实例单元的资源配置,其次在启动模型服务的时候根据实际业务需求选择是否添加实例扩展策略(支持手动扩展和自动扩展),最后启动模型服务并进行监控。