基于腾讯云语音产品的最佳技术实践 | 如何助力 CRM 传统营销方式降本增效

CREATE TABLE `asr_call_record` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '主键ID',
  `call_record_id` varchar(32) DEFAULT NULL COMMENT '通话记录id',
  `call_user_id` bigint(20) DEFAULT NULL COMMENT '外呼人',
  `resource_url` varchar(500) DEFAULT NULL COMMENT '资源文件地址',
  `start_time` datetime DEFAULT NULL COMMENT '开始时间',
  `end_time` datetime DEFAULT NULL COMMENT '结束时间',
  `bridge_duration` bigint(20) DEFAULT NULL COMMENT '双方通话时长(单位：秒)',
  `total_duration` bigint(20) DEFAULT NULL COMMENT '总通话时长(单位：秒)',
  `service_provider` tinyint(2) DEFAULT NULL COMMENT '服务提供方0.科大讯飞1.腾讯',
  `asr_status` tinyint(2) NOT NULL DEFAULT '0' COMMENT '转写状态0.未转写1.已转写2.转写中',
  `asr_order_id` varchar(255) DEFAULT NULL COMMENT '转写结果id',
  `create_user_id` bigint(20) DEFAULT NULL COMMENT '创建人',
  `create_time` datetime NOT NULL DEFAULT NULL COMMENT '创建时间',
  `update_user_id` bigint(20) DEFAULT NULL COMMENT '更新人',
  `update_time` datetime NOT NULL DEFAULT NULL COMMENT '更新时间',
  `remark` varchar(255) DEFAULT NULL COMMENT '备注',
  PRIMARY KEY (`id`) USING BTREE,
  KEY `idx_start_time` (`start_time`) USING BTREE,
  KEY `idx_call_record_id` (`call_record_id`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8 ROW_FORMAT=COMPACT COMMENT='asr通话记录';

CREATE TABLE `asr_call_record_detail` (
  `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '主键id',
  `asr_id` bigint(20) DEFAULT NULL COMMENT '转写通话记录id',
  `sort` int(10) DEFAULT NULL COMMENT '排序',
  `content` text COMMENT '段落内容',
  `speaker` varchar(20) DEFAULT NULL COMMENT '说话方',
  `start_point` bigint(20) DEFAULT NULL COMMENT '开始节点',
  `end_point` bigint(20) DEFAULT NULL COMMENT '结束节点',
  `lid` varchar(20) DEFAULT NULL COMMENT 'lid',
  `create_user_id` bigint(20) DEFAULT NULL COMMENT '创建人',
  `create_time` datetime NOT NULL DEFAULT NULL COMMENT '创建时间',
  `update_user_id` bigint(20) DEFAULT NULL COMMENT '更新人',
  `update_time` datetime NOT NULL DEFAULT NULL COMMENT '更新时间',
  `remark` text COMMENT '备注',
  `del_flag` tinyint(2) NOT NULL DEFAULT '0' COMMENT '逻辑删除0.有效2.删除',
  PRIMARY KEY (`id`) USING BTREE,
  KEY `idx_asr_id` (`asr_id`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8 ROW_FORMAT=COMPACT COMMENT='asr转写内容';

	/**
	 * 上传三方进行转写
	 *
 	 * @param asrId  asr表id
	 * @param serviceProvider  区分语音转写平台
	 * @return
	 */
	@PostMapping("/asr/upload")
	@ResponseBody
	public AjaxResult upload(@RequestParam("asrId") Long asrId, @RequestParam("serviceProvider") Integer serviceProvider)  {
		AsrCallRecord asrCallRecord = asrCallRecordService.selectAsrCallRecordById(asrId);
		// 多次上传转写，删除历史数据
		if ( Integer.valueOf(1).equals(asrCallRecord.getAsrStatus()) ) {
			asrCallRecordDetailService.removeAsrCallRecordDetailByAsrId(asrId);
		}

		//获取具体转写平台对应的实现类
		IAsrTemplate asrTemplate = asrTemplateFactory.getAsrTemplate(serviceProvider);
		CreateTaskResultModel result = asrTemplate.createTask(asrCallRecord.getResourceUrl());
		if ( result.getCode() != 1 ) {
			return AjaxResult.error("失败，未知异常，请联系管理员", result);

		}
		//更新操作到转写记录表
		AsrCallRecord update = new AsrCallRecord();
		update.setId(asrId);
		update.setAsrStatus(2);
		update.setAsrOrderId(result.getTaskId());
		update.setUpdateUserId(ShiroUtils.getUserId());
		update.setUpdateTime(new Date());
		update.setServiceProvider(serviceProvider);
		asrCallRecordService.updateAsrCallRecord(update);
		return AjaxResult.success("上传成功，请等待片刻后，手动获取转写结果");
	}

    public CreateTaskResultModel createTask(String resourceUrl) {
        if (StrUtil.isEmpty(resourceUrl)) {
            throw new IllegalArgumentException("resourceUrl 不能为空");
        }

        CreateTaskResultModel createTaskResultModel = new CreateTaskResultModel();
        createTaskResultModel.setCode(-1);
        createTaskResultModel.setMsg("失败，未知异常");

		//获取加密参数 secretId  secretKey
        JSONObject config = getConfig();
        String secretId = config.getString("secretId");
        String secretKey = config.getString("secretKey");

        try{
            // 实例化一个认证对象，入参需要传入腾讯云账户 SecretId 和 SecretKey，此处还需注意密钥对的保密
            // 代码泄露可能会导致 SecretId 和 SecretKey 泄露，并威胁账号下所有资源的安全性。以下代码示例仅供参考，建议采用更安全的方式来使用密钥，请参见：https://cloud.tencent.com/document/product/1278/85305
            // 密钥可前往官网控制台 https://console.cloud.tencent.com/cam/capi 进行获取
            Credential cred = new Credential(secretId, secretKey);
            // 实例化一个http选项，可选的，没有特殊需求可以跳过
            HttpProfile httpProfile = new HttpProfile();
            httpProfile.setEndpoint("asr.tencentcloudapi.com");
            // 实例化一个client选项，可选的，没有特殊需求可以跳过
            ClientProfile clientProfile = new ClientProfile();
            clientProfile.setHttpProfile(httpProfile);
            // 实例化要请求产品的client对象,clientProfile是可选的
            AsrClient client = new AsrClient(cred, "", clientProfile);
            // 实例化一个请求对象,每个接口都会对应一个request对象
            CreateRecTaskRequest req = new CreateRecTaskRequest();

            // 请求参数
            req.setUrl(resourceUrl);
            req.setEngineModelType("8k_zh");
            req.setChannelNum(1L);
            // 识别结果返回形式。0： 识别结果文本(含分段时间戳)； 1：词级别粒度的详细识别结果(不含标点，含语速值)；2：词级别粒度的详细识别结果（包含标点、语速值）；3: 标点符号分段，包含每段时间戳，特别适用于字幕场景（包含词级时间、标点、语速值）。4：【付费功能】将对ASR结果按照语义分段，并展示词级别粒度的详细识别结果（注意：如果开启后付费，将自动计费）
            req.setResTextFormat(2L);
            // 0：语音 URL；1：语音数据（post body）。
            req.setSourceType(0L);
            req.setSpeakerDiarization(1L);
            req.setSpeakerNumber(2L);

            // 自学习模型
            //req.setCustomizationId("79882fef1c7211ee9c9d446a2eb5fd98");
            //是否过滤语气词（目前支持中文普通话引擎）。0：不过滤语气词；1：部分过滤；2：严格过滤 。默认值为 0。
            req.setFilterModal(0L);
            // 情绪能量值，取值为音量分贝值/10。取值范围：[1,10]。值越高情绪越强烈。0:不开启，1:开启
            req.setEmotionalEnergy(1L);
            // 热词增强功能。1:开启后（仅支持8k_zh,16k_zh），将开启同音替换功能，同音字、词在热词中配置。举例：热词配置“蜜制”并开启增强功能后，与“蜜制”同拼音（mizhi）的“秘制”的识别结果会被强制替换成“蜜制”。因此建议客户根据自己的实际情况开启该功能。
            req.setReinforceHotword(1L);
            // 情绪识别能力(目前支持16k_zh) 默认为0，不开启。 1：开启情绪识别但是不会在文本展示“情绪标签”， 2：开启情绪识别并且在文本展示“情绪标签”。（该功能需要设置ResTextFormat 大于0）
            req.setEmotionRecognition(0L);

            // 返回的resp是一个CreateRecTaskResponse的实例，与请求对象对应
            CreateRecTaskResponse resp = client.CreateRecTask(req);

            createTaskResultModel.setApiResult(CreateRecTaskResponse.toJsonString(resp));
            Optional.ofNullable(resp)
                    .map(CreateRecTaskResponse::getData)
                    .map(Task::getTaskId)
                    .ifPresent(taskId->{
                        createTaskResultModel.setCode(1);
                        createTaskResultModel.setMsg("成功");
                        createTaskResultModel.setTaskId(String.valueOf(taskId));
                    });
        } catch (TencentCloudSDKException e) {
            Cat.logError("腾讯asr上传转写资源异常：", e);
        }

        return createTaskResultModel;
    }

	/**
	 * 获取三方转写结果
	 *
	 * @param asrId asr表id
	 * @return
	 */
	@PostMapping("/asr/getResult")
	@ResponseBody
	public AjaxResult getResult(@RequestParam("asrId") Long asrId) {
		AsrCallRecord asrCallRecord = asrCallRecordService.selectAsrCallRecordById(asrId);
		if ( Integer.valueOf(1).equals(asrCallRecord.getAsrStatus()) ) {
			return AjaxResult.success("已保存转写结果，请刷新查看");
		}

		if ( Objects.isNull(asrCallRecord.getAsrOrderId()) ) {
			return AjaxResult.success("录音未上传，不能取转写结果！");
		}

		Integer serviceProvider = asrCallRecord.getServiceProvider();
		IAsrTemplate asrTemplate = asrTemplateFactory.getAsrTemplate(serviceProvider);
		GetResultModel result = asrTemplate.getResult(asrCallRecord.getAsrOrderId());
		if ( result.getCode() != 1 ) {
			return AjaxResult.error(result.getMsg(), result);
		}

		return toAjax(asrCallRecordService.saveAsrResult(asrId, result.getParaList()));
	}

    public GetResultModel getResult(String taskId) {
        if (StrUtil.isEmpty(taskId)) {
            throw new IllegalArgumentException("taskId 不能为空");
        }

        GetResultModel getResultModel = new GetResultModel();
        getResultModel.setCode(-1);
        getResultModel.setMsg("失败，未知异常");

        JSONObject config = getConfig();
        String secretId = config.getString("secretId");
        String secretKey = config.getString("secretKey");

        try{
            // 实例化一个认证对象，入参需要传入腾讯云账户 SecretId 和 SecretKey，此处还需注意密钥对的保密
            // 代码泄露可能会导致 SecretId 和 SecretKey 泄露，并威胁账号下所有资源的安全性。以下代码示例仅供参考，建议采用更安全的方式来使用密钥，请参见：https://cloud.tencent.com/document/product/1278/85305
            // 密钥可前往官网控制台 https://console.cloud.tencent.com/cam/capi 进行获取
            Credential cred = new Credential(secretId, secretKey);
            // 实例化一个http选项，可选的，没有特殊需求可以跳过
            HttpProfile httpProfile = new HttpProfile();
            httpProfile.setEndpoint("asr.tencentcloudapi.com");
            // 实例化一个client选项，可选的，没有特殊需求可以跳过
            ClientProfile clientProfile = new ClientProfile();
            clientProfile.setHttpProfile(httpProfile);
            // 实例化要请求产品的client对象,clientProfile是可选的
            AsrClient client = new AsrClient(cred, "", clientProfile);
            // 实例化一个请求对象,每个接口都会对应一个request对象
            DescribeTaskStatusRequest req = new DescribeTaskStatusRequest();

            req.setTaskId(Long.valueOf(taskId));

            // 返回的resp是一个DescribeTaskStatusResponse的实例，与请求对象对应
            DescribeTaskStatusResponse resp = client.DescribeTaskStatus(req);

            getResultModel.setApiResult(CreateRecTaskResponse.toJsonString(resp));

            TaskStatus data = resp.getData();
            // 任务状态码，0：任务等待，1：任务执行中，2：任务成功，3：任务失败。
            if ( data.getStatus() == 0 || data.getStatus() == 1 ) {
                getResultModel.setCode(-1);
                getResultModel.setMsg("转写中，请稍后再试！");
                return getResultModel;
            }

            if ( data.getStatus() == 2 ) {
                SentenceDetail[] paras = data.getResultDetail();
                // each para:[0:35.660,0:38.360,0]  嗯，对，我我我还没有时间去看呢。
                List<GetResultParaModel> paraModels = new ArrayList<>();
                for (SentenceDetail para : paras) {
                    GetResultParaModel paraModel = new GetResultParaModel();
                    paraModel.setContent(para.getFinalSentence());
                    paraModel.setSpeaker("段落-".concat(String.valueOf(para.getSpeakerId())));
                    paraModel.setStartPoint(para.getStartMs());
                    paraModel.setEndPoint(para.getEndMs());
                    paraModel.getUserFields().put("speechSpeed", para.getSpeechSpeed());
                    paraModel.getUserFields().put("emotionalEnergy", para.getEmotionalEnergy());
                    paraModel.setApiResult(JSON.toJSONString(para));
                    paraModels.add(paraModel);
                }

                getResultModel.setCode(1);
                getResultModel.setMsg("成功");
                getResultModel.setParaList(paraModels);
            }
        } catch (TencentCloudSDKException e) {
            Cat.logError("腾讯asr获取转写结果异常：", e);
        }

        return getResultModel;
    }

	public int saveAsrResult(Long asrId, List<GetResultParaModel> paraList) {
		asrCallRecordDetailService.removeAsrCallRecordDetailByAsrId(asrId);

		AsrCallRecord update = new AsrCallRecord();
		update.setId(asrId);
		update.setAsrStatus(1);
		update.setUpdateUserId(ShiroUtils.getUserId());
		update.setUpdateTime(new Date());
		int i = asrCallRecordMapper.updateAsrCallRecord(update);

		int sort = 0;
		for (GetResultParaModel paraModel : paraList) {
			AsrCallRecordDetail insert = new AsrCallRecordDetail();
			insert.setAsrId(asrId);
			insert.setSort(++sort);
			insert.setContent(paraModel.getContent());
			insert.setSpeaker(paraModel.getSpeaker());
			insert.setStartPoint(paraModel.getStartPoint());
			insert.setEndPoint(paraModel.getEndPoint());
			insert.setLid(MapUtil.getStr(paraModel.getUserFields(), "lid"));
			insert.setCreateUserId(update.getUpdateUserId());
			insert.setCreateTime(new Date());
			insert.setUpdateUserId(update.getUpdateUserId());
			insert.setUpdateTime(new Date());
			insert.setRemark(paraModel.getApiResult());
			insert.setDelFlag(Constants.DEL_FLAG.YES.getValue());
			asrCallRecordDetailService.insertAsrCallRecordDetail(insert);
		}

		return i;
	}