评测维度

最近更新时间:2024-07-01 15:10:32

我的收藏

建议评分

建议评分,取值范围[0,100],评分方式为建议评分 = 精准度(PronAccuracy)× 完整度(PronCompletion)×(2 - 完整度(PronCompletion)),如若评分策略不符合请参考 Words 数组中的详细分数自定义评分逻辑。
评测模式
建议评分
句子模式
段落模式
句子多分支模式
精准度(PronAccuracy)× 完整度(PronCompletion)×(2 - 完整度(PronCompletion))
单词评测模式
单词纠错模式
拼音模式
取精准度评分即可
自由说评测
情景评测模式
可能需要根据返回结果进一步计算。如果无相关需求,自由说模式可以取精准度;情景评测模式当切题度(PronCompletion)为1时,取精准度。当切题度(PronCompletion)为-1时,评分为0
单词实时评测
取中间结果(SentenceInfo)的精准度

精准度

发音精准度(PronAccuracy)的评判标准是在参照了标准发音以及语音库同种发音对比的前提下,综合参照元音字母以及组合在不同音节中的不同读法、辅音以及成音节的读音、单词重音、句子重音等不同的发音指标,给出发音精准度的得分。总精准度是所有匹配单词的平均值。

流利度

发音流利度指标是根据发音是否通顺给出基础进行打分,并考虑发音变化中连读、失去爆破、弱读、同化的表达,综合参照语调和节奏中意群与停顿、语调、节奏的发音情况,给出流利度的得分。总流利度是所有匹配单词的平均值。

完整度

发音完整度指标是根据发音识别文本与上传 RefText 文本的对比,是所有匹配单词RefText 文本长度的比值。

匹配情况

MatchTag 表示当前音频数据的词和当前文本词的匹配情况。0:匹配单词、1:新增单词、2:缺少单词、3:错读的词、4:未录入单词。

当前词与参考词

智聆口语评测进行评测的时候会对文本进行处理,参考 转换标准,处理后会按照当前词(Word)来进行评测,原始文本可以参考(ReferenceWord)。

评测示例

请求参数

{
"RefText": "1st,wakey i go to school by bus", # 评估文本
"EvalMode": 1,
"ServerType":0, # 英文
"WorkMode":1,
"UserVoiceData":"UklGRka1CQBXQVZFZm10IBAAAAABAAEAgD4AAAB9AAACABAATElTVDQAAABJTkZPSUNSRBEAAAAyMDIxLTA3LTAxIDEzOjQzAABJU0ZUDgAAAE*",
"SeqId":1,
"IsEnd":1,
"VoiceFileType":3,
"VoiceEncodeType":1,
"SessionId":"63b5-1669258119839-39805",
"ScoreCoeff":1.0
}

返回结果


{
"SuggestedScore":55.60814442127508,
"PronAccuracy":60.55109,
"PronFluency":0.6258079,
"PronCompletion":0.71428573,
"RequestId":"6b200550-1b6d-4b2e-b7dc-5d36987ce674",
"Words":[
{
"MemBeginTime":1180,
"MemEndTime":2160,
"PronAccuracy":-1,
"PronFluency":0,
"ReferenceWord":"*",
"Word":"*",
"MatchTag":1,
"KeywordTag":0,
"PhoneInfos":[

]
},
{
"MemBeginTime":2350,
"MemEndTime":3000,
"PronAccuracy":68.41866,
"PronFluency":0.9145138,
"ReferenceWord":"1st_0",
"Word":"first",
"MatchTag":0,
"KeywordTag":0,
"PhoneInfos":Array[4]
},
{
"MemBeginTime":3200,
"MemEndTime":3830,
"PronAccuracy":28.755983,
"PronFluency":0.926236,
"ReferenceWord":"wakey_2",
"Word":"wakey",
"MatchTag":4,
"KeywordTag":0,
"PhoneInfos":Array[5]
},
{
"MemBeginTime":4340,
"MemEndTime":4740,
"PronAccuracy":10.808663,
"PronFluency":0.80941176,
"ReferenceWord":"i_3",
"Word":"i",
"MatchTag":0,
"KeywordTag":0,
"PhoneInfos":Array[1]
},
{
"MemBeginTime":4740,
"MemEndTime":5460,
"PronAccuracy":46.60009,
"PronFluency":0.7008089,
"ReferenceWord":"go_4",
"Word":"go",
"MatchTag":0,
"KeywordTag":0,
"PhoneInfos":Array[2]
},
{
"MemBeginTime":5460,
"MemEndTime":5780,
"PronAccuracy":94.1383,
"PronFluency":0.91764176,
"ReferenceWord":"to_5",
"Word":"to",
"MatchTag":0,
"KeywordTag":0,
"PhoneInfos":Array[2]
},
{
"MemBeginTime":5780,
"MemEndTime":6550,
"PronAccuracy":95.0449,
"PronFluency":0.8820709,
"ReferenceWord":"school_6",
"Word":"school",
"MatchTag":0,
"KeywordTag":0,
"PhoneInfos":Array[4]
},
{
"MemBeginTime":6550,
"MemEndTime":6550,
"PronAccuracy":-1,
"PronFluency":0,
"ReferenceWord":"by_7",
"Word":"by",
"MatchTag":2,
"KeywordTag":0,
"PhoneInfos":[

]
},
{
"MemBeginTime":6550,
"MemEndTime":6550,
"PronAccuracy":-1,
"PronFluency":0,
"ReferenceWord":"bus_8",
"Word":"bus",
"MatchTag":2,
"KeywordTag":0,
"PhoneInfos":[

]
}
],
"SessionId":"63b5-1669258119839-39805",
"Status":"Finished",
}

返回结果解析

音频发音内容为 hello first wakey i want to school
hello:由于评估文本中未存在这个单词,所以不会进行评测,此时 MatchTag 为1,Word为*。
first:对应原文本 1st,此时 MatchTag 为0.评估的当前词 Word 为 first,评估文本参考词 ReferenceWord 为 1st_0。表示 1st 的下标为 0。
wakey:此时 MatchTa 为4,由于该单词不属于常见词,所以我们暂未录入。一般情况下会尝试进行发音评测,如果不符合可以通过音素标注。此时 Word 为 wakey,ReferenceWord 为 wakey_2。一般情况下标点符号不参与评测,但是会站位,所以此时表示wakey的下标为2,而不是1。
i want to school:与评估文本 i go to school 有出入,但是此时 MatchTag 为0。评分偏低情况下,可以认为是错读的情况。
by bus:此时 MatchTag 为2,由于未读该内容所以缺少单词。
总精准度只会计算当前词 MatchTag 为0的精准度的平均值。
完整度也只会计算当前词 MatchTag 为0的完整度。评估文本中虽然有8个单词,但是由于 wakey 是不在字典里面,MatchTag 为4。所以实际只有7个单词,MatchTag 为0的有5个单词,所以最终完整度为5/7。