2022首届人工智能训练师“未来之星”大赛:复赛说明 | |
发表时间:2022-09-26 阅读次数:243 字体:【大 中 小】 | |
主办单位 客户世界机构 协办单位 CC-CMM国际标准组织 本活动是2022“未来之星”中国客户中心职业技能大赛的专项赛事之一。 首先代表大赛组委会表示对各位成功晋级复赛的参赛队伍表示恭喜。以下为复赛环节竞赛说明书。 · 标注环节(复赛)说明 本轮竞赛为标注实操与管理竞赛;竞赛周期为:2022年6月20号至7月20号; 1、赛前培训:6月20号至7月8号之间为标注实操平台使用培训(其中6月21日 下午14点~15点(语音平台指导);6月23日 下午14点~15点(文本平台指导));培训内容包括不限于:标注平台使用、标注注意事项、开通标注账号、微信群不定时标注平台使用答疑等;标注平台熟悉、标注任务试标注; 2、确认选择标注任务:7月1号至7月8号期间各小组领队向组委会确认所选标注任务内容;(注:选定赛题,非特殊情况不可修改;超时未选标注赛题即淘汰) 3、标注竞赛:7月9号至7月17号之间各小组按选定任务进行标注; 4、竞赛成绩核算:7月17号至7月20号; 竞赛难度:人工智能训练师初级水平在正常情况下能够完成的难度;标注实操与管理能力掌握范围至少要达到行业同等水平,训练选手达到相应的能力和潜力:人工智能训练师国家职业标准L5、L4客户世界AIT初级训练师、其他同等级人工智能训练师水平。 · 理论环节(复赛)详情 赛前准备阶段: 竞赛组委会向晋级成功团队领队发放竞赛说明书、安排本轮竞赛队伍参加竞赛平台使用说明介绍培训、竞赛队伍注册平台账号,根据预选题目类型进行试标注,确定竞赛队伍最终选择的实操任务(语音&文字); 赛中阶段: 标注实操任务由客户世界AIT大赛组委通过微信群向参赛团队领队发放,在规定时间内由各领队自行安排本团队实操答题,最终由组委对竞赛试题进行审核和批改; 赛后阶段: 7月20日公布各参赛队伍晋级结果。 · 标注实操赛题说明 本轮标注实操竞赛设置依据来源于《人工智能训练师国家职业标准》中相关技能要求,并基于客户世界多年深耕客服域中的智能服务训练运营经验,且保障各参赛团队公平的前提下,本轮竞赛共设置语音标注与文本标注两种类型,各参赛团队可根据自身实际情况,选择对应的任务进行实操,题目选定以各领队上报结果为准,一旦上报后除开特殊情况不可修改,否则自动视为本轮竞赛弃权; 3.1本轮竞赛评分标准
3.2文本标注题: 本次比赛的标注任务主要为FAQ训练语料标注。FAQ数据主要来自银行、保险、政务等领域的提问。 请使用主办方分配的账号密码登录,每位参赛者一个账号,相互之间不可混用。 1、标注的要求如下: (1)判断哪些数据可作为FAQ清单中标准问的训练语料 (2)将可作为训练语料的数据添加至对于标准问下 2、评价指标 文本标注部分主要关注标注数量和FAQ问答准确率。评价指标及计算方式如下: · 标注数量 1)总标注数量 2)单个FAQ训练语料数量 注:总标注数量以问答管理-常用标准问题-数据训练显示的总语料数量为准;训练语料必须为提供的语料范围内容,不可自行扩写; · FAQ问答准确率,其计算公式为: FAQ问答准确率=机器人出话正确数量/测试题总量 注:以问答管理-常用标准问题-测试及报告显示的准确率为准;
3、打分方案 问答准确率+标注数量进行综合评分; 3.3语音标注题: 本次比赛的标注任务主要包括语音转文本标注及性别标注两类任务。语音数据主要来自银行、保险等领域的客服录音。 请使用主办方分配的账号密码登录,每位参赛者一个账号,相互之间不可混用。 1.标注的要求如下:每条录音均需标注其文字内容及性别,其他内容(口音、噪音、插入符号等)本次比赛不涉及,无需标注。 · 每条语音需要标注其文字内容及性别; (2)如果一段音频中完全没有人说话,或只有噪音,则点丢弃 (3)如果一段音频由于噪音或口音完全听不懂,则点丢弃 (4)不太清楚但是多听两遍可以听清楚的,不可以丢弃 (5)语音中有一小段听不清的,可以丢弃 (6)很明显的噪音,比如近距离的喇叭声、关门声,可以丢弃 (7)出现数字的,需要用汉字记录,而不是阿拉伯数字 (8)出现英文的,如果是按字母读,则全用大写,如IBM,如果按单词读的,则全用小写,如apple,专业词汇按照标准写,如WiFi,IPv6 (9)出现符号的,英文符号直接按符号写,如@;按中文读的按汉字写,如HTTP冒号杠杠 2.评价指标 语音标注部分主要关注文字标注性能和性别标注性能。评价指标及计算方式如下: 字错误率,其计算公式为 字错误率 = ( 插入错误数 + 删除错误数 + 替换错误数 ) / 总字数 其中,插入错误指在本不该有字的地方多标注了一个字;删除错误是指在本来应该有字的地方漏标了该字;替换错误是指标注的字错误。 性别错误率,其计算公式为: 性别错误率 = 性别标注错误数 / 总句数 3.打分方案 字错误率+性别错误率进行综合评分;
组委会联络人: 郑 洁:13718770777,zhengjie@ccmw.net 官网:www.ccmw.net |
|
上一篇:2022首届“未来之星”客服域人工智能训练师大赛安排 | |
下一篇:第二届”开局论坛”举行,CCO100为客户中心行业2022年度开局 |