收藏
上證報(bào)中國(guó)證券網(wǎng)訊（記者 王墨璞嘉）6月6日，記者從天眼查獲悉，科大訊飛申請(qǐng)的“大模型評(píng)估方法、裝置、設(shè)備、系統(tǒng)及程序產(chǎn)品”專利今日公布。
摘要顯示，該方法首先獲取目標(biāo)大模型問(wèn)答所得的對(duì)話數(shù)據(jù)，基于數(shù)據(jù)之間的跟隨關(guān)系依次對(duì)問(wèn)答對(duì)話進(jìn)行指令抽取，從而得到對(duì)話指令，并對(duì)對(duì)話指令打分得到第一得分。其次，提取問(wèn)答對(duì)話對(duì)應(yīng)的答案信息，將其與前序答案信息比對(duì)得到第二得分。再次，對(duì)答案信息進(jìn)行回復(fù)質(zhì)量評(píng)價(jià)，得到第三得分。最后，結(jié)合第一得分、第二得分和第三得分，得到目標(biāo)得分，以此對(duì)目標(biāo)大模型進(jìn)行評(píng)估。
據(jù)悉，該方法針對(duì)多輪次對(duì)話特點(diǎn)進(jìn)行多維度的指標(biāo)配置，實(shí)現(xiàn)了自動(dòng)化評(píng)估，可以大幅降低人工的參與度，減少因個(gè)人主觀看法造成的偏差，提高大模型評(píng)估的準(zhǔn)確性。
