在線客服系統(tǒng)需要通過一個完善的評價系統(tǒng)來評價它的好壞，我們的評價體系有基于人工標記的評價和基于用戶反饋的評價，下面我們就來看看由哪幾個方面來進行判斷。

 

 

 

1、人工標注的評價

 

系統(tǒng)的回答能力要看知識庫的豐富情況，能不能回答用戶的所有問題，系統(tǒng)的最佳狀態(tài)是，能不能正確回答所有能回答的答案，無法確定的即拒絕回答。因此，這里的評價指標包括結果率、拒絕率、召回率、準確度等，目標是使在線客服系統(tǒng)的結果率無限接近數據的實際結果率。召回率和正確度要最大程度的高，這里顯示一組標準評價來計算系統(tǒng)的指標。我們每天從整個數據集取樣小數據集，使小數據集的數據分布盡可能地適合整個數據集。

 

然后，標注團隊對數據集進行標注，以顯示每個問題的實際答案。一般標準完成后，對鏈接進行質量檢查，確保標注結果盡可能準確，從而為每日數據創(chuàng)建標準評估集?；谶@組標準評價，評估系統(tǒng)的好壞，每當進行新的模型迭代時，都會使用一組標準評價來評價新模型，只有新模型的效果好，才能允許在線。

 

2、用戶反饋的評價

 

人工評價可以判斷在線客服系統(tǒng)回答是否正確，但不知道答案合理性怎樣，能否為用戶解決問題，用戶是否需要得到反饋，在線客服系統(tǒng)的根本目的是幫助用戶解決問題。在產品中設計智能客戶服務和在線客戶服務的評價功能。

 

例如，允許用戶評估智能客戶服務的每個回答或特定會話，與人工客服服務聊天完成后，可以將評價卡發(fā)送給用戶，評估滿意度。最終，我們可以統(tǒng)計參與評價比率、滿意度等指標，真正反映在線客服系統(tǒng)的好壞。實際上，用戶參與率往往較低，因此使用多種方法刺激用戶評價。

 

所以，通過以上兩種方式，我們就可以大致判斷出在線客服系統(tǒng)到底是好還是不好，從而確定是不是要選擇。