“如果你不能衡量它，你就無(wú)法增長(zhǎng)它”，無(wú)論對(duì)于智能對(duì)話機(jī)器人開發(fā)者還是使用者，要想優(yōu)化智能對(duì)話機(jī)器人的智能化性能并充分利用智能對(duì)話機(jī)器人，建立有效的評(píng)估指標(biāo)并對(duì)指標(biāo)數(shù)據(jù)進(jìn)行跟蹤和分析都是必要的。那么如何衡量智能對(duì)話機(jī)器人的智能化效果、有哪些具體的評(píng)估指標(biāo)呢？

        1.有效用戶數(shù)

        無(wú)論是傳統(tǒng)的網(wǎng)站、app還是任何一款產(chǎn)品，有效用戶數(shù)都是最為基礎(chǔ)的指標(biāo)。有效用戶數(shù)的重要性是顯而易見的，因?yàn)槿绻麤]有足夠的有效用戶數(shù)作為分析樣本，您基于此做的任何進(jìn)一步分析或推測(cè)都必然伴隨很大的隨機(jī)性，結(jié)果的可信度也會(huì)很低。因此您首先需要引導(dǎo)盡量多的用戶使用您的智能對(duì)話機(jī)器人，當(dāng)然在推廣力度足夠的情況下，有效用戶數(shù)還是難以得到增長(zhǎng)，則可能標(biāo)明您的機(jī)器人存在較多的問題，難以吸引并積累有效用戶，這種情況下您需要對(duì)產(chǎn)品進(jìn)行深度的優(yōu)化。

 

        2.參與用戶數(shù)

        有效用戶數(shù)是指打開并使用了智能對(duì)話機(jī)器人的用戶，即便用戶僅僅是閱讀了客服機(jī)器人的主動(dòng)推送對(duì)話也屬于有效用戶；參與用戶是指用戶對(duì)機(jī)器人作出響應(yīng)，即發(fā)起主動(dòng)對(duì)話請(qǐng)求，希望通過對(duì)話機(jī)器人得到問題解決方案等。參與用戶數(shù)越多，可供分析的用戶行為數(shù)據(jù)樣本量越大，因此提高參與用戶數(shù)也是促進(jìn)智能對(duì)話機(jī)器人優(yōu)化的一個(gè)重點(diǎn)指標(biāo)。智能對(duì)話機(jī)器人的智能化體現(xiàn)為其自主學(xué)習(xí)能力，參與用戶為機(jī)器學(xué)習(xí)提供了必要的素材，能夠反向服務(wù)于用戶，為其提供更加個(gè)性化的服務(wù)方案。

        3.整體的用戶互動(dòng)時(shí)長(zhǎng)

        在保證用戶數(shù)的前提下，用戶互動(dòng)時(shí)長(zhǎng)也是需要監(jiān)控的一項(xiàng)指標(biāo)。不過用戶時(shí)長(zhǎng)更長(zhǎng)或更短因?qū)υ挋C(jī)器人的應(yīng)用場(chǎng)景而異。簡(jiǎn)單來(lái)說以?shī)蕵窞槟康牡牧奶鞕C(jī)器人，用戶時(shí)長(zhǎng)當(dāng)然是越長(zhǎng)越好；但以解決客服問題為目的情況下需要按照用戶問題是否得到解決分別考慮，在用戶問題得到解決的前提下用戶互動(dòng)時(shí)長(zhǎng)一般越短越好，說明機(jī)器人能夠快速準(zhǔn)確識(shí)別用戶意圖并給出答案；對(duì)于互動(dòng)時(shí)長(zhǎng)短，但用戶問題無(wú)法得到解決的情況則說明用戶對(duì)機(jī)器人的滿意度差，您需要對(duì)對(duì)話機(jī)器人進(jìn)行進(jìn)一步的優(yōu)化。

        4.會(huì)話響應(yīng)時(shí)間

        智能對(duì)話機(jī)器人相較于人工服務(wù)的最大優(yōu)勢(shì)就在于快速且隨時(shí)響應(yīng)，因此響應(yīng)時(shí)長(zhǎng)無(wú)疑是評(píng)估機(jī)器人性能的一個(gè)關(guān)鍵性基礎(chǔ)指標(biāo)。

        5.每個(gè)用戶的會(huì)話情況

        在整體用戶互動(dòng)時(shí)長(zhǎng)的基礎(chǔ)上，您仍需要對(duì)典型的個(gè)體進(jìn)行關(guān)注，包括只會(huì)參與一次會(huì)話就退出的用戶、多次會(huì)話仍未解決問題的用戶以及會(huì)話效果顯著優(yōu)于平均水平的用戶。對(duì)于這類用戶的具體分析，能夠幫助您了解您的智能對(duì)話機(jī)器人在于用戶溝通時(shí)的局限性以及其做得好的地方，進(jìn)而為您提供進(jìn)一步的優(yōu)化方案。
 

        6.混亂觸發(fā)器

        對(duì)于智能對(duì)話機(jī)器人性能指標(biāo)的評(píng)測(cè)，除了需要關(guān)注用戶端的數(shù)據(jù)外，仍需要關(guān)注機(jī)器人端的行為數(shù)據(jù)?；靵y觸發(fā)器是指對(duì)話機(jī)器人無(wú)法識(shí)別用戶意圖甚至誤解用戶意思而做出類似于“我不明白”、“聽不懂”等的回應(yīng)的情況。對(duì)于機(jī)器人出發(fā)混亂狀態(tài)的案例的分析能夠有針對(duì)性的進(jìn)行優(yōu)化，提高機(jī)器人的智能化水平。對(duì)于輔助人工干預(yù)的情況，混亂觸發(fā)數(shù)據(jù)的監(jiān)測(cè)有助于人工服務(wù)任務(wù)分流安排，及時(shí)將智能對(duì)話機(jī)器人無(wú)法處理的用戶問題轉(zhuǎn)交給人工客服能夠避免糟糕的用戶體驗(yàn)、減少用戶流失。

        7.留存率

        留存率或者新老用戶占比數(shù)據(jù)能夠一定程度上反映用戶對(duì)產(chǎn)品的認(rèn)可度，但就智能對(duì)話機(jī)器人而言，留存率也會(huì)因應(yīng)用場(chǎng)景的不同而有較大的差異，您需要根據(jù)您對(duì)智能對(duì)話機(jī)器人的應(yīng)用場(chǎng)景具體分析該項(xiàng)指標(biāo)。對(duì)于娛樂目的智能對(duì)話機(jī)器人，當(dāng)然是留存率越高越好，但對(duì)于工具屬性的智能對(duì)話機(jī)器人而言， 其留存率可能僅限交易周期內(nèi)。

        小結(jié)

        本文關(guān)于智能對(duì)話機(jī)器人評(píng)估指標(biāo)在論述主要是從開發(fā)和優(yōu)化的角度展開分析的，但對(duì)于采購(gòu)智能聊天機(jī)器人的用戶而言，這套指標(biāo)體系也是適用的。您可以通過試用或?qū)ζ溥^往案例進(jìn)行評(píng)估來(lái)判斷其產(chǎn)品的智能化水平，進(jìn)而選擇一套靠譜的智能對(duì)話機(jī)器人。

-THE END-

---