關於利用分類模型建立非實時渠道客戶聲音服務響應閉環機制的建議

文思社 人氣:3.21W

共享服務中心自2019年11月開始,協助流程與運營部實施NPS[1]“客戶之聲”體驗問題分類模型(以下簡稱“模型”)建設工作,今年4月,聯手研發中心技術及資料大產品團隊、資料中心基礎平臺團隊,完成了第二次模型迭代並優化了資料鏈路。在利用多個非實時渠道客戶聲音對模型進行效果驗證時,發現模型具有“發現客戶投訴隱患,將非實時響應轉化為實時響應;精準定位客戶反饋痛點和熱點,將沉默資訊轉化為有效改進點”的價值,可基於模型建立非實時渠道服務閉環響應機制。特此彙報:

關於利用分類模型建立非實時渠道客戶聲音服務響應閉環機制的建議

一、模型特點介紹

(一)調整模型架構,提升同類場景泛化能力

前期模型在實際應用中存在客戶反饋和採集場景非嚴格的一一對應[2],以及新增場景[3]初期資料積累不足不能預測識別等問題。為了解決上述問題,此次模型打破迭代前模型和場景一一對應關係,針對NPS全場景客戶反饋,對3大類情感8大類116小類業務方向進行分類(詳見表1),提升了模型的泛化能力,新建場景亦可利用模型識別出絕大多數問題,後續隨著資料積累逐漸提升預測精確度,做到快速察覺使用者反饋變化與分類精準預測之間的平衡。在利用另外兩個非實時渠道文字資料(使用者直通車、上行簡訊)進行驗證時,針對NPS中未涉及的問題(如申請延期繳費、申請延期還款等)會識別錯誤,且三渠道客戶反饋場景和表述風格存在一定差異,指標存在明顯低於NPS的情況(詳見表2),但模型核心指標也達到基本可用水平。

情感

業務大類

範圍描述

業務細類

積極

正向反饋

表達正向情感的意見反饋

含方便快捷安全、服務好、品牌信譽好、借款利息低/合理等7小類

中性

中性反饋

沒有明顯態度或傾向性意見

含申請投保、無推薦意願、第一次使用、無意義、無意見和建議等11小類

消極

對服務效率不滿

對於某項具體業務的辦理速度有關的不滿

含借款到賬慢、大額到賬慢、還款扣款慢、理賠速度慢等8小類,

對服務柔性不滿

對於某項具體業務的辦理靈活性、辦理渠道的多樣性有關的不滿

含借款利息高、借款週期短、還款方式少、借款可借額度低等25小類

對服務場景互動/功能/效能不滿

對於某些具體業務辦理功能的互動/功能/效能有關的不滿

含還款失敗、銀行轉賬變更賬號失敗、保單復效失敗、還款不支援手動輸入金額等32小類

對APP平臺互動/功能/效能不滿

和壽險APP平臺功能的互動/設計/效能有關的不滿

含APP不支援截圖、不支援指紋識別功能、驗證碼收不到、安全效能待提高等16小類

對支撐服務不滿

對業務辦理過程以外的有支撐輔助作用的服務

含業務員-服務態度不好、人工/櫃面-服務不到位、通知-無提醒/結果反饋通知等16小類

對其他方面不滿

對優化暫不具有明確指導意義的意見建議

含不滿意1小類

表1:情感—業務分類表

實驗資料渠道

訓練集數量

驗證集數量

精確率

召回率

F1值

NPS全場景

57351

10935

0.94

0.92

0.92

使用者直通車

0

10655

0.83

0.80

0.71

上行簡訊

0

10331

0.77

0.63

0.59

表2:模型訓練結果指標表

(二)增加服務類別標籤,明確響應方向

客戶反饋中,除了反映業務問題內容之外,客戶的語氣語呼叫詞,同時反映了客戶不同程度的服務響應期待(詳見表3)。為了能夠在資源有限的情況下,優先處理高價值、服務響應等級高的客戶反饋,保證和客戶的有效互動,提升客戶體驗,此次模型迭代增加了服務分類,並將服務按響應等級分為高中低三級,為後續服務響應提供方向。

服務類別

定義

反饋示例

響應期待等級[4]

投訴

表達不滿,且具有服務升級的意思表達

業務員服務態度差,我要投訴。

我強烈地投訴中國人壽。

3

申請

申請公司的各類服務

銀行卡丟了,我要換銀行卡。

手機號不是我的,能不能更換?

3

諮詢

表達對於個案業務的疑問,通常有過程描述

我的萬能賬戶昨天還有錢,今天怎麼沒了?

請問您一下這個賠付金額、以保險本金到期後還可以領的嗎?

3

疑問

表達對於公司端處理的疑問,希望有解釋

為什麼利息漲了?

為啥不能提前還款?

2

建議

表達對於未來事情的想法,不摻雜明顯負面情緒

建議增加指紋識別功能。

希望能夠提供電子發票。

2

吐槽

表達對現有業務的不滿

借款利息太高了

人臉識別又失敗。

2

肯定

表達正向情感的意見反饋

中國人壽棒!

業務員太好了。

1

說明

闡述對公司提供有關資訊的解釋,無自發服務訴求

我沒有朋友,不推薦。

我已存錢,謝謝。

1

發洩

單純發洩不滿,無業務內容,且沒有升級意向

辣雞

中國人壽騙子公司

1

噪音

無意義的表述

12345666

95519666

1

表3:服務分類表

(三)對接大資料平臺,方便輸出呼叫

重構資料鏈條,在高斯公共層[5]構建面向應用的資料服務模型,將模型處理後的結構化資料迴流至高斯公共層,方便資料看板平臺直觀展現或其它業務流程呼叫,提升資料查詢效率,實現資料複用,後續新增場景免去資料二次加工[6]。

二、非實時渠道客戶聲音及服務響應現狀分析

非實時互動渠道的客戶文字反饋,通常產生在公司向客戶的單向通訊但被客戶反向利用(客戶回覆公司的下行簡訊或郵件),或公司設計的線上資訊採集渠道(如壽險直通車、和NPS留言),由於這些渠道資訊傳送者壓力相對較小,資訊質量相對實時互動渠道有較大差距。使用者反饋資料進行模型泛化性驗證、解讀時發現,非實時互動渠道中也摻雜著很多高價值的資訊(如投訴意向和購買意向等)。

(一)非實時渠道客戶反饋中,沉澱著大量業務問題和客戶服務期待

NPS反饋客戶通過問卷點選的方式表達了自己的態度,貶損客戶和非貶損客戶留言佔比分別為4.23%和0.23%,反應了貶損客戶更強的表達願望。利用模型處理四類使用者文字反饋發現(詳見表4),各渠道都包含大量使用者對於產品和服務的問題抱怨反饋,也含有投訴、商機等需要重點響應的服務訴求,高服務機會的資訊比例和剔除噪音後的資訊長度成正比關係。

態度分類

服務分類

NPS貶損留言

(11個字)

NPS非貶損留言

(7個字)

使用者直通車

(24個字)

上行簡訊

(22個字)

數量

佔比

數量

佔比

數量

佔比

數量

佔比

投訴

5

0.24%

0

0.00%

86

0.81%

41

0.01%

諮詢

3

0.14%

0

0.00%

1922

18.04%

1492

0.32%

申請

2

0.09%

0

0.00%

1931

18.12%

4165

0.88%

疑問

70

3.30%

2

0.06%

1775

16.66%

1453

0.31%

建議

26

1.23%

137

4.20%

74

0.69%

12

0.00%

吐槽

1382

65.19%

1274

39.08%

4304

40.39%

169000

35.76%

肯定

397

18.49%

1419

43.53%

159

1.49%

79610

16.85%

發洩

10

0.47%

1

0.03%

265

2.49%

2034

0.43%

說明

3

0.14%

0

0.00%

2

0.02%

4

0.00%

噪音

227

10.71%

427

13.10%

137

1.29%

214752

45.44%

總計

2120

100.00%

3260

100.00%

10655

100.00%

472563

100.00%

表4:2021年1季度三渠道文字結構表

(二)有關產品和服務的抱怨或完善建議,部分得到有效傳遞,需要關懷的客戶部分獲得響應

針對非實時渠道客戶留言關於產品或服務的意見建議,其中NPS客戶點選和文字反饋,流程與運營部及我中心聯手,將業務問題製作資料看板和分析報告,通過看板和報告將有關資訊傳遞至運營管理及產品開發團隊,推動體驗改善;壽險APP使用者直通車客戶反饋,目前作為產品優化方向對接工單流程,由產品團隊人工篩選出涉及APP平臺問題(含互動/功能/效能不滿)工單,填寫處理意見辦結工單,將非平臺問題工單轉發共享服務中心(運營板塊)工單處理人員,填寫處理意見辦結工單,流程鏈路較長且佔用大量人力,有關資訊也未同步其他產品團隊。

針對非實時渠道中所承載的客戶服務期待,流程與運營部自2021年7月對接第三方啟動NPS貶損客戶回訪安撫工作,按日或周聯絡全量差評客戶,通過聯絡,0.95%的客戶反饋了具體的不滿,還發現了聯絡方式錯誤的問題,效率相對較低;浙江、深圳等少數分公司對上行簡訊做篩選、流轉處理,針對其中反饋錯發件、諮詢件、投訴件的,由省公司二線進行差異化響應,避免問題升級,提升資訊質量,但是多數公司服務資源消耗較大;使用者直通車有關資訊當前並沒有向客戶反饋公司的處理情況,後續計劃提供實時響應入口,對於仍選擇非實時通道的,對接客戶之聲資料分析。

三、非實時渠道客戶聲音服務響應閉環建設方案

非實時渠道客戶反饋資訊在完善產品和提升體驗方面都已進行了有益的嘗試,如果能夠和模型結合,將會發揮更大效果,建議如下:

(一)擴充使用者直通車訓練資料,提升模型預測精準率

為更好處理壽險APP使用者直通車意見反饋中非實時使用者反饋資料,補充資料利用正則規則進行資料標註和人工複檢,重新訓練模型,提升模型在使用者直通車渠道的預測準確度。後續結合需要補充其他渠道資料進行訓練。

(二)模型統一對接客戶聲音生產端,人工切入回訪最需關懷客戶

模型處理NPS客戶留言和壽險APP客戶直通留言反饋客戶聲音,在進行服務和業務分類後,整合大資料中有關資訊(客戶資訊/所屬機構/受理場景/最新保單等)對接後續處理流程:投訴類資訊觸發投訴管理系統投訴處理流程,由省公司投訴處理人員進行處理;申請投保類資訊作為銷售線索通過國壽e店智慧行銷平臺,推送至該客戶的服務經理或最新長險保單銷售人員;其他高響應等級的客戶反饋,由郵件方式提供對應職能部門;對於其他客戶反饋不做回覆處理。

(三)定位和傳遞產品和服務重點問題,跟蹤評估效果和解決時效

針對客戶反饋中關於產品和服務完善方面的資訊,通過模型分類增加渠道、場景等屬性標籤,資料彙集至客戶之聲資料看板,及時輸出給運營團隊和產品團隊;屬性標籤對接體驗管理流程,根據屬性標籤確定主責團隊,如人臉識別不好用/麻煩/耗時長等平臺問題,交由平臺團隊、借款到賬慢等業務問題,交由對口保全團隊;體驗管理團隊可以根據問題熱度和有效性確定問題追蹤清單,跟蹤問題解決時效,對比評估解決效果。

(四)人工處理同步修正模型分類結果,建立資料閉環

在投訴管理崗或其他人員在接收或處理有關客戶反饋時,可以修正客戶資訊的分類結果,資料服務層採集人工處理環節對模型分類結果的修正意見,大資料平臺根據採集的資訊進行自動迭代,提升預測精準率。


[1]問卷滿意度調查,10分制,7-10分為非貶損,0-6分為貶損。

[2]之前年度的模型體系,模型和埋點場景是一一對應關係,比如借款問題分類模型僅能應用於借款場景。但是通過資料觀察發現,借款場景中,會出現有關萬能賬戶提取、銀行轉賬授權等問題的反饋,關於壽險APP平臺基礎能力問題的反饋會出現在各個場景中,場景和問題並不存在嚴格的對應關係。

[3]壽險APP渠道在5月份和6月份新增了4個和2個埋點問卷

[4]非權威劃分

[5]國產資料庫,擅長資料分析處理,億萬級別資料的即時查詢處理速度快。

[6]後續新增問卷調查場景的資料,不需要額外進行資料加工處理,源端採集完通過ODS到公共層,可以直接使用。