阿里云飛天大數(shù)據(jù)產(chǎn)品價值解讀

來源：云棲號

作者：吳世龍

時間：2020-08-26

本次分享主要圍繞以下三個方面：一、如何評估搜索質(zhì)量、體驗與業(yè)務(wù)。價值二、OpenSearch背景與核心能力介紹。三、典型案例。

演講嘉賓簡介：阿里云智能高級產(chǎn)品專家——吳世龍（染天）

以下內(nèi)容根據(jù)演講視頻以及PPT整理而成。

觀看回放:https://yq.aliyun.com/live/43343

本次分享主要圍繞以下三個方面：

一、如何評估搜索質(zhì)量、體驗與業(yè)務(wù)價值

二、OpenSearch背景與核心能力介紹

三、典型案例

一、如何評估搜索質(zhì)量、體驗與業(yè)務(wù)價值

1.搜索-無處不在

生活中多種不同場景需要進行搜索，在企業(yè)內(nèi)部產(chǎn)品中也需要使用多種搜索功能，方便用戶快捷地獲取企業(yè)相關(guān)商品、服務(wù)、內(nèi)容等信息。搜索在不同的企業(yè)業(yè)務(wù)中的角色可能有所不同。如下圖所示，搜索在電商行業(yè)是十分重要的業(yè)務(wù)流量轉(zhuǎn)化入口，在其他領(lǐng)域也必不可少。

搜索是用戶獲取信息的基礎(chǔ)手段與能力，如果搜索不好用，用戶信任度必會降低。如果搜索在某業(yè)務(wù)場景中使用不多，建議衡量業(yè)務(wù)的全站流量結(jié)構(gòu)。

2.評估搜索質(zhì)量、體驗與業(yè)務(wù)價值

六成左右客戶不清楚如何評估搜索質(zhì)量、體驗與業(yè)務(wù)價值，那么引出以下問題。

搜索的業(yè)務(wù)價值驅(qū)動力是什么？搜索在企業(yè)內(nèi)部的業(yè)務(wù)價值驅(qū)動一般依靠被動的Bad case、KPI或業(yè)務(wù)需求。依靠Bad case驅(qū)動，搜索結(jié)果具有隨機性，不固定時間地點場合，搜索體驗差。KPI指標判斷，容易片面和不知所以然。依靠業(yè)務(wù)需求指業(yè)務(wù)方或運營指明將某些搜索結(jié)果置于前排，意味著結(jié)果排序相關(guān)性勢必會完全依賴于業(yè)務(wù)方經(jīng)驗而無法客觀的保障用戶的體驗與業(yè)務(wù)轉(zhuǎn)化，不具備可控性。以上三種業(yè)務(wù)價值驅(qū)動方式都存在較大問題。

目前許多企業(yè)的做法是根據(jù)上述所謂的內(nèi)部搜索業(yè)務(wù)價值驅(qū)動力，做召回、排序、業(yè)務(wù)需求以及擴展搜索歷史等功能。

如何衡量？主觀？客觀？如果明確了搜索的業(yè)務(wù)價值驅(qū)動力，如何衡量驅(qū)動效果，即業(yè)務(wù)價值？具有客觀的體系化衡量手段才有可能實現(xiàn)客觀的判斷。

下圖所列舉為一套以淘寶內(nèi)部為典型的搜索上線流程。首先需要有監(jiān)控/評估搜索用戶體驗的方法，周期性評測用戶體驗。通過監(jiān)控/評估明確迭代/專項。在上線前做一些A/B Test或灰度測試，如果沒有問題可全量上線，并監(jiān)控線上效果。例如翻頁率下降，說明用戶以往搜索10頁才能找到的內(nèi)容現(xiàn)在1、2頁就可以找到，搜索體驗提升。

該鏈路是主動監(jiān)控、評估搜索業(yè)務(wù)價值的，好的驅(qū)動力應(yīng)該是高效的體系化的持續(xù)化的實現(xiàn)交付價值。

那么如何衡量搜索業(yè)務(wù)價值？該鏈路源頭是監(jiān)控/評估能力，需要有體系化、專業(yè)的報表與評估服務(wù)。報表是客觀性數(shù)據(jù)，只能反映果而不能體現(xiàn)因，評估服務(wù)是人工主觀評估服務(wù)。監(jiān)控/評估取代了所謂Bad case、KPI、業(yè)務(wù)需求，更加體系化地衡量搜索體驗。

如下圖所示，OpenSearch報表評估提供5大維度的30+指標。報表只能體現(xiàn)整體結(jié)果，而局部效果的評估可以根據(jù)大量指標從不同視角得出不同結(jié)論。五大維度分為流量指標、點擊類指標、用戶分析類指標、Query分析類指標、成交指標，核心指標由其提煉而來。

以往每天上班第一件事是查看關(guān)鍵指標，如發(fā)現(xiàn)可能存在問題，需要檢查連帶影響，確保報表各項核心指標正常后才會展開其他工作。因此該體系化、專業(yè)的報表與評估服務(wù)不僅帶給客戶一種技術(shù)能力，更使客戶能夠在平臺上完整落地、驅(qū)動搜索業(yè)務(wù)。

如何高效、可持續(xù)、體系化地交付搜索價值？搜索的相關(guān)市場、場景、用戶、文化一直處于變化中，明確搜索業(yè)務(wù)價值驅(qū)動力、衡量方式后，如何高效、可持續(xù)、體系化地交付搜索價值？

與一般開源不同，OpenSearch提供的不是需要客戶自行拼搭開發(fā)的零散工具，而是一套完整服務(wù)，一切皆為提升業(yè)務(wù)價值、體現(xiàn)大家的專業(yè)能力。OpenSearch服務(wù)主要有以下四個特點。第一，免運維，客戶只需要提供數(shù)據(jù)并配置滿足自身業(yè)務(wù)訴求的策略。第二，開箱即用，只需提供數(shù)據(jù)與配置策略，操作便捷。第三，一站式，提供搜索核心功能、擴展功能。第四，高搜索質(zhì)量。

下圖所示為搜索上線流程，創(chuàng)建應(yīng)用、上傳數(shù)據(jù)并進行簡單調(diào)試后即可發(fā)布上線。若過程順利半天即可完成。

二、OpenSearch背景與核心能力介紹

OpenSearch是阿里巴巴自研的搜索引擎，過去一直支持并服務(wù)阿里內(nèi)部應(yīng)用，經(jīng)過千錘百煉才沉淀到可以賦能市場上其他企業(yè)。

搜索的核心是做召回、排序、業(yè)務(wù)需求以及功能擴展，投入重、依賴多、周期長，一般企業(yè)難以投入大規(guī)模人力與資源。因此開發(fā)性能與體驗優(yōu)秀的搜索引擎并非易事。

召回核心模塊為分析器與查詢分析。中文博大精深，易生歧義，分詞效果至關(guān)重要。召回內(nèi)置多種分析器，分析語言意圖。查詢分析提供同義詞、糾錯、詞權(quán)重、實體識別、停用詞分析等必備功能。

排序方面支持二次排序，是大數(shù)據(jù)量召回的有效解決方式。還支持類目預(yù)測、人氣模型，支持表達式以及Cava排序定制。

根據(jù)業(yè)務(wù)需求需要支持混排、打散、詞典管理等功能實現(xiàn)?；炫胖冈谒阉髡倩亟Y(jié)果中根據(jù)業(yè)務(wù)需求相應(yīng)展示視頻、文字、圖片等不同媒體類型結(jié)果。例如在淘寶搜索結(jié)果中，打散指品牌、價格等打散展示。

擴展即功能性擴展，如A/B Test、搜索框下拉提示、熱搜&底紋（默認搜索詞）、飄紅、Debug工具等。

召回、排序、業(yè)務(wù)、擴展都是為了服務(wù)客戶，使客戶能以最小成本、最短時間交付高質(zhì)量業(yè)務(wù)價值而提供的能力。

1.分析器

分析器是影響搜索效果的基礎(chǔ)模塊，不同業(yè)務(wù)場景需要使用不同分析器，需要用戶結(jié)合自身業(yè)務(wù)場景自行選擇。目前OpenSearch集成了12種分析器供用戶選擇，用戶也可上傳自己的分詞詞條個性化定制分析器。

下圖所示為阿里OpenSearch電商分析器與開源IK分析器對比數(shù)據(jù)，可見OpenSearch分析器的分詞效果相對優(yōu)于IK開源分析器。該對比隨機抽取100個電商類Query，下圖列舉部分結(jié)果。例如925銀耳飾，開源IK分析器分詞有“銀耳”一項，OpenSearch電商分詞理解顯然更優(yōu)。

2.類目預(yù)測

用戶搜索意圖可分為精搜、泛搜，類目預(yù)測即預(yù)測用戶搜索某一Query時目標類目的結(jié)果。類目預(yù)測并非依靠個人體感，而需要符合市場需求，根據(jù)行為數(shù)據(jù)盡可能快速滿足用戶需求。

如下圖所示，使用類目預(yù)測前在淘寶搜索光明，可能出現(xiàn)米、面、奶等多種相關(guān)商品。而根據(jù)用戶點擊行為數(shù)據(jù)，100個用戶搜索光明，絕大多數(shù)點擊的商品是光明牛奶，意味著用戶搜索光明通常是搜索光明牛奶，因此使用類目預(yù)測后前排推薦商品變化為光明牛奶。

類目預(yù)測也可使用純文本方式。

案例——雙面膠：多數(shù)時候搜索雙面膠指辦公用品，然而一段時間內(nèi)電視劇《雙面膠》很熱，出現(xiàn)了許多相關(guān)周邊產(chǎn)品。那么用戶在該階段搜索雙面膠想要的商品或許會發(fā)生變化，可通過用戶行為數(shù)據(jù)進行類目預(yù)測。

案例——播、海賊王、柯南：“播”是一個服裝品牌，多數(shù)時候需要召回的內(nèi)容為該品牌服裝。海賊王、柯南等Query，需要根據(jù)市場需求，通過類目預(yù)測提供更合適的結(jié)果。