智能分析平臺之「AI預(yù)測引擎」

　 阿里云優(yōu)惠券 先領(lǐng)券再下單

觀遠(yuǎn)數(shù)據(jù)已經(jīng)幫助聯(lián)合利華、百威英博等多家500強(qiáng)客戶實(shí)施需求預(yù)測，有大量的零售領(lǐng)域數(shù)據(jù)預(yù)測經(jīng)驗(yàn)。我們看到，500強(qiáng)企業(yè)之所以愿意花上百萬，甚至大幾百萬來做AI預(yù)測項(xiàng)目，是基于其龐大的業(yè)務(wù)體量來評估ROI后作出的選擇：

一方面，高質(zhì)量的數(shù)據(jù)預(yù)測確實(shí)需要專業(yè)的數(shù)據(jù)科學(xué)家和分析人員深入了解業(yè)務(wù)場景，不斷迭代優(yōu)化預(yù)測模型，經(jīng)過長時間的錘煉才能獲得；

另一方面，業(yè)務(wù)規(guī)模足夠大時，一點(diǎn)點(diǎn)的預(yù)測準(zhǔn)確度的提升都能給企業(yè)帶來巨額的利潤回報(bào)。

但同時，我們也意識到，不是任何企業(yè)都有這個資金實(shí)力去做此類高質(zhì)量的數(shù)據(jù)預(yù)測的，并且在業(yè)務(wù)需求上也可能僅僅是想做一些初步預(yù)測來為決策提供參考。那么如何滿足這類客戶的預(yù)測需求，同時又能給他們提供比一般方法更優(yōu)秀的預(yù)測結(jié)果呢？

這一篇我們就給大家講講觀遠(yuǎn)數(shù)據(jù)為入門級數(shù)據(jù)分析人員準(zhǔn)備的零售數(shù)據(jù)「AI預(yù)測引擎」。

AI預(yù)測引擎概述

了解過觀遠(yuǎn)產(chǎn)品的朋友們都知道，觀遠(yuǎn)數(shù)據(jù)在BI平臺里面內(nèi)置了Smart ETL智能數(shù)據(jù)處理模塊。該模塊基于Spark大數(shù)據(jù)計(jì)算引擎開發(fā)，提供拖拽式、圖形化的數(shù)據(jù)流開發(fā)方式，使得一般業(yè)務(wù)人員也能做專業(yè)的數(shù)據(jù)分析處理。一般的ETL過程整理主要做的是數(shù)據(jù)的清洗、轉(zhuǎn)換、關(guān)聯(lián)、加載等操作，那觀遠(yuǎn)的Smart ETL何以稱之為智能呢？這是因?yàn)镾mart ETL中除了支持Spark本身自帶的函數(shù)之外，還支持自定義的UDF、UDAF函數(shù)開發(fā)，具有非常強(qiáng)大的智能算子 擴(kuò)展能力。

舉個例子，如果你想挖掘商品間的潛在聯(lián)系，開拓更多銷售機(jī)會，你就可以使用Smart ETL內(nèi)置的“關(guān)聯(lián)性挖掘”這個智能算子來快速實(shí)現(xiàn)商品銷售關(guān)聯(lián)分析。

而「AI預(yù)測引擎」則是另一個重要的智能算子。你可以用它來做各種級別的銷售預(yù)測，大到門店，小到品類，甚至SKU。有了可靠的銷售預(yù)測的數(shù)據(jù)，商品層面，對于鮮食類商品，可以做更為客觀的訂貨量評估，降低報(bào)廢風(fēng)險(xiǎn)的同時把握更多銷售機(jī)會；對于大眾消費(fèi)商品，可以提供更為精準(zhǔn)的動銷天數(shù)估算，指導(dǎo)商品訂貨、補(bǔ)貨、配貨。另一方面，銷售預(yù)測也可以用來指導(dǎo)人員排班，以及提供更為合理的銷售進(jìn)度評估。

「AI預(yù)測引擎」智能算子

在觀遠(yuǎn)Smart ETL中，用戶僅需要拖入一個「AI預(yù)測引擎」算子，接入事先預(yù)處理好的歷史數(shù)據(jù)，然后簡單配置日期字段、預(yù)測指標(biāo)，以及指標(biāo)聚合維度（日/周/月/季度/年）和預(yù)測周期數(shù)，便可開始預(yù)測。預(yù)測結(jié)果可以輸出到數(shù)據(jù)集進(jìn)行下一步的展示分析與決策支持。

「AI預(yù)測引擎」節(jié)點(diǎn)配置

觀遠(yuǎn)數(shù)據(jù)的「AI預(yù)測引擎」主要適用于零售企業(yè)的銷售預(yù)測或需求預(yù)測。上圖所示只是一個極簡模式的預(yù)測算子，但即便配置如此簡單，對零售行業(yè)門店級別（以超市數(shù)據(jù)為例）的日商預(yù)測平均準(zhǔn)確度達(dá)到83%（MAPE≈17.65%），個別門店接近90%；而細(xì)化到單門店單品類（鮮肉類）的日商預(yù)測，準(zhǔn)確度達(dá)到84%。而在這個基礎(chǔ)上，我們還能提供更多配置項(xiàng)，添加諸如天氣情況、促銷活動、品類級別的日期特征等外部信息，進(jìn)一步提升數(shù)據(jù)預(yù)測的準(zhǔn)確度；同時也可以提供多門店、多品類的批量預(yù)測。

架構(gòu)解密

為什么如此簡單的操作，便能實(shí)現(xiàn)還不錯的銷售數(shù)據(jù)預(yù)測呢？

這是因?yàn)榧軜?gòu)層面觀遠(yuǎn)數(shù)據(jù)將預(yù)測算法封裝成Spark UDF函數(shù)，有機(jī)地融合進(jìn)Smart ETL，成為一個可點(diǎn)選配置的智能算子；算法層則采用了先進(jìn)的算法，并將觀遠(yuǎn)數(shù)據(jù)多年沉淀的零售行業(yè)預(yù)測經(jīng)驗(yàn)轉(zhuǎn)化為相應(yīng)日期特征優(yōu)化配置后預(yù)置進(jìn)算法包里。

如此一來，看似簡單的時序預(yù)測，其實(shí)已經(jīng)包含影響零售行業(yè)銷售數(shù)據(jù)的周期性特征、節(jié)假日特征以及節(jié)前節(jié)后特征，這樣的預(yù)測自然是要比一般時序預(yù)測方法準(zhǔn)確度提升不少了。

未來，我們還會根據(jù)不同品類的消費(fèi)特征，分別給予不同的品類特征日歷，進(jìn)一步提升品類甚至SKU級別的預(yù)測準(zhǔn)確度。同時，還可以增加天氣作為額外特征，這樣對于一些極端天氣情況下的銷售預(yù)測也會進(jìn)一步提升準(zhǔn)確度了。

算法解密

具體到算法層面，為什么觀遠(yuǎn)的AI智能預(yù)測算法能夠比市面上通用的預(yù)測算法在預(yù)測準(zhǔn)確度上再提升一個層級呢？

首先我們來看一般時序預(yù)測工具中常用的ARIMA模型(Autoregressive Integrated Moving Average Model）。它是一種結(jié)合自回歸與移動平均方法進(jìn)行預(yù)測的模型，要求時序數(shù)據(jù)是穩(wěn)定的，或者通過差分化后是穩(wěn)定的，一般來說很難符合現(xiàn)實(shí)數(shù)據(jù)的情況。與之類似的還有GARCH模型等傳統(tǒng)時序方法，大都只能進(jìn)行單變量的建模，局限性較大。

近年來涌現(xiàn)出更多復(fù)雜時序模型，以便解決實(shí)際業(yè)務(wù)中的復(fù)雜情況。例如比較有代表性的TBATS的預(yù)測模型，結(jié)合了Box-Cox轉(zhuǎn)換，趨勢擬合，ARMA建模，周期性分析等復(fù)雜技術(shù)手段來進(jìn)行建模預(yù)測。它實(shí)際上是一種狀態(tài)空間模型（State Space Model）的算法實(shí)現(xiàn)，類似的還有隱馬爾可夫模型，RNN等也都屬于此類。這類模型主要限制是參數(shù)繁多，計(jì)算量大，在大規(guī)模時序預(yù)測時往往需要花費(fèi)很大的計(jì)算成本實(shí)現(xiàn)。

那零售行業(yè)現(xiàn)實(shí)狀況是怎樣的呢？我們不妨先來看看零售數(shù)據(jù)本身具有的一些特征：

趨勢特征： 一般銷售數(shù)據(jù)在一個比較長期的時間范圍內(nèi)，具有整體增長或下滑的趨勢特征。

周期特征： 銷售數(shù)據(jù)具有明顯的周期性和季節(jié)性。

非規(guī)律性的節(jié)假日特征： 節(jié)假日及節(jié)假日前后對銷售數(shù)據(jù)有顯著影響。

各類外部因素影響： 促銷活動、天氣、搜索指數(shù)、銷售指標(biāo)等因素也會顯著影響銷售數(shù)據(jù)。

數(shù)據(jù)稀疏性： 一般零售行業(yè)的SKU，門店等維度的組合會非常巨大，但每個組合中的時序數(shù)據(jù)數(shù)量往往比較有限。

基于直觀的理解，我們就可以發(fā)現(xiàn)簡單的ARIMA模型與復(fù)雜的狀態(tài)空間模型對于零售數(shù)據(jù)的預(yù)測都有一定的局限之處。而觀遠(yuǎn)數(shù)據(jù)則是根據(jù)具體的業(yè)務(wù)數(shù)據(jù)情況，結(jié)合使用高效的廣義累加模型和狀態(tài)空間模型，統(tǒng)籌考慮零售時序數(shù)據(jù)的趨勢性、周期性，并加入對節(jié)假日及促銷、天氣等可預(yù)測波動因素的分析，給出綜合預(yù)測結(jié)果，可以說這是一個專門為零售預(yù)測而生的算法模型！

預(yù)測結(jié)果呈現(xiàn)

觀遠(yuǎn)數(shù)據(jù)對預(yù)測數(shù)據(jù)呈現(xiàn)做了定向優(yōu)化，對實(shí)際數(shù)據(jù)與預(yù)測數(shù)據(jù)進(jìn)行了顏色和線型的區(qū)分，并添加了預(yù)測數(shù)據(jù)的置信區(qū)間，提供時間軸的縮略展示。

「AI預(yù)測引擎」數(shù)據(jù)展示

小結(jié)

本文給大家介紹了集成在觀遠(yuǎn)BI平臺內(nèi)的「AI預(yù)測引擎」功能的架構(gòu)設(shè)計(jì)與算法實(shí)現(xiàn)方案。事實(shí)上，觀遠(yuǎn)數(shù)據(jù)提供的「AI預(yù)測引擎」解決方案不僅僅是引入了先進(jìn)的AI預(yù)測算法，更是將多年沉淀的、符合本土日歷特征的零售數(shù)據(jù)預(yù)測經(jīng)驗(yàn)預(yù)置進(jìn)了算法模型里面，同時結(jié)合BI平臺，給出了數(shù)據(jù)接入、整理、預(yù)測到展現(xiàn)的端到端整體解決方案。有興趣了解更多的朋友趕快聯(lián)系我們試用哦！

下一篇我們將給大家介紹更多觀遠(yuǎn)數(shù)據(jù)在AI領(lǐng)域的落地案例與應(yīng)用效果，歡迎持續(xù)關(guān)注！

申請創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！