全雙工就夠了？思必馳聊更強(qiáng)的持續(xù)對(duì)話能力

　 阿里云優(yōu)惠券 先領(lǐng)券再下單

AI語(yǔ)音已逐步滲透到了大眾的生活中，但是刻板的對(duì)話方式似乎還困擾著廣大用戶。

全雙工這個(gè)概念對(duì)人工智能行業(yè)從業(yè)者來講，并不陌生。談到全雙工，此前，谷歌Duplex幫助人們通過電話預(yù)約餐廳和理發(fā)師的功能，帶來了有趣的觀感體驗(yàn)，在I/O 2019上，谷歌宣布對(duì)Duplex進(jìn)行重大擴(kuò)展。

谷歌Duplex

在推進(jìn)對(duì)話交互智能的市場(chǎng)化應(yīng)用過程中，思必馳同樣發(fā)現(xiàn)，自然流暢的對(duì)話體驗(yàn)、類人化的交互體驗(yàn)成為了絕對(duì)的剛需。

因此，具備以上兩個(gè)特點(diǎn)的全雙工語(yǔ)音交互技術(shù)，成為了關(guān)注的焦點(diǎn)。思必馳聯(lián)合創(chuàng)始人、首席科學(xué)家俞凱，早在劍橋大學(xué)期間主導(dǎo)開發(fā)了全雙工口語(yǔ)對(duì)話系統(tǒng)，2010年參加國(guó)際對(duì)話系統(tǒng)研究挑戰(zhàn)賽時(shí)，獲得可控測(cè)試的冠軍，這也是世界上最早的全雙工端到端口語(yǔ)對(duì)話系統(tǒng)之一。區(qū)別在于，與現(xiàn)在廣泛作用于物聯(lián)網(wǎng)智能終端設(shè)備的全雙工交互系統(tǒng)相比，當(dāng)時(shí)的主要應(yīng)用，在基于電話信道的人機(jī)交互方面。

全雙工是個(gè)系統(tǒng)工程

作為系統(tǒng)工程，全雙工需要綜合利用語(yǔ)音語(yǔ)言技術(shù)的各個(gè)模塊，實(shí)現(xiàn)前后聯(lián)動(dòng)，例如，其對(duì)前端信號(hào)處理、AEC回聲消除有強(qiáng)相關(guān)依賴，實(shí)時(shí)上傳的音頻對(duì)噪聲處理、音頻音質(zhì)要求較高，同時(shí)，作為系統(tǒng)工程，全雙工涉及到全鏈路語(yǔ)音交互的各個(gè)模塊，其同樣需要對(duì)識(shí)別后的識(shí)別信息、語(yǔ)義信息等進(jìn)行綜合判斷及處理，并做出決策。

半雙工&全雙工

因此，全雙工交互技術(shù)的提升涉及到對(duì)話系統(tǒng)的各個(gè)模塊，不僅各個(gè)模塊的功能需要提升，模塊間的配合能力更需要完善。

思必馳在推進(jìn)全雙工交互技術(shù)的市場(chǎng)落地過程中，發(fā)現(xiàn)了一個(gè)更有效的事情，“全雙工+語(yǔ)義拒識(shí)”讓交互體驗(yàn)更加優(yōu)化。全雙工固然重要，但語(yǔ)義拒識(shí)算法，卻往往容易被人忽視。

語(yǔ)義拒識(shí)算法

受限于語(yǔ)音技術(shù)的發(fā)展，現(xiàn)有的對(duì)話系統(tǒng)受噪聲條件的影響非常明顯，缺乏穩(wěn)健性。在對(duì)話系統(tǒng)中，說話人的檢測(cè)和基于語(yǔ)義的拒識(shí)是其非常重要的組成部分。當(dāng)說話人的語(yǔ)音模糊不清或者語(yǔ)音數(shù)據(jù)不在已有訓(xùn)練集合中時(shí)，識(shí)別系統(tǒng)會(huì)產(chǎn)生識(shí)別錯(cuò)誤，從而影響對(duì)話系統(tǒng)的識(shí)別和理解效果。

在半雙工狀態(tài)下，環(huán)境噪聲以及周圍人聲容易引起無效輸入，對(duì)話系統(tǒng)或錯(cuò)誤響應(yīng)，或給出“沒聽懂”的呆板播報(bào)，并且播報(bào)時(shí)不能打斷，十分影響交互效率。全雙工狀態(tài)下，對(duì)無實(shí)際語(yǔ)義的輸入則不會(huì)給出響應(yīng)。

拒識(shí)算法主要目的是去除沒有語(yǔ)義意義的音頻片段，節(jié)省后端處理的計(jì)算資源，提高整個(gè)對(duì)話系統(tǒng)的交互魯棒性，提升用戶使用體驗(yàn)，避免錯(cuò)誤的語(yǔ)義理解引發(fā)錯(cuò)誤的反饋到用戶端。

思必馳語(yǔ)義拒識(shí)算法

思必馳拒識(shí)算法能夠解決的很多噪聲和無語(yǔ)義意義的問題，例如用戶無意義的嗯啊聲、背景噪聲與閑聊聲、純音樂聲、聲音幅度小、各種笑聲尖叫聲，無厘頭聲音等。

語(yǔ)義拒識(shí)對(duì)全雙工對(duì)話交互而言至關(guān)重要，可以說，拒識(shí)做不好，全雙工的效果往往也會(huì)差強(qiáng)人意。

思必馳全雙工交互技術(shù)，更強(qiáng)的持續(xù)對(duì)話能力

思必馳全雙工交互技術(shù)，讓更流暢的多輪對(duì)話成為常態(tài)，說法更自由。

l連續(xù)交互免喚醒

過去，半雙工狀態(tài)下，用戶的跨領(lǐng)域交互每次交互都需要重新喚醒，于是，免喚醒技術(shù)成為改善體驗(yàn)的焦點(diǎn)。近些年，免喚醒技術(shù)已不是新鮮方案，有的采用“便捷喚醒詞定制”，有的采用“喚醒+識(shí)別理解一體化”方案，但都存在著諸如“漏字”這類一系列的風(fēng)險(xiǎn)：

“你好小馳明天天氣如何?”

漏字通常出現(xiàn)在喚醒詞和后面識(shí)別文本連接的地方，也就是句子中段。當(dāng)系統(tǒng)在識(shí)別過程中漏掉“明”字時(shí)，就會(huì)造成時(shí)間信息不清晰(“明天”還是“今天”?)，系統(tǒng)無法明確用戶的真正時(shí)間指令。而現(xiàn)在，思必馳全雙工技術(shù)方案可實(shí)現(xiàn)一次喚醒，在多個(gè)領(lǐng)域持續(xù)交互，跨領(lǐng)域指代消解。

l動(dòng)態(tài)斷句

在日常生活中，很多用戶說話會(huì)出現(xiàn)拖音現(xiàn)象，說話過程中，有思考/間斷的過程，因此會(huì)出現(xiàn)很多半截句，簡(jiǎn)單粗暴的調(diào)整語(yǔ)音端點(diǎn)檢測(cè)閾值的做法往往會(huì)帶來對(duì)話卡頓的現(xiàn)象。

半雙工狀態(tài)下，對(duì)話系統(tǒng)設(shè)定了固定的停頓檢測(cè)時(shí)間，用戶還未表達(dá)完整句子稍微一猶豫/停頓，會(huì)被語(yǔ)音端點(diǎn)檢測(cè)系統(tǒng)誤斷句，造成輸入內(nèi)容不完整，機(jī)器無法理解。

思必馳全雙工交互技術(shù)則在云端根據(jù)用戶說話節(jié)奏和內(nèi)容，忽略無意義噪聲，動(dòng)態(tài)斷句，既能保證用戶輸入的完整性，又能保證較快的響應(yīng)速度。在回復(fù)方面，則可以適時(shí)的回復(fù)“嗯”等接話話術(shù)，系統(tǒng)打破了對(duì)用戶說話規(guī)則的要求，用戶可以按照自身的說話習(xí)慣來進(jìn)行交流，交互過程更加人性化。

l語(yǔ)義打斷，避免誤打斷

在半雙工狀態(tài)下，語(yǔ)音合成播放時(shí)很難進(jìn)行打斷，在一些終端設(shè)備上，行業(yè)內(nèi)普遍采用的打斷方式是“快捷喚醒詞打斷”，說法十分固定，無法泛化，需要定制多個(gè)喚醒詞，當(dāng)用戶想打斷的時(shí)候，必須要重復(fù)喚醒詞，容易發(fā)生誤打斷。同時(shí)，對(duì)話打斷對(duì)環(huán)境有較高要求，在有噪聲的時(shí)候，也容易被誤打斷。

思必馳全雙工交互技術(shù)可在對(duì)話的過程中，實(shí)時(shí)語(yǔ)義打斷，不容易出現(xiàn)誤打斷，同時(shí)，對(duì)沒有語(yǔ)義的輸入，則不會(huì)打斷語(yǔ)音合成播放。

這一技術(shù)在智能客服的領(lǐng)域?qū)?huì)大大改善消費(fèi)者的體驗(yàn)，消費(fèi)者可以隨時(shí)隨刻打斷機(jī)器人客服的無效對(duì)話信息，進(jìn)行信息咨詢。

如何判斷什么時(shí)候接話，什么時(shí)候反問，機(jī)器需要有智能決策的能力，這也是思必馳全雙工技術(shù)的一大特性：主動(dòng)交互。根據(jù)用戶表達(dá)狀態(tài)，如“正常說話”、“主動(dòng)沉默”、“無意義表達(dá)”等狀態(tài)，來給予相應(yīng)的主動(dòng)反饋。

思必馳全雙工交互技術(shù)支持智能判斷，尤其是能夠主動(dòng)打斷用戶的復(fù)雜冗長(zhǎng)表達(dá)，主動(dòng)打破沉默僵局，實(shí)現(xiàn)流暢自然的用戶口語(yǔ)交流習(xí)慣。當(dāng)識(shí)別到用戶正常表達(dá)時(shí)，機(jī)器等待說完后答復(fù)反饋;當(dāng)用戶大段無意義輸入或表達(dá)過于復(fù)雜時(shí)，會(huì)主動(dòng)打斷并提示反問;在交互過程中，當(dāng)用戶沉默時(shí)，則可以主動(dòng)發(fā)起對(duì)話交互。

同時(shí)，經(jīng)過反復(fù)打磨和優(yōu)化，該技術(shù)對(duì)系統(tǒng)功耗幾乎無影響，實(shí)現(xiàn)低功耗下的最優(yōu)質(zhì)體驗(yàn)。

思必馳全雙工語(yǔ)音交互

實(shí)踐，是檢驗(yàn)真理的唯一標(biāo)準(zhǔn)

目前，思必馳全雙工交互技術(shù)已展開全線方案滲透，包括AIOT方案和企業(yè)信息智能服務(wù)，深入作用汽車、家居、電子、教育、醫(yī)療、政務(wù)、金融、物流、酒店等場(chǎng)景。以音箱方案為例，接入全雙工系統(tǒng)后，這款“智能助理設(shè)備終端”將更似真人助理，更具備人類親和力的特質(zhì)和邏輯思維能力，整個(gè)對(duì)話體驗(yàn)更加自然流暢。

思必馳業(yè)務(wù)場(chǎng)景

云端全雙工中控大腦持續(xù)優(yōu)化

針對(duì)全雙工交互技術(shù)，思必馳將持續(xù)優(yōu)化云端全雙工中控大腦，持續(xù)進(jìn)行策略優(yōu)化、場(chǎng)景優(yōu)化、單點(diǎn)技術(shù)模塊優(yōu)化，將交互體驗(yàn)做的更好。

未來，多模態(tài)交互將會(huì)讓全雙工交互技術(shù)發(fā)揮更大的能量，配合聲紋識(shí)別、圖像處理、虹膜識(shí)別等技術(shù)，過濾無用信息，人機(jī)交互會(huì)變得更加貼合人性，或許不遠(yuǎn)的未來，你甚至分不清與你隔屏對(duì)話的，到底是人還是機(jī)器人。

申請(qǐng)創(chuàng)業(yè)報(bào)道，分享創(chuàng)業(yè)好點(diǎn)子。點(diǎn)擊此處，共同探討創(chuàng)業(yè)新機(jī)遇！