自從互聯(lián)網(wǎng)普及以后,人們難于獲取信息的苦惱,很快就變?yōu)楸贿^多、龐雜的信息包圍的煩擾。雖然通過搜索引擎、目錄、人工編輯的社區(qū)等工具,人們可以獲得一定的輔助;但是這些工具的準(zhǔn)確性和方便性仍很不足夠,急迫需要向智能化、精確化、專業(yè)化、個性化等等以用戶為中心的智能信息服務(wù)。智能信息服務(wù)將成為下一代互聯(lián)網(wǎng)的主旋律;而自然語言理解技術(shù)可以為信息服務(wù)帶來革命性的理念和嶄新的應(yīng)用,有效提高服務(wù)的質(zhì)量和滿意度,為相關(guān)行業(yè)和信息服務(wù)業(yè)創(chuàng)造更多的發(fā)展空間,是智能信息服務(wù)的核動力。
一、 走向?qū)嵱玫淖匀徽Z言理解技術(shù)
用自然語言與計(jì)算機(jī)進(jìn)行交流,獲取合適的信息,得到滿意的服務(wù),是人們長期以來所追求的。自然語言理解是計(jì)算機(jī)科學(xué)領(lǐng)域與人工智能領(lǐng)域中的一個重要方向。它研究能實(shí)現(xiàn)人與計(jì)算機(jī)之間用自然語言進(jìn)行有效通信的各種理論和方法。NLU是自然語言理解(Natural Language Understanding)的縮寫。
隨著計(jì)算機(jī)技術(shù)和人工智能總體技術(shù)的發(fā)展,自然語言理解不斷取得進(jìn)展。機(jī)器翻譯是自然語言理解最早的研究領(lǐng)域。由于早期研究中理論和技術(shù)的局限,所開發(fā)的機(jī)譯系統(tǒng)的技術(shù)水平較低,不能滿足實(shí)際應(yīng)用的要求。到了1970年代初期,對語言理解對話系統(tǒng)的研究取得進(jìn)展。進(jìn)入1980年代之后,自然語言理解的應(yīng)用研究廣泛開展,機(jī)器學(xué)習(xí)研究又十分活躍,并出現(xiàn)了許多具有較高水平的實(shí)用化系統(tǒng)。這些系統(tǒng)是自然語言理解研究的重要成果,表明自然語言理解在理論上和應(yīng)用上取得了突破性進(jìn)展。
在中國,語音和語言處理技術(shù)的研發(fā)略晚于國外。清華大學(xué)智能技術(shù)與系統(tǒng)國家重點(diǎn)實(shí)驗(yàn)室屬下的語音技術(shù)中心1979年創(chuàng)立(原名語音實(shí)驗(yàn)室),至今已有25年的歷史。在以清華大學(xué)語音技術(shù)中心為代表的頂尖的學(xué)術(shù)機(jī)構(gòu)的帶動下,中國的語音和語言處理技術(shù)得到很大發(fā)展。
相對于規(guī)范語言,對自然語言的理解具有更大的難度。這是因?yàn)樽匀徽Z言包含大量的口語語言現(xiàn)象,諸如:省略、指代、更正、重復(fù)、強(qiáng)調(diào)、倒序等等。涉及到語音的口語對話系統(tǒng)將還包括噪音、含混不清、口頭語、吃音、音變等等口語語音現(xiàn)象。
而相對于基于關(guān)鍵詞的技術(shù),自然語言理解技術(shù)的優(yōu)勢是:(1)直接:在信息查詢時,用戶可以不必進(jìn)行多級菜單的選取而直奔主題。(2)靈活:用戶查詢不必嚴(yán)格按照某些"關(guān)鍵詞"進(jìn)行詢問,只要用戶的敘述在"語義"上與要查詢的一致。
一個技術(shù)優(yōu)越而適用性好的自然語言理解系統(tǒng),應(yīng)該具備支持上下文相關(guān)分析(包括省略分析)、話題自由變換、人機(jī)混合主導(dǎo)以及口語對話等技術(shù)特點(diǎn)。
上下文相關(guān)分析是指系統(tǒng)在理解當(dāng)前語句時可以聯(lián)想用戶以前所說的話,進(jìn)行綜合分析,因此即使有時用戶所說的話有一定的省略,系統(tǒng)照樣可以理解。
話題自由變換是指系統(tǒng)允許用戶在多個話題之間不斷轉(zhuǎn)換,系統(tǒng)照樣可以記住以前的談話內(nèi)容,比如用戶在問航班起飛時間時,突然問目的地與本地的時差,然后再確認(rèn)要先前詢問的航班,系統(tǒng)都能滿意回答。而目前的一些系統(tǒng),對話往往只能局限于某一個話題,一旦用戶變換話題,系統(tǒng)將無所適從。
人機(jī)混合主導(dǎo)則是完全的自然對話,用戶可以轉(zhuǎn)換話題后在回到原來的話題(像人一樣);用戶可以"答非機(jī)問"(多回答或少回答);……而系統(tǒng)都可以根據(jù)實(shí)際情況提取語義信息,如果用戶詢問的信息足夠,那么系統(tǒng)直接回答問題;而如果用戶詢問的信息不全或者用戶遲疑太久,那么系統(tǒng)則主動詢問來獲取足夠的信息。而不具備人機(jī)混合主導(dǎo)性能的系統(tǒng)只能等用戶發(fā)問,如果用戶根本不知道問什么,那么系統(tǒng)將一直待機(jī)等待。
口語對話是自然語言理解技術(shù)實(shí)現(xiàn)的難點(diǎn),但是也是應(yīng)用系統(tǒng)適用性的關(guān)鍵點(diǎn)?谡Z中,人們的語言很隨意,可以省略、更正、倒敘等等,這些口語現(xiàn)象是傳統(tǒng)的單單基于詞法分析的理解系統(tǒng)所難以解決的,而引入基于關(guān)鍵語義的技術(shù)卻可以很好地解決。
從目前的理論和技術(shù)現(xiàn)狀看,通用的、高質(zhì)量的自然語言處理系統(tǒng),仍然是較長期的努力目標(biāo),但是針對一定應(yīng)用,具有相當(dāng)自然語言處理能力的實(shí)用系統(tǒng)已經(jīng)出現(xiàn)。北京得意音通技術(shù)公司依托于清華大學(xué)語音技術(shù)中心,已經(jīng)在某些領(lǐng)域?qū)崿F(xiàn)了商品化、產(chǎn)業(yè)化,典型的實(shí)用系統(tǒng)包括:智能短信服務(wù)、智能搜索引擎、智能聊天機(jī)器人等。
二、商機(jī)無限的智能信息服務(wù)
互聯(lián)網(wǎng)時代,信息服務(wù)給人們帶來極大方便和創(chuàng)造著巨大的社會效益、經(jīng)濟(jì)價值的同時,也帶來了信息爆炸、信息垃圾等等煩惱。采用了自然語言理解技術(shù)的智能信息服務(wù),將給陷入信息汪洋大海的人以指南,幫助他們更自由自主、隨心所欲地遨游,引導(dǎo)他們快速、準(zhǔn)確地獲得所需的信息和服務(wù),從而大大地拓展信息服務(wù)的發(fā)展空間,為相關(guān)產(chǎn)業(yè)帶來無限的商機(jī)。最近一段時間,智能信息服務(wù)已經(jīng)成為國際IT業(yè)的最新潮流,獲得了億萬網(wǎng)民的青睞。對于使用漢語,熱衷于短信、網(wǎng)上聊天的中國用戶而言,智能信息服務(wù)的實(shí)用性以及蘊(yùn)含的商機(jī)更是顯而易見。
采用自然語言理解技術(shù)的智能信息服務(wù)創(chuàng)造了電子服務(wù)新概念,其最大的特點(diǎn)是具有中文自然語言理解功能。它首先對提出的問題進(jìn)行斷詞、斷句,然后根據(jù)系統(tǒng)預(yù)先設(shè)置的語義規(guī)則理解整句話的意思,形成相應(yīng)的查詢條件,在現(xiàn)有數(shù)據(jù)庫進(jìn)行快速而準(zhǔn)確查詢,給出用戶需要的答案或者提示用戶進(jìn)一步輸入有關(guān)的信息。由于自然語言理解技術(shù)發(fā)展的階段性,目前還做不到象人一樣具有足夠智能的、通用的智能理解,但是只要劃定具體的領(lǐng)域(領(lǐng)域范圍可大可小,如天氣、體育等簡單信息查詢,也可以是交友、購物、保健等寬泛的智能聊天/咨詢等等),性能先進(jìn)的自然語言理解技術(shù)都能量身定做出具足夠?qū)嵱眯缘闹悄苄畔⒎⻊?wù)系統(tǒng),自動理解客戶用自然語言發(fā)出的相關(guān)領(lǐng)域的問題,使網(wǎng)絡(luò)交流變得更人性化,信息查詢變得更方便、快速和準(zhǔn)確,從而獲得高質(zhì)量的電子服務(wù)。以下是現(xiàn)階段自然語言理解主要的應(yīng)用。
智能短信服務(wù)。短信服務(wù)商可根據(jù)具體應(yīng)用領(lǐng)域定制一系列的智能短信業(yè)務(wù),如旅游交通、吃喝玩樂、金融證券、交友網(wǎng)聚、智力競猜等受歡迎的服務(wù),讓服務(wù)商和用戶都拋開厚重的手冊和復(fù)雜的編碼,代之以口語化的自然語言通過短信輸入,短信系統(tǒng)能迅速理解用戶的意思,提供準(zhǔn)確、周到的信息和服務(wù)。這樣的服務(wù)將直接刺激用戶使用短信服務(wù)的興趣和頻率,并為短信服務(wù)商和電信運(yùn)營商開發(fā)更新的、更具吸引力的業(yè)務(wù)創(chuàng)造了很好的條件。
智能聊天機(jī)器人。目前流行于各大網(wǎng)站、各類即時通訊軟件的聊天機(jī)器人還沒有應(yīng)用成熟的智能語言理解技術(shù),僅僅實(shí)現(xiàn)了基本的、簡單的對話交流、信息查詢等功能。引入自然語言理解技術(shù),能建立新型智能聊天機(jī)器人,通過與用戶對話、聊天等生動、靈活的形式,了解用戶的需求,利用智能搜索技術(shù)采集和分析互聯(lián)網(wǎng)和知識庫的信息內(nèi)容,進(jìn)行自動過濾、篩選、獲取有效內(nèi)容,對相關(guān)信息內(nèi)容進(jìn)行智能化編輯整理,并返回給用戶;這樣,聊天機(jī)器人的服務(wù)將會更易用、更實(shí)用,能實(shí)現(xiàn)功能強(qiáng)大而實(shí)用的智能聊天、智能游戲、個性化的新聞定制、智能網(wǎng)絡(luò)搜索、智能電子商務(wù)等業(yè)務(wù),給用戶以極大的方便、無限的樂趣。
智能搜索引擎。普通的搜索引擎引入中文自然語言理解和知識管理技術(shù),構(gòu)造成新的智能搜索引擎,就能提供全新的信息查詢服務(wù),創(chuàng)造更綜合的增值服務(wù)。目前的搜索引擎由于只使用關(guān)鍵詞技術(shù),沒有引入自然語言理解,每次搜索時只是按照關(guān)鍵詞進(jìn)行匹配,返回的大量信息和鏈接,其中很大部分是垃圾信息或者不是用戶需要的信息,往往導(dǎo)致用戶無所適從。而門戶網(wǎng)站或者專業(yè)網(wǎng)站雖然對信息進(jìn)行很好的分類,但是首先要用戶記住網(wǎng)址,還要懂得分類的標(biāo)準(zhǔn),然后逐層點(diǎn)擊相應(yīng)的分類鏈接,才能獲得所需的信息。這樣的信息分類查詢給信息服務(wù)商產(chǎn)生很大的工作量,服務(wù)成本和進(jìn)入門檻顯著提高,而用戶使用起來也不方便,導(dǎo)致用戶的流失;趦(nèi)容的智能搜索引擎是依靠語義網(wǎng)絡(luò)、漢語分詞、句法分析、處理同義詞等語言理解技術(shù)最大程度地了解用戶的信息需求,獲得更高的易用性、更準(zhǔn)確的范圍定位、更智能的搜索結(jié)果。
運(yùn)用了先進(jìn)的自然語言理解技術(shù),智能搜索引擎可以識別并回答用戶的問題,使用戶擺脫了傳統(tǒng)搜索引擎基于關(guān)鍵字的束縛,指引用戶更有效、更快捷地尋找到所需的資料,同時為用戶提供相關(guān)的、有參考價值的其他內(nèi)容。由于這些特點(diǎn),使得智能搜索技術(shù)能夠在互聯(lián)網(wǎng)信息檢索的各個方面得到廣泛的應(yīng)有。它可以為大型綜合搜索引擎提供后臺支持,使之具有人性化、交互性的特點(diǎn)。它能夠方便地實(shí)現(xiàn)垂直搜索引擎的專業(yè)類別內(nèi)搜索;當(dāng)然也可以為信息門戶網(wǎng)站提供方便快捷的站內(nèi)信息搜索服務(wù)。
智能搜索引擎除了在互聯(lián)網(wǎng)上使用外,也可以支持WAP協(xié)議而應(yīng)用在手機(jī)上。其實(shí)用戶往往在逛街、旅游、交通等室外環(huán)境、移動狀態(tài)時更需要隨時查詢信息。手機(jī)是很好的查詢工具,但是手機(jī)的屏幕小、內(nèi)存少、帶寬窄,不適合接收和保存大量的信息,更不可能翻看數(shù)以百計(jì)、千計(jì)的信息。傳統(tǒng)的基于關(guān)鍵詞搜索或者分類信息查詢模式都存在一定的缺陷,特別不適合在手機(jī)上使用;而基于自然語言理解技術(shù)的智能搜索引擎,就能很好地為手機(jī)用戶提供隨時、隨地、隨心的信息服務(wù)。
舉一個典型的應(yīng)用:精品購物指南報(bào)與得意音通公司合作提供的智能生活資訊信息服務(wù)系統(tǒng),采用中文自然語言理解技術(shù),在吃喝玩樂、影視娛樂、消費(fèi)購物、戶外運(yùn)動、美食餐飲、醫(yī)療保健等領(lǐng)域通過互聯(lián)網(wǎng)、短信、WAP等多種通訊手段,為商家和用戶提供更方便、直接的信息交流和互動手段,成為在北京生活、工作、學(xué)習(xí)和旅游的廣大消費(fèi)者重要的信息查詢工具。
三、未來應(yīng)用展望
用戶們呼喚自然語言,因?yàn)樗侨藱C(jī)交互的最高境界,是人機(jī)交互最自然的方式。有理由相信,在不遠(yuǎn)的將來,任何人、在任何時刻、在任何場所、在任何設(shè)備上,都可以通過自然語言方便瀏覽網(wǎng)頁、互相傳遞信息,實(shí)現(xiàn)隨時隨地溝通交流的目標(biāo)。
不久的將來,我們可能會經(jīng)常遇到這樣的應(yīng)用場景。一個人到一個新的城市,如北京,他想盡快了解有關(guān)北京的生活服務(wù)信息,就可以用手機(jī)或者電話打到一個提供智能信息服務(wù)的系統(tǒng)。他可以直接用口語去問一個擁有海量信息的服務(wù)器:北京有哪些好玩的地方,哪些地方能夠提供很好的餐飲服務(wù),哪些地方可以購物,那些地方可以享受文化娛樂;還可以與系統(tǒng)進(jìn)行人機(jī)對話,輕松地買機(jī)票、訂房間等等。他通過自然語言與智能信息服務(wù)系統(tǒng)進(jìn)行人機(jī)交互,就能享受周到的服務(wù)。在這樣的例子中,需要用到很多的技術(shù)和服務(wù),其中最關(guān)鍵的就是交談式語音識別和理解系統(tǒng)。
北京2008年奧運(yùn)的舉辦,將是自然語言理解技術(shù)迅猛發(fā)展的大好契機(jī),北京奧運(yùn)會同時也將是智能信息服務(wù)的巨大舞臺。奧運(yùn)會最大困難之一是"語言障礙"。國內(nèi)外產(chǎn)業(yè)界緊密合作,要利用現(xiàn)代信息技術(shù),特別是自然語言理解的最新科學(xué)技術(shù)成就,研制"面向奧運(yùn)的多語言智能信息服務(wù)網(wǎng)絡(luò)系統(tǒng)",力爭在2008年北京奧運(yùn)會期間為各國運(yùn)動員、記者、觀眾和來自全世界數(shù)以百萬計(jì)的旅游者提供綜合、全面、多語種、可定制的信息服務(wù),以實(shí)現(xiàn)申奧報(bào)告提出的"任何人、在任何時間、任何場所都能夠安全、方便、快捷、高效地獲取可支付得起的、豐富的、無語言障礙的、個性化的信息服務(wù)"的承諾。
北京奧運(yùn)的多語言信息服務(wù)將包括多語言信息同步發(fā)布、信息查詢和語音交互式的電子商務(wù),并重點(diǎn)提供基于位置的信息服務(wù)。另外還提供人際交流的輔助工具,如口語翻譯機(jī)和自動翻譯電話。系統(tǒng)將在賽事安排、比賽成績等奧運(yùn)相關(guān)信息查詢,住宿、天氣、交通、旅游、餐飲、娛樂和購物等公共服務(wù)信息查詢,比賽、演出門票、機(jī)票、火車票訂購,以及社交活動等場合提供充滿人性化的多語言智能信息服務(wù),相當(dāng)于建立了一支虛擬志愿者信息服務(wù)大軍。智能信息服務(wù)網(wǎng)絡(luò)系統(tǒng)不僅將成為北京奧運(yùn)會的閃光點(diǎn),有關(guān)成果也必將應(yīng)用和推廣到國內(nèi)以及世界不同的地區(qū)和領(lǐng)域,從而推動信息服務(wù)、IT產(chǎn)業(yè)以及相關(guān)領(lǐng)域的發(fā)展,形成新的經(jīng)濟(jì)增長點(diǎn)。
和人類進(jìn)步過程中其他任何一種技術(shù)的發(fā)展歷程一樣,自然語言理解技術(shù)在任何一個不同的成熟階段都有一個不同的應(yīng)用形式和不同的市場定位。在這種技術(shù)到市場再到技術(shù)的螺旋式上升的過程中,技術(shù)越來越成熟,市場也越來越成熟,從而讓技術(shù)更好地為人類服務(wù)。自然語言理解技術(shù)給智能信息服務(wù)提供了威力巨大的核動力,智能信息服務(wù)給人類更自然、自主的信息交流手段,將創(chuàng)造出全新的產(chǎn)業(yè)空間。人們渴望發(fā)展自然語言理解技術(shù)以加速信息、知識與文化的交流,促進(jìn)社會、經(jīng)濟(jì)、科學(xué)的進(jìn)步,這是自然語言理解技術(shù)新的強(qiáng)大的推動力量,也是每一個國家都面臨的新的挑戰(zhàn)。
得意音通公司供稿 CTI論壇編輯