自然語(yǔ)言理解技術(shù)，智能信息服務(wù)的核動(dòng)力
鄧永強(qiáng) 鄭方
2004/04/19
自從互聯(lián)網(wǎng)普及以后，人們難于獲取信息的苦惱，很快就變?yōu)楸贿^(guò)多、龐雜的信息包圍的煩擾。雖然通過(guò)搜索引擎、目錄、人工編輯的社區(qū)等工具，人們可以獲得一定的輔助；但是這些工具的準(zhǔn)確性和方便性仍很不足夠，急迫需要向智能化、精確化、專(zhuān)業(yè)化、個(gè)性化等等以用戶(hù)為中心的智能信息服務(wù)。智能信息服務(wù)將成為下一代互聯(lián)網(wǎng)的主旋律；而自然語(yǔ)言理解技術(shù)可以為信息服務(wù)帶來(lái)革命性的理念和嶄新的應(yīng)用，有效提高服務(wù)的質(zhì)量和滿(mǎn)意度，為相關(guān)行業(yè)和信息服務(wù)業(yè)創(chuàng)造更多的發(fā)展空間，是智能信息服務(wù)的核動(dòng)力。
一、 走向?qū)嵱玫淖匀徽Z(yǔ)言理解技術(shù)
用自然語(yǔ)言與計(jì)算機(jī)進(jìn)行交流，獲取合適的信息，得到滿(mǎn)意的服務(wù)，是人們長(zhǎng)期以來(lái)所追求的。自然語(yǔ)言理解是計(jì)算機(jī)科學(xué)領(lǐng)域與人工智能領(lǐng)域中的一個(gè)重要方向。它研究能實(shí)現(xiàn)人與計(jì)算機(jī)之間用自然語(yǔ)言進(jìn)行有效通信的各種理論和方法。NLU是自然語(yǔ)言理解(Natural Language Understanding)的縮寫(xiě)。
隨著計(jì)算機(jī)技術(shù)和人工智能總體技術(shù)的發(fā)展，自然語(yǔ)言理解不斷取得進(jìn)展。機(jī)器翻譯是自然語(yǔ)言理解最早的研究領(lǐng)域。由于早期研究中理論和技術(shù)的局限，所開(kāi)發(fā)的機(jī)譯系統(tǒng)的技術(shù)水平較低，不能滿(mǎn)足實(shí)際應(yīng)用的要求。到了1970年代初期，對(duì)語(yǔ)言理解對(duì)話(huà)系統(tǒng)的研究取得進(jìn)展。進(jìn)入1980年代之后，自然語(yǔ)言理解的應(yīng)用研究廣泛開(kāi)展，機(jī)器學(xué)習(xí)研究又十分活躍，并出現(xiàn)了許多具有較高水平的實(shí)用化系統(tǒng)。這些系統(tǒng)是自然語(yǔ)言理解研究的重要成果，表明自然語(yǔ)言理解在理論上和應(yīng)用上取得了突破性進(jìn)展。
在中國(guó)，語(yǔ)音和語(yǔ)言處理技術(shù)的研發(fā)略晚于國(guó)外。清華大學(xué)智能技術(shù)與系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室屬下的語(yǔ)音技術(shù)中心1979年創(chuàng)立（原名語(yǔ)音實(shí)驗(yàn)室），至今已有25年的歷史。在以清華大學(xué)語(yǔ)音技術(shù)中心為代表的頂尖的學(xué)術(shù)機(jī)構(gòu)的帶動(dòng)下，中國(guó)的語(yǔ)音和語(yǔ)言處理技術(shù)得到很大發(fā)展。
相對(duì)于規(guī)范語(yǔ)言，對(duì)自然語(yǔ)言的理解具有更大的難度。這是因?yàn)樽匀徽Z(yǔ)言包含大量的口語(yǔ)語(yǔ)言現(xiàn)象，諸如：省略、指代、更正、重復(fù)、強(qiáng)調(diào)、倒序等等。涉及到語(yǔ)音的口語(yǔ)對(duì)話(huà)系統(tǒng)將還包括噪音、含混不清、口頭語(yǔ)、吃音、音變等等口語(yǔ)語(yǔ)音現(xiàn)象。
而相對(duì)于基于關(guān)鍵詞的技術(shù)，自然語(yǔ)言理解技術(shù)的優(yōu)勢(shì)是：（1）直接：在信息查詢(xún)時(shí)，用戶(hù)可以不必進(jìn)行多級(jí)菜單的選取而直奔主題。（2）靈活：用戶(hù)查詢(xún)不必嚴(yán)格按照某些"關(guān)鍵詞"進(jìn)行詢(xún)問(wèn)，只要用戶(hù)的敘述在"語(yǔ)義"上與要查詢(xún)的一致。
一個(gè)技術(shù)優(yōu)越而適用性好的自然語(yǔ)言理解系統(tǒng)，應(yīng)該具備支持上下文相關(guān)分析（包括省略分析）、話(huà)題自由變換、人機(jī)混合主導(dǎo)以及口語(yǔ)對(duì)話(huà)等技術(shù)特點(diǎn)。
上下文相關(guān)分析是指系統(tǒng)在理解當(dāng)前語(yǔ)句時(shí)可以聯(lián)想用戶(hù)以前所說(shuō)的話(huà)，進(jìn)行綜合分析，因此即使有時(shí)用戶(hù)所說(shuō)的話(huà)有一定的省略，系統(tǒng)照樣可以理解。
話(huà)題自由變換是指系統(tǒng)允許用戶(hù)在多個(gè)話(huà)題之間不斷轉(zhuǎn)換，系統(tǒng)照樣可以記住以前的談話(huà)內(nèi)容，比如用戶(hù)在問(wèn)航班起飛時(shí)間時(shí)，突然問(wèn)目的地與本地的時(shí)差，然后再確認(rèn)要先前詢(xún)問(wèn)的航班，系統(tǒng)都能滿(mǎn)意回答。而目前的一些系統(tǒng)，對(duì)話(huà)往往只能局限于某一個(gè)話(huà)題，一旦用戶(hù)變換話(huà)題，系統(tǒng)將無(wú)所適從。
人機(jī)混合主導(dǎo)則是完全的自然對(duì)話(huà)，用戶(hù)可以轉(zhuǎn)換話(huà)題后在回到原來(lái)的話(huà)題（像人一樣）；用戶(hù)可以"答非機(jī)問(wèn)"（多回答或少回答）；……而系統(tǒng)都可以根據(jù)實(shí)際情況提取語(yǔ)義信息，如果用戶(hù)詢(xún)問(wèn)的信息足夠，那么系統(tǒng)直接回答問(wèn)題；而如果用戶(hù)詢(xún)問(wèn)的信息不全或者用戶(hù)遲疑太久，那么系統(tǒng)則主動(dòng)詢(xún)問(wèn)來(lái)獲取足夠的信息。而不具備人機(jī)混合主導(dǎo)性能的系統(tǒng)只能等用戶(hù)發(fā)問(wèn)，如果用戶(hù)根本不知道問(wèn)什么，那么系統(tǒng)將一直待機(jī)等待。
口語(yǔ)對(duì)話(huà)是自然語(yǔ)言理解技術(shù)實(shí)現(xiàn)的難點(diǎn)，但是也是應(yīng)用系統(tǒng)適用性的關(guān)鍵點(diǎn)�？谡Z(yǔ)中，人們的語(yǔ)言很隨意，可以省略、更正、倒敘等等，這些口語(yǔ)現(xiàn)象是傳統(tǒng)的單單基于詞法分析的理解系統(tǒng)所難以解決的，而引入基于關(guān)鍵語(yǔ)義的技術(shù)卻可以很好地解決。
從目前的理論和技術(shù)現(xiàn)狀看，通用的、高質(zhì)量的自然語(yǔ)言處理系統(tǒng)，仍然是較長(zhǎng)期的努力目標(biāo)，但是針對(duì)一定應(yīng)用，具有相當(dāng)自然語(yǔ)言處理能力的實(shí)用系統(tǒng)已經(jīng)出現(xiàn)。北京得意音通技術(shù)公司依托于清華大學(xué)語(yǔ)音技術(shù)中心，已經(jīng)在某些領(lǐng)域?qū)崿F(xiàn)了商品化、產(chǎn)業(yè)化，典型的實(shí)用系統(tǒng)包括：智能短信服務(wù)、智能搜索引擎、智能聊天機(jī)器人等。
二、商機(jī)無(wú)限的智能信息服務(wù)
互聯(lián)網(wǎng)時(shí)代，信息服務(wù)給人們帶來(lái)極大方便和創(chuàng)造著巨大的社會(huì)效益、經(jīng)濟(jì)價(jià)值的同時(shí)，也帶來(lái)了信息爆炸、信息垃圾等等煩惱。采用了自然語(yǔ)言理解技術(shù)的智能信息服務(wù)，將給陷入信息汪洋大海的人以指南，幫助他們更自由自主、隨心所欲地遨游，引導(dǎo)他們快速、準(zhǔn)確地獲得所需的信息和服務(wù)，從而大大地拓展信息服務(wù)的發(fā)展空間，為相關(guān)產(chǎn)業(yè)帶來(lái)無(wú)限的商機(jī)。最近一段時(shí)間，智能信息服務(wù)已經(jīng)成為國(guó)際IT業(yè)的最新潮流，獲得了億萬(wàn)網(wǎng)民的青睞。對(duì)于使用漢語(yǔ)，熱衷于短信、網(wǎng)上聊天的中國(guó)用戶(hù)而言，智能信息服務(wù)的實(shí)用性以及蘊(yùn)含的商機(jī)更是顯而易見(jiàn)。
采用自然語(yǔ)言理解技術(shù)的智能信息服務(wù)創(chuàng)造了電子服務(wù)新概念，其最大的特點(diǎn)是具有中文自然語(yǔ)言理解功能。它首先對(duì)提出的問(wèn)題進(jìn)行斷詞、斷句，然后根據(jù)系統(tǒng)預(yù)先設(shè)置的語(yǔ)義規(guī)則理解整句話(huà)的意思，形成相應(yīng)的查詢(xún)條件，在現(xiàn)有數(shù)據(jù)庫(kù)進(jìn)行快速而準(zhǔn)確查詢(xún)，給出用戶(hù)需要的答案或者提示用戶(hù)進(jìn)一步輸入有關(guān)的信息。由于自然語(yǔ)言理解技術(shù)發(fā)展的階段性，目前還做不到象人一樣具有足夠智能的、通用的智能理解，但是只要?jiǎng)澏ň唧w的領(lǐng)域（領(lǐng)域范圍可大可小，如天氣、體育等簡(jiǎn)單信息查詢(xún)，也可以是交友、購(gòu)物、保健等寬泛的智能聊天/咨詢(xún)等等），性能先進(jìn)的自然語(yǔ)言理解技術(shù)都能量身定做出具足夠?qū)嵱眯缘闹悄苄畔⒎⻊?wù)系統(tǒng)，自動(dòng)理解客戶(hù)用自然語(yǔ)言發(fā)出的相關(guān)領(lǐng)域的問(wèn)題，使網(wǎng)絡(luò)交流變得更人性化，信息查詢(xún)變得更方便、快速和準(zhǔn)確，從而獲得高質(zhì)量的電子服務(wù)。以下是現(xiàn)階段自然語(yǔ)言理解主要的應(yīng)用。
智能短信服務(wù)。短信服務(wù)商可根據(jù)具體應(yīng)用領(lǐng)域定制一系列的智能短信業(yè)務(wù)，如旅游交通、吃喝玩樂(lè)、金融證券、交友網(wǎng)聚、智力競(jìng)猜等受歡迎的服務(wù)，讓服務(wù)商和用戶(hù)都拋開(kāi)厚重的手冊(cè)和復(fù)雜的編碼，代之以口語(yǔ)化的自然語(yǔ)言通過(guò)短信輸入，短信系統(tǒng)能迅速理解用戶(hù)的意思，提供準(zhǔn)確、周到的信息和服務(wù)。這樣的服務(wù)將直接刺激用戶(hù)使用短信服務(wù)的興趣和頻率，并為短信服務(wù)商和電信運(yùn)營(yíng)商開(kāi)發(fā)更新的、更具吸引力的業(yè)務(wù)創(chuàng)造了很好的條件。
智能聊天機(jī)器人。目前流行于各大網(wǎng)站、各類(lèi)即時(shí)通訊軟件的聊天機(jī)器人還沒(méi)有應(yīng)用成熟的智能語(yǔ)言理解技術(shù)，僅僅實(shí)現(xiàn)了基本的、簡(jiǎn)單的對(duì)話(huà)交流、信息查詢(xún)等功能。引入自然語(yǔ)言理解技術(shù)，能建立新型智能聊天機(jī)器人，通過(guò)與用戶(hù)對(duì)話(huà)、聊天等生動(dòng)、靈活的形式，了解用戶(hù)的需求，利用智能搜索技術(shù)采集和分析互聯(lián)網(wǎng)和知識(shí)庫(kù)的信息內(nèi)容，進(jìn)行自動(dòng)過(guò)濾、篩選、獲取有效內(nèi)容，對(duì)相關(guān)信息內(nèi)容進(jìn)行智能化編輯整理，并返回給用戶(hù)；這樣，聊天機(jī)器人的服務(wù)將會(huì)更易用、更實(shí)用，能實(shí)現(xiàn)功能強(qiáng)大而實(shí)用的智能聊天、智能游戲、個(gè)性化的新聞定制、智能網(wǎng)絡(luò)搜索、智能電子商務(wù)等業(yè)務(wù)，給用戶(hù)以極大的方便、無(wú)限的樂(lè)趣。
智能搜索引擎。普通的搜索引擎引入中文自然語(yǔ)言理解和知識(shí)管理技術(shù)，構(gòu)造成新的智能搜索引擎，就能提供全新的信息查詢(xún)服務(wù)，創(chuàng)造更綜合的增值服務(wù)。目前的搜索引擎由于只使用關(guān)鍵詞技術(shù)，沒(méi)有引入自然語(yǔ)言理解，每次搜索時(shí)只是按照關(guān)鍵詞進(jìn)行匹配，返回的大量信息和鏈接，其中很大部分是垃圾信息或者不是用戶(hù)需要的信息，往往導(dǎo)致用戶(hù)無(wú)所適從。而門(mén)戶(hù)網(wǎng)站或者專(zhuān)業(yè)網(wǎng)站雖然對(duì)信息進(jìn)行很好的分類(lèi)，但是首先要用戶(hù)記住網(wǎng)址，還要懂得分類(lèi)的標(biāo)準(zhǔn)，然后逐層點(diǎn)擊相應(yīng)的分類(lèi)鏈接，才能獲得所需的信息。這樣的信息分類(lèi)查詢(xún)給信息服務(wù)商產(chǎn)生很大的工作量，服務(wù)成本和進(jìn)入門(mén)檻顯著提高，而用戶(hù)使用起來(lái)也不方便，導(dǎo)致用戶(hù)的流失�；趦�(nèi)容的智能搜索引擎是依靠語(yǔ)義網(wǎng)絡(luò)、漢語(yǔ)分詞、句法分析、處理同義詞等語(yǔ)言理解技術(shù)最大程度地了解用戶(hù)的信息需求，獲得更高的易用性、更準(zhǔn)確的范圍定位、更智能的搜索結(jié)果。
運(yùn)用了先進(jìn)的自然語(yǔ)言理解技術(shù)，智能搜索引擎可以識(shí)別并回答用戶(hù)的問(wèn)題，使用戶(hù)擺脫了傳統(tǒng)搜索引擎基于關(guān)鍵字的束縛，指引用戶(hù)更有效、更快捷地尋找到所需的資料，同時(shí)為用戶(hù)提供相關(guān)的、有參考價(jià)值的其他內(nèi)容。由于這些特點(diǎn)，使得智能搜索技術(shù)能夠在互聯(lián)網(wǎng)信息檢索的各個(gè)方面得到廣泛的應(yīng)有。它可以為大型綜合搜索引擎提供后臺(tái)支持，使之具有人性化、交互性的特點(diǎn)。它能夠方便地實(shí)現(xiàn)垂直搜索引擎的專(zhuān)業(yè)類(lèi)別內(nèi)搜索；當(dāng)然也可以為信息門(mén)戶(hù)網(wǎng)站提供方便快捷的站內(nèi)信息搜索服務(wù)。
智能搜索引擎除了在互聯(lián)網(wǎng)上使用外，也可以支持WAP協(xié)議而應(yīng)用在手機(jī)上。其實(shí)用戶(hù)往往在逛街、旅游、交通等室外環(huán)境、移動(dòng)狀態(tài)時(shí)更需要隨時(shí)查詢(xún)信息。手機(jī)是很好的查詢(xún)工具，但是手機(jī)的屏幕小、內(nèi)存少、帶寬窄，不適合接收和保存大量的信息，更不可能翻看數(shù)以百計(jì)、千計(jì)的信息。傳統(tǒng)的基于關(guān)鍵詞搜索或者分類(lèi)信息查詢(xún)模式都存在一定的缺陷，特別不適合在手機(jī)上使用；而基于自然語(yǔ)言理解技術(shù)的智能搜索引擎，就能很好地為手機(jī)用戶(hù)提供隨時(shí)、隨地、隨心的信息服務(wù)。
舉一個(gè)典型的應(yīng)用：精品購(gòu)物指南報(bào)與得意音通公司合作提供的智能生活資訊信息服務(wù)系統(tǒng)，采用中文自然語(yǔ)言理解技術(shù)，在吃喝玩樂(lè)、影視娛樂(lè)、消費(fèi)購(gòu)物、戶(hù)外運(yùn)動(dòng)、美食餐飲、醫(yī)療保健等領(lǐng)域通過(guò)互聯(lián)網(wǎng)、短信、WAP等多種通訊手段，為商家和用戶(hù)提供更方便、直接的信息交流和互動(dòng)手段，成為在北京生活、工作、學(xué)習(xí)和旅游的廣大消費(fèi)者重要的信息查詢(xún)工具。
三、未來(lái)應(yīng)用展望
用戶(hù)們呼喚自然語(yǔ)言，因?yàn)樗侨藱C(jī)交互的最高境界，是人機(jī)交互最自然的方式。有理由相信，在不遠(yuǎn)的將來(lái)，任何人、在任何時(shí)刻、在任何場(chǎng)所、在任何設(shè)備上，都可以通過(guò)自然語(yǔ)言方便瀏覽網(wǎng)頁(yè)、互相傳遞信息，實(shí)現(xiàn)隨時(shí)隨地溝通交流的目標(biāo)。
不久的將來(lái)，我們可能會(huì)經(jīng)常遇到這樣的應(yīng)用場(chǎng)景。一個(gè)人到一個(gè)新的城市，如北京，他想盡快了解有關(guān)北京的生活服務(wù)信息，就可以用手機(jī)或者電話(huà)打到一個(gè)提供智能信息服務(wù)的系統(tǒng)。他可以直接用口語(yǔ)去問(wèn)一個(gè)擁有海量信息的服務(wù)器：北京有哪些好玩的地方，哪些地方能夠提供很好的餐飲服務(wù)，哪些地方可以購(gòu)物，那些地方可以享受文化娛樂(lè)；還可以與系統(tǒng)進(jìn)行人機(jī)對(duì)話(huà)，輕松地買(mǎi)機(jī)票、訂房間等等。他通過(guò)自然語(yǔ)言與智能信息服務(wù)系統(tǒng)進(jìn)行人機(jī)交互，就能享受周到的服務(wù)。在這樣的例子中，需要用到很多的技術(shù)和服務(wù)，其中最關(guān)鍵的就是交談式語(yǔ)音識(shí)別和理解系統(tǒng)。
北京2008年奧運(yùn)的舉辦，將是自然語(yǔ)言理解技術(shù)迅猛發(fā)展的大好契機(jī)，北京奧運(yùn)會(huì)同時(shí)也將是智能信息服務(wù)的巨大舞臺(tái)。奧運(yùn)會(huì)最大困難之一是"語(yǔ)言障礙"。國(guó)內(nèi)外產(chǎn)業(yè)界緊密合作，要利用現(xiàn)代信息技術(shù)，特別是自然語(yǔ)言理解的最新科學(xué)技術(shù)成就，研制"面向奧運(yùn)的多語(yǔ)言智能信息服務(wù)網(wǎng)絡(luò)系統(tǒng)"，力爭(zhēng)在2008年北京奧運(yùn)會(huì)期間為各國(guó)運(yùn)動(dòng)員、記者、觀眾和來(lái)自全世界數(shù)以百萬(wàn)計(jì)的旅游者提供綜合、全面、多語(yǔ)種、可定制的信息服務(wù)，以實(shí)現(xiàn)申奧報(bào)告提出的"任何人、在任何時(shí)間、任何場(chǎng)所都能夠安全、方便、快捷、高效地獲取可支付得起的、豐富的、無(wú)語(yǔ)言障礙的、個(gè)性化的信息服務(wù)"的承諾。
北京奧運(yùn)的多語(yǔ)言信息服務(wù)將包括多語(yǔ)言信息同步發(fā)布、信息查詢(xún)和語(yǔ)音交互式的電子商務(wù)，并重點(diǎn)提供基于位置的信息服務(wù)。另外還提供人際交流的輔助工具，如口語(yǔ)翻譯機(jī)和自動(dòng)翻譯電話(huà)。系統(tǒng)將在賽事安排、比賽成績(jī)等奧運(yùn)相關(guān)信息查詢(xún)，住宿、天氣、交通、旅游、餐飲、娛樂(lè)和購(gòu)物等公共服務(wù)信息查詢(xún)，比賽、演出門(mén)票、機(jī)票、火車(chē)票訂購(gòu)，以及社交活動(dòng)等場(chǎng)合提供充滿(mǎn)人性化的多語(yǔ)言智能信息服務(wù)，相當(dāng)于建立了一支虛擬志愿者信息服務(wù)大軍。智能信息服務(wù)網(wǎng)絡(luò)系統(tǒng)不僅將成為北京奧運(yùn)會(huì)的閃光點(diǎn)，有關(guān)成果也必將應(yīng)用和推廣到國(guó)內(nèi)以及世界不同的地區(qū)和領(lǐng)域，從而推動(dòng)信息服務(wù)、IT產(chǎn)業(yè)以及相關(guān)領(lǐng)域的發(fā)展，形成新的經(jīng)濟(jì)增長(zhǎng)點(diǎn)。
和人類(lèi)進(jìn)步過(guò)程中其他任何一種技術(shù)的發(fā)展歷程一樣，自然語(yǔ)言理解技術(shù)在任何一個(gè)不同的成熟階段都有一個(gè)不同的應(yīng)用形式和不同的市場(chǎng)定位。在這種技術(shù)到市場(chǎng)再到技術(shù)的螺旋式上升的過(guò)程中，技術(shù)越來(lái)越成熟，市場(chǎng)也越來(lái)越成熟，從而讓技術(shù)更好地為人類(lèi)服務(wù)。自然語(yǔ)言理解技術(shù)給智能信息服務(wù)提供了威力巨大的核動(dòng)力，智能信息服務(wù)給人類(lèi)更自然、自主的信息交流手段，將創(chuàng)造出全新的產(chǎn)業(yè)空間。人們渴望發(fā)展自然語(yǔ)言理解技術(shù)以加速信息、知識(shí)與文化的交流，促進(jìn)社會(huì)、經(jīng)濟(jì)、科學(xué)的進(jìn)步，這是自然語(yǔ)言理解技術(shù)新的強(qiáng)大的推動(dòng)力量，也是每一個(gè)國(guó)家都面臨的新的挑戰(zhàn)。
得意音通公司供稿 CTI論壇編輯
相關(guān)鏈接: