2007/03/22

1.概述

















　　在技術(shù)規(guī)范書中提出了“系統(tǒng)（以2×3.0G CPU、2G內(nèi)存、2×146G 15KRPM硬盤配置檔次的PC Server為標(biāo)準(zhǔn)）平均創(chuàng)建100萬條記錄索引的時(shí)間< 1小時(shí)；系統(tǒng)在創(chuàng)建索引時(shí)對(duì)主機(jī)的CPU和內(nèi)存的占用率不得高于30%。；系統(tǒng)索引膨脹率小于2.5，最多不能超過3.0。”等索引方面技術(shù)和性能的要求。

　　根據(jù)TRS全文數(shù)據(jù)庫(kù)的測(cè)試數(shù)據(jù)，在Dell2850 2xCPU,4G內(nèi)存，10000轉(zhuǎn)硬盤，Redhat AS4.0測(cè)試環(huán)境下，數(shù)據(jù)加載和索引速度單機(jī)最高可達(dá)每小時(shí)3.5G。

1、索引創(chuàng)建時(shí)間
　　索引創(chuàng)建時(shí)間跟被創(chuàng)建索引的記錄數(shù)無關(guān)，由記錄大小決定的，普通新聞稿記錄，100萬條基本上是2GB左右，如果按詞索引，用時(shí)30分鐘，按字索引用時(shí)60分鐘，全冗余（字詞混和）用時(shí)120分鐘。據(jù)了解，114項(xiàng)目的數(shù)據(jù)記錄內(nèi)容較少，100萬條應(yīng)該在1G以內(nèi)，若籠統(tǒng)的按半數(shù)大小，索引耗時(shí)應(yīng)該在1小時(shí)左右。

2、CPU和內(nèi)存的占有

　　這個(gè)值沒有專門做過檢查，但創(chuàng)建索引主要是對(duì)磁盤的讀寫繁忙，沒有過多的計(jì)算，所以CPU的占用應(yīng)該不會(huì)多，至于內(nèi)存，介于內(nèi)存的讀寫速度比硬盤快很多，所以會(huì)占用一定數(shù)量的內(nèi)存緩存，考慮到100萬條記錄的大小不會(huì)超過1G，所以影響也不會(huì)大

3、索引空間膨脹率

　　目前測(cè)試情況，按膨脹率最高的全冗余（字詞混和）模式創(chuàng)建索引，膨脹率接近3.0。

4.11成功的應(yīng)用模式和豐富的應(yīng)用經(jīng)驗(yàn)

　　TRS 公司多年來服務(wù)于眾多的關(guān)鍵信息系統(tǒng)建設(shè)，在應(yīng)用集成能力和服務(wù)能力上得到了用戶的認(rèn)可。

　　如國(guó)務(wù)院新聞辦三網(wǎng)一庫(kù)的核心數(shù)據(jù)庫(kù)建設(shè)、國(guó)家計(jì)委縱向網(wǎng)、衛(wèi)生部信息發(fā)布網(wǎng)站，國(guó)家統(tǒng)計(jì)局綜合網(wǎng)站信息服務(wù)系統(tǒng)，北京市勞動(dòng)和社會(huì)保障局網(wǎng)站、外交部新聞監(jiān)控采集系統(tǒng)、新華社多媒體數(shù)據(jù)庫(kù)平臺(tái)、中央人民廣播電臺(tái)網(wǎng)站內(nèi)容管理平臺(tái)、央視在線主持系統(tǒng)、人民日?qǐng)?bào)資料庫(kù)、中糧、中國(guó)五礦等等，我們對(duì)資源庫(kù)建設(shè)、入庫(kù)、編輯、生成、展示等整個(gè)信息的生產(chǎn)和服務(wù)的應(yīng)用需求有著深刻的理解，這是領(lǐng)先其他公司的顯著優(yōu)勢(shì)，通過這些服務(wù)，我們與客戶建立了良好的合作關(guān)系，贏得了客戶的信任。特別是我們?yōu)樾氯A社多媒體數(shù)據(jù)庫(kù)進(jìn)行的提速工作，再次展現(xiàn)了公司在信息檢索技術(shù)領(lǐng)域國(guó)際化的領(lǐng)先水平，我們通過并行檢索、Bi-Gram索引、服務(wù)器群集和數(shù)據(jù)庫(kù)智能化自我管理以及多層次Cache技術(shù)等，使得多媒體數(shù)據(jù)庫(kù)在千萬級(jí)數(shù)據(jù)庫(kù)記錄的綜合查詢性能獲得了成倍的提高，這是對(duì)關(guān)鍵業(yè)務(wù)的關(guān)鍵性突破。

4.12專注的服務(wù)

　　TRS專注于咨詢和開發(fā)服務(wù)，采用開放的體系結(jié)構(gòu)、技術(shù)和產(chǎn)品，確保用戶的利益，保護(hù)現(xiàn)有投資。

　　TRS公司專注于軟件產(chǎn)品的提供和技術(shù)服務(wù)，在咨詢和服務(wù)能力上居于領(lǐng)先地位，在本項(xiàng)目中，我們?cè)陉P(guān)鍵性平臺(tái)上采用了TRS成熟產(chǎn)品，并且保證提供開放的技術(shù)體系，提供完整和可擴(kuò)充性，提供應(yīng)用集成能力，同時(shí)根據(jù)用戶需求，推薦針對(duì)應(yīng)用的行業(yè)內(nèi)具有優(yōu)勢(shì)的相關(guān)產(chǎn)品，總體設(shè)計(jì)方案強(qiáng)調(diào)系統(tǒng)組件的最佳組合，選擇合適的技術(shù)和產(chǎn)品。

企業(yè)•廣東移動(dòng)搜索引擎服務(wù)

　　在廣東移動(dòng)搜索引擎服務(wù)的系統(tǒng)建設(shè)中，TRS重點(diǎn)解決了資源信息的整合和安全問題。
資源信息的整合包括了對(duì)辦公自動(dòng)化數(shù)據(jù)的整合、對(duì)論壇數(shù)據(jù)的整合、對(duì)CM系統(tǒng)數(shù)據(jù)的整合，通過整合，實(shí)現(xiàn)統(tǒng)一的檢索入口，實(shí)現(xiàn)統(tǒng)一的Portal服務(wù)。此外，各種數(shù)據(jù)對(duì)原有系統(tǒng)中的權(quán)限（主要是Notes系統(tǒng)中的權(quán)限）得到了很好的繼承，只有相關(guān)的授權(quán)用戶才能對(duì)自己權(quán)限范圍內(nèi)的信息進(jìn)行瀏覽和檢索。


　　廣東移動(dòng)的搜索引擎從技術(shù)上可以分為三個(gè)部分：Notes業(yè)務(wù)平臺(tái)，TRS檢索系統(tǒng)，權(quán)限過濾和顯示模塊。用戶進(jìn)行全文檢索首先在TRS中命中相應(yīng)檢索記錄，然后通過權(quán)限過濾命中相應(yīng)的數(shù)據(jù)集合，最終通過顯示模塊展示給相關(guān)人員經(jīng)過安全驗(yàn)證的信息內(nèi)容。

　　通過這種方式，Notes中的全部業(yè)務(wù)權(quán)限得到了充分的繼承，有效體現(xiàn)了TRS企業(yè)搜索引擎的開放性和可集成能力，充分體現(xiàn)了TRS安全檢索的概念。

　　通過共享資源庫(kù)的建設(shè)，為內(nèi)部工作人員提供了一個(gè)題材豐富的信息資源系統(tǒng)，采用TRS企業(yè)搜索引擎系統(tǒng)，將各部門信息資源整理加工，形成集公文、政務(wù)信息、行業(yè)規(guī)章、地方特色信息等資源的數(shù)據(jù)庫(kù)，為各級(jí)領(lǐng)導(dǎo)提供決策服務(wù)參考，為相關(guān)工作人員提供信息快速查詢平臺(tái)。

　　安全檢索和資源整合服務(wù)，使內(nèi)部的信息得到有序的共享，并進(jìn)一步優(yōu)化了管理流程，實(shí)現(xiàn)“一站式”信息發(fā)布和辦公服務(wù)模式。

CTI論壇編輯