1.4HDSS〔高級決策支持系統(tǒng))HDSS是決策支持系統(tǒng)的最高形式,能夠真正使用戶利用DSS工具直接從池中隨機地提取、分析數(shù)據(jù),有效地服務于企業(yè)的全方位決策。它由三個主要部件構成:
1.4.1數(shù)據(jù)倉庫技術(DW,DataWarehousing)
進入90年代后,隨著人們對信息需求的迅速增加,信息系統(tǒng)部門工作的重點已不局限于簡單的數(shù)據(jù)收集,而是讓整個企業(yè)內(nèi)的人們能夠充分利用這些數(shù)據(jù),為此而提出的數(shù)據(jù)倉庫化概念,越來越成為各行各業(yè)信息系統(tǒng)部門普遍關注的焦點。數(shù)據(jù)倉庫技術是企業(yè)范圍內(nèi)數(shù)據(jù)的處理技術,它將這些分散的數(shù)據(jù)集中到一個更大的庫中(稱為數(shù)據(jù)倉庫),最終用戶從數(shù)據(jù)倉庫中運行查詢、制作報表,進行數(shù)據(jù)分析。數(shù)據(jù)倉庫收集存儲了各個不同數(shù)據(jù)源中的數(shù)據(jù),通過數(shù)據(jù)的組織給決策支持者提供分布在整個企業(yè)內(nèi)部、跨平臺的數(shù)據(jù)。
1.4.2聯(lián)機分析處理技術(OLAP,On-lineAnalyticalProcessing)
這種技術能有效地集中分析和深入研究數(shù)據(jù),發(fā)現(xiàn)趨勢,看到異常情況,得到重要細節(jié),大體可分為基于多維數(shù)據(jù)庫的OLAP實現(xiàn)(MD-OLAP)和基于關系數(shù)據(jù)庫的OLAP實現(xiàn)(ROLAP)。OLAP允許用戶使用數(shù)據(jù)導航技術獲取更詳細的信息,可以使用戶在一個數(shù)據(jù)集內(nèi)進行“向上挖掘”、“向下挖掘”、“跨越挖掘”以及“切片和旋轉”等功能。
1.4.3數(shù)據(jù)挖掘技術(DM,DataMining)
它能從大型數(shù)據(jù)中發(fā)現(xiàn)數(shù)據(jù)模式,預測趨勢和行為,致力于知識的自動發(fā)現(xiàn)。一般認為數(shù)據(jù)挖掘是OLAP之后進行的步驟,它通過篩選數(shù)據(jù)獲得未知的關系,而不是尋找已知的關系。它能幫助決策者尋找數(shù)據(jù)間潛在的關聯(lián),發(fā)現(xiàn)被忽略的要素,如“在某年某地區(qū)賣了多少機械”這就是OLAP,而“促使人們購買某種產(chǎn)品的原因是什么”,則是數(shù)據(jù)挖掘。雖然數(shù)據(jù)倉庫、數(shù)據(jù)挖掘和OLAP技術最初是作為三種獨立的信息處理技術出現(xiàn)的,但是,由于它們之間內(nèi)在的聯(lián)系和互補性,使得這三種技術在高級決策支持系統(tǒng)中已經(jīng)成為一個密不可分的核心。
2數(shù)據(jù)挖掘
數(shù)據(jù)挖掘是從大型數(shù)據(jù)庫或數(shù)據(jù)倉庫中發(fā)現(xiàn)并提取隱藏在其中的信息或知識的過程,目的是幫助分析人員尋找數(shù)據(jù)間潛在的關聯(lián),發(fā)現(xiàn)忽略的要素,而這些信息對預測趨勢和決策行為是十分有用的,所以它屬于決策支持系統(tǒng)的范疇。
2.1預處理數(shù)據(jù)
通過消除噪聲、推導計算缺值數(shù)據(jù)、消除重復記錄、完成數(shù)據(jù)類型轉換(如把連續(xù)值數(shù)據(jù)轉換為離散型的數(shù)據(jù),或是把離散型的數(shù)據(jù)轉換為連續(xù)值數(shù)據(jù))等來收集和凈化來自數(shù)據(jù)源的信息,并加以存儲,一般是將其存放在數(shù)據(jù)倉庫中。
2.2模型搜索
利用數(shù)據(jù)挖掘工具在數(shù)據(jù)中查找模型,這個搜尋過程可以由系統(tǒng)自動執(zhí)行,自底向上搜尋原始事實以發(fā)現(xiàn)它們之間的某種聯(lián)系,也可以加入用戶交互過程,由分析人員主動發(fā)問,從上到下地找尋以驗證假定的正確性,對于一個問題的搜尋過程可能用到許多工具,例如神經(jīng)網(wǎng)絡、基于規(guī)則的系統(tǒng)、基于實例的推理、機器學習、統(tǒng)計方法等。
2.3評價輸出結果
數(shù)據(jù)挖掘階段發(fā)現(xiàn)出來的模式,經(jīng)過用戶或機器的評估,可能存在冗余、價值不大的或無關的模式,這時需要將其剔除,把重要的模式形成知識存儲到知識庫中,也有可能模式未能滿足用戶要求,這時則需要整個發(fā)現(xiàn)過程回到發(fā)現(xiàn)階段之前,如重新選取數(shù)據(jù)、采用新的數(shù)據(jù)變換方法、設定新的數(shù)據(jù)挖掘參數(shù)值,甚至換一種挖掘算法。可見數(shù)據(jù)發(fā)掘的搜尋過程一般需要反復多次,因為當分析人員評價輸出結果后,他們可能會形成一些新的問題或要求對某一方面作更精細的查詢。
2.4生成最后的結果報告
DM由于最終是面向人類用戶的,因此可能要對發(fā)現(xiàn)的模式進行可視化,或者把結果轉換為用戶易懂的另一種表示。
2.5解釋結果報告
對結果進行解釋,依據(jù)此結果采取相應的商業(yè)措施,這是一個人工過程。
數(shù)據(jù)挖掘的相關技術:為了簡化和加快數(shù)據(jù)挖掘過程,使數(shù)據(jù)挖掘真正方便、實用,還需其他的技術支持,如數(shù)據(jù)凈化、數(shù)據(jù)倉庫技術、強大的平行處理技術和存儲技術。
(1)數(shù)據(jù)凈化(DataScrubbing)。為了使數(shù)據(jù)挖掘能夠產(chǎn)生合理的結果,數(shù)據(jù)在進入數(shù)據(jù)倉庫以前必須清除錯誤,形成統(tǒng)一的格式,如用“1”和“0”代表性別,而不是用“male”、“female”、“man”、“woman”表示,這個過程可能用的很慢。此外,盡管有現(xiàn)成的軟件可以輔助開發(fā)人員凈化數(shù)據(jù),將數(shù)據(jù)搬遷到數(shù)據(jù)倉庫中,但開發(fā)人員還是要考慮數(shù)據(jù)如何表示、采用哪種格式等問題。數(shù)據(jù)凈化過程的步驟,按順序如下:a)檢查拼寫錯誤;b)去掉重復的記錄;c)補上不完全的記錄;d)解決不一致的記錄;e)用測試查詢來驗證數(shù)據(jù);f)根據(jù)驗證結果反復迭代上述步驟。
(2)數(shù)據(jù)倉庫技術。一個企業(yè)在沒有建立自己的數(shù)據(jù)倉庫之前,有許多分散的、未集成的、不精練的信息,采掘這樣的數(shù)據(jù),效率是很低的。數(shù)據(jù)倉庫技術是企業(yè)范圍內(nèi)數(shù)據(jù)的處理技術,它將這些分散的數(shù)據(jù)集中到一個更大的庫中,為數(shù)據(jù)挖掘提供了有效的結構,有利于數(shù)據(jù)挖掘。
(3)平行處理技術。毫無疑問,強大的平行處理計算機可以提高數(shù)據(jù)挖掘的應用,因為平行處理技術可以將一個復雜查詢分解成多個子查詢,每個子查詢交給不同的處理器處理,這一處理過程是并行執(zhí)行的,不像串行處理機,任務只能順序執(zhí)行。因此,并行處理技術可以大大加速數(shù)據(jù)挖掘的過程;反過來,人們對數(shù)據(jù)挖掘的興趣也有助于并行系統(tǒng)的銷售。
(4)存儲技術。現(xiàn)在的數(shù)據(jù)倉庫存儲的數(shù)據(jù)量是GB到TB級別,隨著時間的推移,在未來五年,可能會達到幾百個TB級,因此,廉價可行的存儲技術對于數(shù)據(jù)挖掘來說變得非常重要。目前,普遍采用的是二級存儲技術,即磁盤(磁光盤)-主存兩級存儲,由于缺乏快速的訪問和存儲磁盤的技術,隨著存儲容量的增長、數(shù)據(jù)挖掘查詢越來越復雜以及并行處理器速度的加快,存儲技術可能會成為數(shù)據(jù)挖掘的新瓶頸。
3數(shù)據(jù)挖掘與決策支持系統(tǒng)的聯(lián)系及數(shù)據(jù)挖掘工具產(chǎn)品
傳統(tǒng)的DSS系統(tǒng)通常是在某個假設的前提下通過數(shù)據(jù)查詢和分析來驗證或否定這個假設,而數(shù)據(jù)挖掘技術則能夠自動分析數(shù)據(jù),進行歸納整理,從中發(fā)現(xiàn)潛在的模式,或產(chǎn)生聯(lián)想,建立新的業(yè)務模型,幫助決策者調整市場策略,并找出正確的決策。例如在銷售業(yè)數(shù)據(jù)庫中,數(shù)據(jù)挖掘工具回答“哪些客戶最可能對促銷作出反應,為什么他會這樣?”、“哪些商品之間具有潛在的聯(lián)系?”、“下一個月,在天津的銷售部門的情況將會如何?為什么?”等。而DSS系統(tǒng)回答“今年銷售總量比去年多多少?從而預測明年銷售總量”、“三月份中,在天津的銷售部門的情況如何?從而推測在北京的銷售部門情況”,所以,數(shù)據(jù)挖掘的出現(xiàn)使決策支持工具跨人了一個新階段。
數(shù)據(jù)挖掘技術能夠幫助用戶從歷史性數(shù)據(jù)中挖掘知識,進而支持決策,極大地吸引用戶,而用戶造就的數(shù)十億美元的市場又極大地吸引了數(shù)據(jù)庫廠商,各大公司紛紛開始了自己的數(shù)據(jù)挖掘工具產(chǎn)品的研制工作。
目前為數(shù)據(jù)挖掘所提供的主要工具有:聯(lián)機分析處理(OLAP:On-LineAnalyticalProcessing)工具及包含一些AI技術的工具,如IDIS(InformationDiscoverySystem)。OLAP描述的是一種多維數(shù)據(jù)服務(這里的“維”是指人們觀察世界的角度,如時間、地域、業(yè)務等),這種服務的設計目的是保證分析員、經(jīng)理和決策者針對特定問題,通過快速、一致、交互式的實時數(shù)據(jù)訪問和分析,獲得有創(chuàng)意的發(fā)現(xiàn)。目前,典型的產(chǎn)品有Pilot公司推出的Lightship產(chǎn)品,Oracle公司新近推出的OrcaleExpress系列產(chǎn)品,美國BusinessObjects公司于1996年推出的BusinessMiner產(chǎn)品。BusinessMiner產(chǎn)品是一個桌面式數(shù)據(jù)發(fā)掘工具,可在所有Windows平臺(包括Windows95,WindowsNT和Windows3.x)上使用。(萬方數(shù)據(jù))
信息發(fā)布:廣州名易軟件有限公司 http://m.jetlc.com