隨著信息化技術的發(fā)展與應用，為各行業(yè)的企業(yè)在業(yè)務發(fā)展上帶來了最直接的機會。同時也產(chǎn)生了大量的業(yè)務相關數(shù)據(jù)，這些數(shù)據(jù)可能會涉及到企業(yè)的財務信息、營銷數(shù)據(jù)、客戶資料等等。
這些數(shù)據(jù)的留存是否會對業(yè)務發(fā)展提供有力的幫助呢？據(jù)相關機構(gòu)估算，在財富500強的企業(yè)中，平均每一家企業(yè)都會保存有最近7至10年的客戶數(shù)據(jù)，而這些數(shù)據(jù)往往未得到充分的利用。與此同時，這類的數(shù)據(jù)還在大幅度的增長。據(jù)經(jīng)濟學家最近的一項研究顯示，人類在2005年中創(chuàng)造了大約150 EB字節(jié)的數(shù)據(jù)信息，而2011年達到了1800 EB字節(jié)。同樣，市場研究公司IDC表示，數(shù)字內(nèi)容將會呈現(xiàn)每18個月翻倍增長的趨勢。Gartner預測表示，未來將有多達80%的企業(yè)數(shù)據(jù)趨于非結(jié)構(gòu)化，并且數(shù)據(jù)來源涵蓋了傳統(tǒng)和非傳統(tǒng)渠道。
大數(shù)據(jù)面臨的兩個挑戰(zhàn)
近幾年來，隨著互聯(lián)網(wǎng)與信息技術的發(fā)展，全球數(shù)據(jù)量呈現(xiàn)了爆炸式的增長。移動通信技術、無線設備、社交網(wǎng)絡、遠程協(xié)作以及基于云的諸多服務都是導致數(shù)據(jù)呈幾何增長的主要原因？梢哉f，數(shù)據(jù)的爆炸式增長為全球各行業(yè)均帶來了管理上的問題。
例如，在電信行業(yè)的呼叫數(shù)據(jù)記錄管理、金融行業(yè)的交易數(shù)據(jù)和客戶資料管理、零售行業(yè)的供應鏈管理以及制造行業(yè)的業(yè)務績效管理等等。對于企業(yè)用戶來說，大數(shù)據(jù)的來臨也無形中增加了他們所需承擔的責任以及成本。企業(yè)必須保持這些數(shù)據(jù)在很長一段時間內(nèi)的可用性，并滿足這些龐大數(shù)據(jù)量在存儲方面的需求。這就導致了企業(yè)需要采購和維護所需的硬件設備，并且還要不斷的進行監(jiān)督與管理。
那么，企業(yè)利用這些海量的數(shù)據(jù)能做什么呢？許多敏銳的管理者已經(jīng)意識到，這些數(shù)據(jù)可能會成為企業(yè)的真正優(yōu)勢，為業(yè)務運營提供超越競爭對手的洞察力。但隨之而來的問題就是數(shù)據(jù)處理的能力和速度。數(shù)據(jù)的運算速度會受到物理設備極限能力的限制，從而影響從數(shù)據(jù)庫中訪問數(shù)據(jù)和運算指令所需的時間。這意味著，一個復雜的計算將無法實時完成，可能會持續(xù)幾個小時甚至幾天。
另一方面，運算速度并不是決定大數(shù)據(jù)發(fā)展的唯一關鍵要求。當前的大數(shù)據(jù)無處不在，并且其大多來自于非結(jié)構(gòu)化的外部數(shù)據(jù)。企業(yè)需要尋找一個可以幫助其獲取、分析、治理和信息共享的工具。在Gartner 2011技術成熟度曲線（Hype Cycle）中我們看到，大數(shù)據(jù)技術正在日趨成熟并上升到了“過熱期”階段。在企業(yè)需求更快的數(shù)據(jù)訪問速度時，也希望能夠迅速了解到這些數(shù)據(jù)可用來做什么。這就涉及到了大數(shù)據(jù)在企業(yè)應用中的兩個主要挑戰(zhàn)，實時數(shù)據(jù)分析與實時業(yè)務響應。
挑戰(zhàn)之一“實時數(shù)據(jù)分析”
大約在15年前，當時還沒有現(xiàn)在的“商業(yè)智能（BI）”，而是稱為“決策支持”。那個時候，企業(yè)已經(jīng)可以從他們的數(shù)據(jù)中獲得有用的業(yè)務發(fā)展洞察，直到最近數(shù)據(jù)量爆炸增長的來臨，才使得企業(yè)在獲取數(shù)據(jù)實時分析時面臨了較大的阻力。
在2012年達沃斯世界經(jīng)濟論壇的報告中寫道：“現(xiàn)在企業(yè)中的分析師們希望能夠制定他們所需求的分析方案并親自制作和運用報告，希望在運作時能夠盡量少的被IT部門參與。他們覺得對于IT的依賴大大減慢了他們的工作效率。同時，他們還希望數(shù)據(jù)能夠可視化。因為目前企業(yè)和消費者比以往任何時候都更加期望能夠獲取到與數(shù)據(jù)相關度較高可視化報告，這不僅要體現(xiàn)在圖表、圖形和熱點圖等形式，還需要能夠設計具備偏好的自定義形式。”
由此不難看出，明確的數(shù)據(jù)點和分析結(jié)果對于企業(yè)來說是非常有價值的。但現(xiàn)今的分析僅局限在企業(yè)的現(xiàn)有數(shù)據(jù)庫還不夠，還需要保持數(shù)據(jù)與當前社會乃至全球的相關性。這意味著企業(yè)需要從社交媒體、地理位置、CRM系統(tǒng)、政府的公開數(shù)據(jù)、手機信息等非專有的渠道獲取數(shù)據(jù)，進行額外的分析。
另一方面，對于實時分析來說，當前的移動應用潛力也才剛剛開始出現(xiàn)，其移動分析或?qū)⒈阮A期的影響更加深遠。例如，廣告或其他有針對性的目的可以對移動設備用戶的實時行為作出分析。而在移動應用分析方面，那些有大量移動辦公人員的企業(yè)可以針對員工移動設備的使用作出分析，其中可能會包括數(shù)據(jù)、信息和地理位置等等。除卻移動應用外，實時分析還可利用從無線傳感器網(wǎng)絡、道路網(wǎng)絡監(jiān)測、空中交通及鐵路等途徑獲取的數(shù)據(jù)。
總之，任何企業(yè)的目標都是希望獲得一個真實的且實時的數(shù)據(jù)分析，通過大數(shù)據(jù)尋找新的思路。因為大數(shù)據(jù)往往涉及了多年的歷史管理數(shù)據(jù)，企業(yè)可以從中提高決策、加速性能并提高生產(chǎn)力和效率。
挑戰(zhàn)之二“實時業(yè)務響應”
現(xiàn)階段企業(yè)自身也正在以驚人的速度發(fā)展業(yè)務。企業(yè)越來越需要對影響他們業(yè)務的事件做出更快的反應。通過對數(shù)據(jù)的分析，企業(yè)能夠找出提高其業(yè)務規(guī)劃趨勢和預測的模式，以減少在處理顧客需求和投訴方面的響應時間。同時，也可以及時向銷售部門提供所需的信息。
為實現(xiàn)企業(yè)縮短響應時間的目標，企業(yè)必須要在事件發(fā)生時作出實時的交易信息評估，基于實時數(shù)據(jù)進行動態(tài)的問題處理。然而說著簡單，做起來卻不一定容易。隨著大數(shù)據(jù)的來臨，現(xiàn)有的業(yè)務數(shù)據(jù)量已遠超過了傳統(tǒng)磁盤系統(tǒng)和數(shù)據(jù)倉庫所能承受的最大處理能力。
為此才引出了下面的話題——內(nèi)存計算技術。在傳統(tǒng)的運算方式中，數(shù)據(jù)是從磁盤驅(qū)動器被載入到內(nèi)存中的，內(nèi)存則主要放置正在處理的數(shù)據(jù)信息。而內(nèi)存計算卻是將所有的數(shù)據(jù)都保存在內(nèi)存中，處理器直接從內(nèi)存讀取數(shù)據(jù)。相比傳統(tǒng)的磁盤來說，內(nèi)存的讀取速率更高，處理速度更快。對于一個企業(yè)來說，內(nèi)存技術的采用標志著其整體業(yè)務的轉(zhuǎn)折，特別是在處理大數(shù)據(jù)方面。
在最近幾年中，中央處理器和內(nèi)存的價格已呈現(xiàn)明顯下滑，同時每單位內(nèi)存的可用性和能力也呈現(xiàn)了顯著增長。這種增長為海量數(shù)據(jù)的存儲方式帶來了重新思考的空間。同時，數(shù)據(jù)存儲方式的改變也將對企業(yè)應用產(chǎn)生重要的影響并最終影響企業(yè)的運營方式。內(nèi)存技術將帶來企業(yè)管理的全新時代，管理人員可以根據(jù)他們的決策對復雜的業(yè)務數(shù)據(jù)進行實時分析，這對于大型IT系統(tǒng)來說無疑具備里程碑式的意義。
另一方面，在傳統(tǒng)的基于磁盤的系統(tǒng)中，數(shù)據(jù)信息從運營系統(tǒng)中被提取并構(gòu)建在不同的數(shù)據(jù)倉庫系統(tǒng)進行分析，這意味著在數(shù)據(jù)采集和生成過程中存在明顯的延時。而隨著內(nèi)存技術的可用，業(yè)務數(shù)據(jù)都在單一的綜合數(shù)據(jù)庫中，以處理每日所有的交易和更新，并應對實時響應分析需求。由于內(nèi)存技術允許從內(nèi)存中直接訪問數(shù)據(jù)，所以會比傳統(tǒng)的磁盤系統(tǒng)具備更快的結(jié)果返回速度。同時，更新數(shù)據(jù)庫所花費的時間也顯著減少，系統(tǒng)也可以在同一時間處理更多的查詢操作。
雖然內(nèi)存計算技術并不是一個全新的技術，但其現(xiàn)在已發(fā)展成為一個可供企業(yè)真正使用的技術。隨著處理速度的巨大進步，在質(zhì)量查詢、商業(yè)洞察以及內(nèi)存中的數(shù)據(jù)庫管理系統(tǒng)將能夠達到10至20倍的提升，這是傳統(tǒng)的磁盤設備所無法相比的。同時，隨著現(xiàn)階段硬件價格的優(yōu)勢和軟件的創(chuàng)新，已使企業(yè)有可能利用內(nèi)存計算技術在幾秒的時間內(nèi)對大量的數(shù)據(jù)進行篩選、關聯(lián)和更新。
此外，談到內(nèi)存技術對行業(yè)的影響，可以說其從消費產(chǎn)品和零售業(yè)，到制造業(yè)和金融服務業(yè)的運作方面具有很大的潛力。
消費產(chǎn)品企業(yè)可以使用內(nèi)存技術來管理他們的供應商、跟蹤產(chǎn)品和管理促銷活動，并且對保修期內(nèi)產(chǎn)品的缺陷進行分析。零售企業(yè)可以跨越多個地域管理店面運營、進行網(wǎng)點銷售分析、進行多渠道的定價分析和對損壞、變質(zhì)及退回的產(chǎn)品進行跟蹤。制造企業(yè)可以通過內(nèi)存技術確保業(yè)務績效管理、對生產(chǎn)和維修進行分析并進行實時的資產(chǎn)利用率研究。金融服務公司可以進行對沖基金交易分析，如對貨幣、股票、衍生性金融商品和其他證劵的客戶風險管理。利用從內(nèi)存中獲取的信息，企業(yè)可以基于市場交易的現(xiàn)狀作出實時系統(tǒng)的風險管理和報告。
內(nèi)存計算技術為業(yè)務帶來的益處
從內(nèi)存計算對各行業(yè)的影響不難看出，其在許多領域都會產(chǎn)生令用戶印象深刻的益處。其中最重要的是節(jié)約成本、提高效率和實時性。
在成本的節(jié)約方面，主要體現(xiàn)在內(nèi)存的運行功耗和占用資源比傳統(tǒng)磁盤要低。據(jù)調(diào)查顯示，數(shù)據(jù)庫管理目前占據(jù)了大多數(shù)企業(yè)IT預算的25%，甚至更多。由于內(nèi)存中的數(shù)據(jù)庫所使用的硬件系統(tǒng)比傳統(tǒng)磁盤數(shù)據(jù)庫所需功耗更低，因此它們可以大幅度降低硬件及維護成本。另外，由于內(nèi)存計算技術可以實現(xiàn)無中斷作業(yè)，釋放了以前傳統(tǒng)數(shù)據(jù)庫為響應報告請求而占用的系統(tǒng)資源，所以也減少了對公司整體IT環(huán)境的負擔。
在提高效率方面，內(nèi)存技術將使得那些依賴于頻繁數(shù)據(jù)更新的企業(yè)更加方便。遷移到內(nèi)存技術可使企業(yè)在IT架構(gòu)中刪除以前的傳統(tǒng)技術層，降低復雜性及傳統(tǒng)系統(tǒng)所需要的基礎設施。通過內(nèi)存計算技術，企業(yè)數(shù)據(jù)檢索幾乎將在瞬間完成，使企業(yè)中的所有團隊更有效率。同時，內(nèi)存計算允許任何企業(yè)用戶輕松創(chuàng)建BI子集，方便各部門使用。企業(yè)用戶也不再需要IT部門的支持就可以獲取相關業(yè)務數(shù)據(jù)的洞察。
在實時性方面，內(nèi)存技術使得企業(yè)可以更容易的編制其業(yè)務數(shù)據(jù)的全面概述，而不是僅限于其數(shù)據(jù)倉庫中分門別類的數(shù)據(jù)子集。通過這個可見性的改進，企業(yè)可以從事件分析中實時進行決策，以使他們的業(yè)務模式具備可預測性，擺脫傳統(tǒng)模式的被動響應。
改寫“五分鐘”法則
隨著現(xiàn)今信息技術、互聯(lián)網(wǎng)、移動通信技術的成熟以及觸摸式智能手機、平板電腦、社交網(wǎng)絡等日新月異的產(chǎn)品出現(xiàn)，人們對于技術的看法也發(fā)生了改變。如何更好的利用新技術優(yōu)化企業(yè)的業(yè)務？這是每個企業(yè)用戶都在考慮的問題。人們希望能通過一種方式，有效的搜索和篩選大量的聯(lián)機數(shù)據(jù)以獲取到有意義的信息。
無疑，內(nèi)存技術將成為實現(xiàn)數(shù)據(jù)快速處理的最佳方案，但是相比于基于磁盤的數(shù)據(jù)管理系統(tǒng)其成本也是高昂的。即便如此，那些最先采用內(nèi)存技術的企業(yè)，在業(yè)務洞察力、效率和降低整體IT成本方面也將具備真正的優(yōu)勢。
追溯到1987年，Jim Gray與Gianfranco Putzolu發(fā)表了I/O 的“五分鐘法則”觀點。該觀點簡而言之就是，如果一條記錄被頻繁訪問，那么就應該將其放到內(nèi)存中，否則的話就應該保存在硬盤上按需訪問，而這個臨界點就是五分鐘。這個觀點的評估標準是根據(jù)成本投入判斷的，并且在20多年之后的內(nèi)存時代中又有專家再次提出，證明其依然有效。
時隔近30年，與現(xiàn)在相比，那時的內(nèi)存價格每GB超過5000美元，而現(xiàn)在已不足1美元了。此外，隨著大型多核處理器架構(gòu)的發(fā)展，再結(jié)合內(nèi)存成本的一再下降，可以說這兩個趨勢的出現(xiàn)為企業(yè)提供了一個轉(zhuǎn)型的時機。
在未來幾年內(nèi)，隨著企業(yè)越加了解如何通過實時的大數(shù)據(jù)篩選所需之后，我們將會在各個領域看到越來越多的此類應用。盡管現(xiàn)在的全球管理者們才剛剛開始學習如何應付大數(shù)據(jù)，但在不久的將來，我們將看到企業(yè)如何挖掘大數(shù)據(jù)，并用它為企業(yè)創(chuàng)造更多的價值。
備注：本文為SAP公司在2012年世界經(jīng)濟論壇白皮書進行改編
加好友 
發(fā)短信
Post By：2012/9/16 14:33:09
[本帖被加為精華]
