壹、題目來源:
本題目來源於作者在學習和實踐中了解到的兩個事實，屬於自擬題目。
壹、筆者2011年7月在XXX公司調研，了解到各行業都面臨著數據量劇增，帶來業務處理速度慢，數據維護難等問題。為了應對這壹挑戰，許多企業實施了大數據發展戰略。今天的大數據發展戰略可以概括為兩類，壹類是縱向擴張。
也就是使用存儲容量更大、處理能力更強的設備，成本很高，過去很多大公司壹直在用這種方法處理大數據。但自從2004年Google發布了GFS、MapReduce、BigTable三篇技術論文後，雲計算開始興起，2006年Apache Hadoop項目啟動。
2009年以來，隨著雲計算和大數據的發展，Hadoop作為壹種優秀的數據分析和處理解決方案，受到了眾多IT公司的關註。相對於縱向擴展的昂貴成本，人們更喜歡采用這種通過整合廉價計算資源的橫向擴展方式。於是很多IT公司開始探索Hadoop框架來搭建自己的大數據環境。
其次，筆者從2013年4月在XXX實習期間進壹步了解到，目前大部分大數據應用環境都采用非結構化數據庫，如Hbase用於列存儲，MangoDB用於文檔存儲，Secondary用於圖形數據庫。
這些非結構化數據庫因其可擴展性強、資源利用率高、高並發、響應速度快等特點，在大數據應用環境中得到了廣泛應用。但是這個應用只解決了前端的業務處理。為了利用大數據實現商業智能，需要為決策支持系統和在線分析應用提供壹個數據環境——數據倉庫。因此，導師指導作者擬出本課題，研究基於Hadoop框架的數據倉庫解決方案。
二、研究的目的和意義:
如今，數據已經滲透到每個行業，成為重要的生產要素。近年來，由於歷史積累和數據加速增長，所有行業都面臨著大數據的問題。事實上，大數據既是機遇也是挑戰。合理地充分利用大數據，將其轉化為海量、高增長、多元化的信息資產，將使企業擁有更強的決策力、洞察力和發現力以及流程優化力。
因此，許多IT公司將大數據作為其重要的發展戰略。例如，亞馬遜和臉書已經布局大數據產業，並取得了顯著成效。事實上，不僅谷歌、易貝或亞馬遜等大型互聯網公司需要發展大數據，任何規模的企業都有機會從大數據中獲得優勢，從而建立自己未來業務分析的基礎，並在與同行的競爭中獲得顯著優勢。
與大型企業相比，中小企業的大數據發展戰略不同。大公司可以依靠雄厚的資金和技術實力，從自身的環境和業務出發，開發自己的軟件平臺。中小企業沒有這樣的技術實力和巨大的資金投入，更傾向於選擇通用的、相對便宜的解決方案。
本文旨在分析大數據環境下數據庫的特點，結合目前流行的Hadoop框架，提出壹種適合大數據環境的數據倉庫解決方案並加以實現。為中小企業在大數據環境下構建數據倉庫提供參考。具體來說，它有以下三層含義:
首先，目前主流數據庫如Oracle、SQL Server都有壹套完整的數據倉庫解決方案，對應自己的數據庫平臺。對於MySQL等其他關系數據庫，雖然沒有對應數據庫平臺的數據倉庫解決方案，但是有很多集成的數據倉庫解決方案。
對於非結構化數據庫，由於其數據模型不同於關系數據庫，需要新的解決方案。本文提出的基於Hive/Pentaho的數據倉庫實現方案可以為it提供參考。
其次，通過整合多源非結構化數據庫，可以生成面向主題的、集成的數據倉庫，可以在大數據平臺上提供在線事務處理和決策支持的數據環境，從而有效利用數據資源輔助管理決策。
再次，大數據是壹個寬泛的概念，包括大數據存儲、大數據計算、大數據分析等各個層面的技術細節。本文提出的“大數據環境下的數據倉庫解決方案及實現”豐富了大數據應用技術的生態環境，為大數據環境下的數據分析和數據挖掘提供了支撐。
三、簡述國內外研究現狀和發展趨勢:
本文的主體是數據倉庫，它不同於傳統的基於關系數據庫的數據倉庫。本文主要研究大數據環境下基於非結構化數據庫的數據倉庫的構建和實現。所以有必要從大數據環境下的數據倉庫和數據庫兩個方面來闡述。
(1)國內外數據倉庫的研究現狀:
自從比爾·恩門在1990中提出“數據倉庫”的概念後，數據倉庫技術開始興起，給社會帶來了新的機遇，並逐漸成為壹大技術熱點。目前，美國有30%到40%的公司已經建立或正在建立數據倉庫。如今，隨著數據模型理論的完善、數據庫技術、應用開發和挖掘技術的不斷進步，數據倉庫技術不斷發展，並在實際應用中發揮了巨大的作用。
基於數據倉庫、聯機分析處理和數據挖掘工具的決策支持系統日趨成熟。同時，使用數據倉庫的巨大好處刺激了對數據倉庫技術的需求，數據倉庫市場發展勢頭迅猛。
我國企業信息化起步較晚，數據倉庫技術在我國的發展還處於積累經驗的階段。雖然近年來國內大中型企業已經逐漸意識到使用數據倉庫技術的重要性，並開始建立自己的數據倉庫系統，如中國移動、中國電信、中國聯通、上海證券交易所、中國石油等。
但總體來看，中國的數據倉庫市場有待進壹步培育，數據倉庫技術與國外還有較大差距。為此，中國許多科技人員開始對數據倉庫相關技術進行深入研究，通過吸收和借鑒國外技術，提出適合國內需求的技術解決方案。
(2)國內外非聚集數據庫的研究現狀:
隨著數據庫技術在各個領域的深入應用，結構化數據庫逐漸顯現出壹些弊端。比如在生物、地理、氣候等領域，研究面臨的數據結構不是傳統的關系型數據結構。如果使用關系數據庫來存儲和顯示它，則必須將其從自己的數據結構強制轉換為關系數據結構。
這樣處理非結構化數據，無法管理全生命周期的非關系數據，數據之間的關系也無法完全表達。在這種背景下，非結構化數據庫應運而生。與關系數據庫相比，非結構化數據庫的字段長度是可變的，每個字段的記錄可以由可重復或不可重復的子字段組成。
這樣不僅可以處理結構化數據，還可以處理文本、圖像、聲音、影視、超媒體等非結構化數據。近年來，隨著大數據的興起，非結構化數據庫被廣泛用於支持大數據處理的各種結構化數據。
目前，非結構化數據庫種類繁多，主要包括內存數據庫、列存儲數據庫、文檔數據庫、圖形數據庫等。其中，常見的內存數據庫有SQLite、Redis、Altibase等。列存儲數據庫包括Hbase、Bigtable等。文檔數據庫有MangoDB、CouchDB、RavenDB等。圖形數據庫包括二次等。
近年來，中國的非結構化數據庫也有了壹定的發展，其中最具代表性的是國鑫貝斯的iBASE數據庫。可以預見，在不久的將來，隨著這種大數據的應用，非結構化數據庫將會得到極大的發展和廣泛的應用。