java可以說是大數據最基礎的編程語言,據我這些年的經驗,我接觸的很大壹部分的大數據開發都是從Jave Web開發轉崗過來的(當然也不是絕對我甚至見過產品轉崗大數據開發的,逆了個天)。
壹是因為大數據的本質無非就是海量數據的計算,查詢與存儲,後臺開發很容易接觸到大數據量存取的應用場景
二就是java語言本事了,天然的優勢,因為大數據的組件很多都是用java開發的像HDFS,Yarn,Hbase,MR,Zookeeper等等,想要深入學習,填上生產環境中踩到的各種坑,必須得先學會java然後去啃源碼。
說到啃源碼順便說壹句,開始的時候肯定是會很難,需要對組件本身和開發語言都有比較深入的理解,熟能生巧慢慢來,等妳過了這個階段,習慣了看源碼解決問題的時候妳會發現源碼真香。
scala和java很相似都是在jvm運行的語言,在開發過程中是可以無縫互相調用的。Scala在大數據領域的影響力大部分都是來自社區中的明星Spark和kafka,這兩個東西大家應該都知道(後面我會有文章多維度介紹它們),它們的強勢發展直接帶動了Scala在這個領域的流行。
Python和Shell
shell應該不用過多的介紹非常的常用,屬於程序猿必備的通用技能。python更多的是用在數據挖掘領域以及寫壹些復雜的且shell難以實現的日常腳本。
2,分布式計算,
什麽是分布式計算?分布式計算研究的是如何把壹個需要非常巨大的計算能力才能解決的問題分成許多小的部分,然後把這些部分分配給許多服務器進行處理,最後把這些計算結果綜合起來得到最終的結果。
舉個栗子,就像是組長把壹個大項目拆分,讓組員每個人開發壹部分,最後將所有人代碼merge,大項目完成。聽起來好像很簡單,但是真正參與過大項目開發的人壹定知道中間涉及的內容可不少。
分布式計算目前流行的工具有:
離線工具Spark,MapReduce等
實時工具Spark Streaming,Storm,Flink等
這幾個東西的區別和各自的應用場景我們之後再聊。
3,分布式存儲
傳統的網絡存儲系統采用的是集中的存儲服務器存放所有數據,單臺存儲服務器的io能力是有限的,這成為了系統性能的瓶頸,同時服務器的可靠性和安全性也不能滿足需求,尤其是大規模的存儲應用。
分布式存儲系統,是將數據分散存儲在多臺獨立的設備上。采用的是可擴展的系統結構,利用多臺存儲服務器分擔存儲負荷,利用位置服務器定位存儲信息,它不但提高了系統的可靠性、可用性和存取效率,還易於擴展。