大數據工程師是做什么的？

介紹大數據工程師需要的幾項關鍵技能:

1.大數據架構的工具和組件數據工程師更注重分析基礎設施，因此所需技能大多以架構為中心。

2.深入了解SQL等數據庫解決方案數據工程師需要熟悉數據庫管理系統，深入了解SQL非常重要。類似地，其他數據庫解決方案，如Cassandra或BigTable，應該是熟悉的，因為不是每個數據庫都是按照可識別的標準構建的。

3.數據倉庫和ETL工具數據倉庫和ETL經驗對于數據工程師來說非常重要。Redshift或Panoply等數據倉庫解決方案以及StitchData或Segment等ETL工具非常有用。另外，數據存儲和數據檢索的體驗同樣重要，因為處理的數據量是天文數字。

4.基于Hadoop的分析(Hbase、Hive、MapReduce等。)對基于ApacheHadoop的分析有深入的了解是這個領域非常必要的要求。總的來說，Hbase，Hive，MapReduce的知識存儲是必要的。

5.編碼說到解決方案，編碼和開發能力是一個重要的優勢(這也是很多崗位所要求的)。你要熟悉Python，C/C，Java，Perl，Golang或者其他語言，這將是非常有價值的。

6.機器學習機器學習已經成為一門標準的數據科學，這一領域的知識可以幫助我們為類似的產品構建解決方案。這種知識的另一個好處是，它使你在這個領域非常有價值，因為能夠"戴兩頂帽子"在這種情況下會讓你成為一個更強大的工具。

7.多種操作系統最后，我們需要對Unix、Linux和Solaris系統有深入的了解。很多數學工具都是基于這些操作系統的，因為它們有Windows和Mac系統沒有的訪問權限和特殊的硬件要求。

10G左右的csv文件用什么打開比較好？

Its一些數據，然后需要分析。

這個估算要用專業的

etl工具亮點？

Etl用于描述從源到目的地提取、轉換和加載數據的過程。

etl一詞常用于數據倉庫，但其對象并不限于數據倉庫。

etl所描述的過程一般包括etl或ELT，它們是混合的。

通常數據量越大，轉換邏輯越復雜，目的地計算能力強的數據庫越傾向于使用。ELT，以便使用目標數據庫的并行處理能力。

etl的過程可以用任何編程語言來開發。由于etl是一個極其復雜的過程，并且手寫程序難以管理，越來越多的企業使用工具來輔助etl的開發，并使用其內置的元數據功能來存儲源和目的的對應關系以及轉換規則。