大數據開發(fā)工程師崗位職責16篇

第1篇 大數據開發(fā)工程師/專家（p6-p8）3職位描述與崗位職責任職要求

職位描述：

職責描述：

1.負責時空位置大數據對外接口后臺和服務框架的開發(fā)和運營；

2.負責時空位置大數據數據中、后臺的建設以及數據和服務安全方面的建設；

任職要求：

1.重點大學本科以上學歷，計算機及相關專業(yè)；

2.3年以上相關工作經驗，精通算法與數據結構，精通c/c++編程語言；

3.精通linu_、uni_編程環(huán)境，熟悉數據庫；

4.精通網絡編程，有分布式系統(tǒng)開發(fā)經驗，有大平臺開發(fā)經驗優(yōu)先；

5.熟悉gis和時空大數據處理和管理，有相關工作經驗者優(yōu)先，

6.具備優(yōu)秀的獨立解決問題能力， 善于團隊合作，溝通良好，有一定的抗壓能力；

第2篇 大數據開發(fā)工程師（數據分析、信息安全、前端開發(fā)、數據對接）職位描述與崗位職責任職要求

職位描述：

數據分析工程師：

崗位職責：

1、負責結構化數據和文本的數據處理、建模、分析等工作，如：數據清洗、中文分詞、情感分析、文本分類等；

2、負責數據需求的收集、整理和分析，配合其他同事完成結構化數據和文本的需求分析；

3、負責分析結果的可視化展現；

4、負責核心算法的設計與優(yōu)化。

任職要求：

1、全日制本科畢業(yè)；

2、計算機或數學或軟件類或統(tǒng)計相關專業(yè)；

3、熟悉數據挖掘和文本挖掘的理論基礎，掌握統(tǒng)計模型、機器學習相關原理；

4、熟悉r/python/java等編程語言，熟悉常用數據結構和算法，熟悉正則表達式的使用。

web前端開發(fā)工程師：

崗位職責：

1、負責前端框架設計及組件庫開發(fā)、前端開發(fā)工作統(tǒng)籌；

2、與后端工程師緊密配合，高效率、高質量地完成頁面展現研發(fā)工作；

3、負責對產品頁面性能的優(yōu)化和維護；

4、負責數據可視化圖表顯示。

任職要求：

1、本科及以上學歷，專業(yè)不限。3年以上前端開發(fā)經驗；

2、精通html5/css3、_html/_ml，熟悉頁面架構和布局，對表現與數據分離、web語義化等有深刻理解；

3、在多瀏覽器兼容性問題及css/javascript性能優(yōu)化方面有一定的經驗；

4、熟練掌握至少一種前端框架及工具、庫。如jquery、angular、webpack；

5、有echars、highcahrts、d3js等數據可視化框架開發(fā)經驗優(yōu)先。

信息安全架構工程師：

崗位職責：

1、 規(guī)劃車聯(lián)網安全架構，不斷完善車聯(lián)網產品的安全規(guī)范和要求，跟進、解決存在的安全隱患；

2、 對上線前的軟件或者車上產品進行安全方面驗證及測試；

3、 跟進最新漏洞的研究工作，理解漏洞的原理，編制漏洞研究報告和防范措施；

4、 負責行業(yè)/國家車聯(lián)網汽車網絡安全部分的技術及標準規(guī)范的研究工作。

任職要求：

1、本科以上學歷，信息安全，計算機，通信等相關專業(yè)；

2、 擁有網絡安全專業(yè)技能，熟悉車載網絡架構，模塊及協(xié)議；

3、 熟悉常見網絡/車輛安全漏洞，掌握漏洞原理以及解決方案具備獨立開展?jié)B透工作的能力；

4、 熟悉常見黑客攻擊手法，具備對黑客行為的入侵檢測能力；

5、 精通安全測試框架，理解網絡，應用，數據等不同層面的安全。

數據對接工程師：

崗位職責：

1、負責內部系統(tǒng)的對接工作；

2、第三方平臺的數據對接及程序維護；

3、負責各車型的數據采集要求整理及規(guī)劃；

4、熟悉數據結構和常用算法，有良好的代碼規(guī)范，能對接入數據/系統(tǒng)提出優(yōu)化方案。

任職要求：

1、 本科以上學歷，信息化項目，計算機，無線傳輸等相關專業(yè)；

2、擁有信息化相關技能，熟悉系統(tǒng)間的交互對接流程；

3、熟悉數據庫的管理及查詢、同步工作；

4、熟悉信息對接的方式，能用api、視圖等進行對接工作。

第3篇 java大數據開發(fā)工程師職位描述與崗位職責任職要求

職位描述：

職責描述：

1. 精通java開發(fā)、熟悉restful和maven，精通主流java web開發(fā)框架spring、spring boot、spring data jpa、logback、mybatis；

2.熟悉對常用關系型數據庫和hdfs、hive，kafka、storm等讀寫操作，性能優(yōu)化;

3. 具備系統(tǒng)架構設計能力，具備較強的java程序調優(yōu)能力及數據庫設計和sql調優(yōu)能力，具備良好的溝通能力；

4. 熟悉多線程編程、熟悉junit單元測試；

第4篇 中級大數據開發(fā)工程師職位描述與崗位職責任職要求

職位描述：

職責描述：

1、參與公司商業(yè)智能平臺的研發(fā)工作；

2、參與公司商業(yè)智能平臺的升級改造工作，包括運維工作。

任職要求：

1、正規(guī)院校本科及以上學歷，軟件、計算機、通信、信息安全、網絡工程等相關專業(yè)；

2、良好的java開發(fā)背景，熟悉spring/mybatis技術體系；

3、良好的sql功底，熟悉mysql或oracle數據庫；

4、熟悉linu_；

5、了解開源pentaho產品，包括prd、mondrian、saiku、kettle等；

6、熟悉hadoop、hive、hbase、storm、spark等大數據平臺；

7、溝通能力強，有較強的學習能力，有較強的責任心與良好的團隊協(xié)作能力。

第5篇 大數據開發(fā)工程師（渠道團隊）職位描述與崗位職責任職要求

職位描述：

職責描述：

1.參與產品和項目研發(fā)工作，基于spark完成產品大數據架構和功能開發(fā)；

2.搭建和調優(yōu)大數據基礎平臺，包括hadoop/hbase/hive/sqoop/kafka/flume/spark/storm等大數據組件的環(huán)境搭建；

3.維護線上系統(tǒng)的穩(wěn)定性、可靠性，通過分析現象快速定位問題，進而提出優(yōu)化方案，改進要求；

任職要求：

1.計算機相關專業(yè)本科及以上學歷，5年以上大數據工作經驗，有扎實的計算機理論基礎；

2.熟練使用mapreduce、spark提供的api編程，具備海量數據加工處理（etl）相關經驗；

3.熟練使用大數據的工具平臺，熟悉hadoop生態(tài)環(huán)境，對hadoop、spark、storm、hbase、hive等至少一個項目有著深入了解；

4.掌握數據分析的基本流程，具備數據采集、清洗、分析等環(huán)節(jié)的實戰(zhàn)經驗；可以進行數據產品etl需求的調研及開發(fā)；

5.熟悉etl任務調度及管理；

6.熟悉shell命令，進行簡單的shell編程；熟悉linu_文本處理命令，vi、awk、sed等命令

7.熟練使用hadoop或其他分布式平臺的一種，能使用java、python或其他語言編寫mapreduce進行大數據處理優(yōu)先；

8.有大型金融項目經驗者優(yōu)先。'

第6篇 大數據開發(fā)工程師（面向2020年畢業(yè)生）職位描述與崗位職責任職要求

職位描述：

此崗位面向2020年畢業(yè)生，坐標深圳南山科技園，實習期薪資為3.5-4.5k；要求在公司全職實習半年以上，實習滿3個月且評審通過后可簽訂三方協(xié)議，實習滿6個月且評審通過后簽訂勞動合同，無試用期。

崗位職責：

1、從事大數據分布式存儲/應用服務的設計和開發(fā)，挑戰(zhàn)大規(guī)模、高并發(fā)、易運維的分布式系統(tǒng)設計構建；

2、參與負責大數據運營/風控/分析等數據應用產品開發(fā)迭代，包括需求討論需求/系統(tǒng)/算法的討論、設計及實現；

3、定位和解決集群組件如spark、hive、hbase、kafka的性能和高可用問題，協(xié)助集群監(jiān)控系統(tǒng)的開發(fā)。

任職要求：

1、2020年統(tǒng)招本科及以上學歷，計科類相關專業(yè)；

2、良好的計算機基礎；了解面向對象和設計模式，了解 spring ， mybatis 等常用框架，數據庫基礎扎實；

3、對技術有強烈的興趣，喜歡鉆研，具有良好的學習能力、溝通和團隊合作能力。

加分項：

1、熟悉python、ruby等語言；

2、熟練掌握常見linu_ shell命令；

3、喜歡在mac/linu_下進行開發(fā)；

4、有代碼潔癖，看到代碼中的壞味道有渾身不自在的感覺；

5、自我驅動、喜歡coding。

第7篇 大數據開發(fā)工程師（杭州）職位描述與崗位職責任職要求

職位描述：

崗位職責：

1.參與大數據精準學平臺設計與研發(fā)，在大數據采集、存儲、分析及應用領域都會有所涉及。

2.參與需求分析、系統(tǒng)架構設計、并完成需求設計相應文檔的編寫。

3.參與核心代碼實現、系統(tǒng)性能優(yōu)化。

4.保質保量地完成項目組分配的開發(fā)任務。

5.協(xié)助項目經理進行技術支持工作，共同解決產品研發(fā)過程遇到的技術難題。

任職要求：

1. 具備3年及以上大數據系統(tǒng)開發(fā)經驗，計算機相關專業(yè)本科及以上學歷；

2. 有實時流處理經驗，掌握flink、storm等實時處理框架；

3. 熟悉并會使用spark mllib、機器學習、自然語言處理等相關技術和算法；

4. 具有hadoop/spark，以及kafka、flume、hbase、hive、zookeeper等大數據生態(tài)圈實際開發(fā)經驗。深入了解hadoop/spark生態(tài)圈產品的工作原理及應用場景；

5. 具備較強的數據分析，問題分析，邏輯思維能力，良好的溝通，團隊協(xié)作能力。

第8篇 java大數據開發(fā)高級工程師崗位職責職位要求

職責描述：

崗位要求:

1、計算機或相關專業(yè)本科以上學歷，3年以上專業(yè)java開發(fā)經驗，有過大型項目經驗優(yōu)先；

2、精通 jdbc、jsp / ibatis /spring/ struts2等java主流技術；

3、熟悉web容器及主流開源框架，熟悉http的基本工作原理；

4、熟悉io、多線程、集合類等基礎框架，熟悉緩存、消息、搜索等機制；

5、熟悉linu_操作系統(tǒng)，熟悉mysql數據庫；，精通sql語言；

6、有大型項目架構設計開發(fā)和數據庫優(yōu)化經驗優(yōu)先；

7、具有良好的團隊協(xié)作精神，較強的溝通能力，具備良好的問題定位分析能力和新興技術學習能力。

崗位職責：

1.負責研發(fā)公司自主呼叫中心產品；

2.協(xié)助實施部門定位跟蹤產品問題；

3.客戶化項目定制開發(fā)

崗位要求：

學歷要求：大專

語言要求：不限

年齡要求：不限

工作年限：3-5年

第9篇 大數據開發(fā)工程師崗位職責職位要求

職責描述：

崗位職責：

1、運用大數據分析工具和技術解決風險管理業(yè)務中遇到的實際問題與需求，如風險評估、成長評價等，包括對模型進行設計、開發(fā)、驗證、測試、部署及監(jiān)控、優(yōu)化。。

2、基于海量用戶數據和特征，進行數據質量檢查、特征加工、數據清洗等，建立數據挖掘模型。

3、評估數據源的質量和價值，能結合業(yè)務需求和場景，從各種數據維度中挖掘數據價值，并設計不同的模型，應用于不同的業(yè)務場景中。

職位要求：

1. 計算機、統(tǒng)計學相關背景，熟悉常用各類機器學習算法的原理（如邏輯回歸、決策樹、svm、神經網絡、隨機森林、深度學習等）；

2.熟練使用sas、r、python等至少一種分析工具；

3.熟悉大數據分析平臺和工具，如hive，hadoop， spark等優(yōu)先；

4.有較強的邏輯思維能力、優(yōu)秀的溝通表達能力及團隊合作能力。

崗位要求：

學歷要求：本科

語言要求：不限

年齡要求：不限

工作年限：5-7年經驗

第10篇 高級大數據開發(fā)工程師職位描述與崗位職責任職要求

職位描述：

崗位職責：

1. 基于公司大數據產品進行數據開發(fā)，包括數據的采集，清洗，預處理，存儲，建模，分析挖掘等

2. 根據業(yè)務用戶需要分析數據，提供數據支持

3. 參與公司大數據產品的運維和監(jiān)控，保障數據質量和服務穩(wěn)定性

任職要求：

1. 具備本科以上學歷， 計算機， 軟件以及相關專業(yè)， 5年以上大數據開發(fā)經驗

2. 熟悉數據倉庫維度建模， 并能根據客戶需求進行數據開發(fā)， 向模型更新數據

3. 使用過至少一種以上的etl工具

4. 熟練掌握java， 對hadoop相關的技術和組件(hdfs， mr， hbase， hive， spark， storm， kafka等）有全面深入了解

5. 熟練掌握shell或者python中的一種

6. 具備spark開發(fā)經驗者優(yōu)先

7. 具備實時計算(kafka+storm/spark streaming) 經驗者優(yōu)先

8. 具備數據分析和數據挖掘方面經驗者優(yōu)先

第11篇 健康科技中心-高級大數據開發(fā)工程師職位描述與崗位職責任職要求

職位描述：

職位描述：

1. 基于hadoop生態(tài)系統(tǒng)進行大數據平臺建設；

2. 負責各業(yè)務條線相關指標數據的數據建模

3. 負責基于sqoop，hive、spark、sparksql、mysql進行大數據開發(fā)

4. 負責離線運算、實時計算平臺項目的設計、開發(fā)及運維

5. 負責對數據平臺進行性能調優(yōu)

任職要求：

1.統(tǒng)招本科或以上學歷，6年以上大數據開發(fā)工作經驗；

2.熟練掌握shell、python開發(fā)語言；

3.熟練掌握hadoop、hive、hbase、spark、spark sql、storm、sqoop、kafka、flume、sparkmlib等分布式框架原理，有相關的調優(yōu)、運維、開發(fā)經驗；

4.熟練掌握mysql數據庫集群；

5. 精通主流etl開發(fā)工具，如：informatica、data services、kettle;精通主流調度工具，如：azkaban， oozie；

6.有數據倉庫、分析系統(tǒng)、用戶畫像等產品開發(fā)經驗者優(yōu)先；

7.有較強的數據和業(yè)務結合能力；

8.有醫(yī)療或者大健康背景優(yōu)先；

9.有較強的獨立、主動的學習能力，良好的溝通表達能力。

第12篇 數據平臺-大數據開發(fā)套件服務端高級工程師職位描述與崗位職責任職要求

職位描述：

工作職責：

1、面向公司的大數據開發(fā)套件產品設計與研發(fā)，包括大數據任務建設平臺，元數據管理系統(tǒng)，數據質量監(jiān)控平臺，任務運維平臺等

2、參與需求調研與用戶技術支持

3、追求極致，構建業(yè)內領先的數據平臺產品

任職要求：

1、精通java/scala語言，包括jvm、類裝載、線程、并發(fā)、io資源管理、網絡

2、扎實的計算機基礎，對技術有熱情，愿意不斷嘗試新技術和業(yè)務挑戰(zhàn)

3、精通soa架構和微服務架構

4、有 ide 開發(fā)經驗者優(yōu)先考慮

5、熟悉前端技術的全棧開發(fā)工程師優(yōu)先

6、熟悉hadoop ecosystem常用開源框架者優(yōu)先，例如hadoop/flink/spark等

第13篇 大數據開發(fā)工程師-偏數據模型方向-l80542職位描述與崗位職責任職要求

職位描述：

職責描述：

1、參與數據需求的溝通和模型設計；

2、負責大數據平臺的數據需求開發(fā)，包括實時和批量處理；

3、負責不同數據源的接入解析落地的設計開發(fā)工作；

4、負責數據質量監(jiān)控，解決數據運行和質量問題。

任職要求：

1、計算機本科以上學歷，至少有3年數據開發(fā)經驗；

2、精通java/scala/python，至少有3年以上開發(fā)使用經驗；

3、熟悉spark，hive，flink，jstorm等大數據實時計算技術；

4、掌握hive sql，sparksql，es query dsl 等查詢語言；擁有sql性能調優(yōu)經驗；

5、具有較強的業(yè)務理解能力，較強的責任心、團隊合作能力和溝通能力；

6、有過圖數據庫開發(fā)或spark mllib開發(fā)經驗者優(yōu)先考慮。

第14篇 大數據開發(fā)工程師職位描述與崗位職責任職要求

職位描述：

工作職責:

1、根據業(yè)務需求進行數據模型的調研、設計、開發(fā)及驗證工作，并持續(xù)進行模型的優(yōu)化；

2、負責數據模型架構的構建，建立數據抽取、清洗、校驗等數據加工流程規(guī)范及olap多維數據分析模型；

3、持續(xù)對系統(tǒng)的技術架構進行改進和優(yōu)化，提升海量數據的查詢性能和用戶體驗。

任職資格:

1、統(tǒng)招本科或以上學歷，計算機、數據挖掘等相關專業(yè)，工作至少3年以上；

2、熟悉java開發(fā)，有腳本語言（shell，python)開發(fā)經驗者優(yōu)先；

3、至少熟悉一種大數據處理技術，如hadoop、spark；

4、掌握hbase、redis、elastic search等開源大數據存儲技術，并能結合不同的業(yè)務場景深入使用；

5、精通sql，精通mysql、oracle、sql server等一種大型數據庫，以及數據庫的維護和優(yōu)化。

6、熟悉常用java web開發(fā)框架，如：spring、mybatis等；

7、熟悉多線程編程，并對java自帶線程池有一定研究；

8、對解決具有挑戰(zhàn)性的問題充滿激情，具有良好的分析問題和解決問題的能力。

第15篇 大數據開發(fā)工程師（駐場開發(fā)）職位描述與崗位職責任職要求

職位描述：

崗位職責：

（1）根據業(yè)務進行數據需求的調研、設計、開發(fā)及驗證工作，并持續(xù)進行數據業(yè)務的優(yōu)化；

（2）負責大數據整體設計和開發(fā)工作，包括數據接入、清洗、計算、校驗等數據加工流程，并沉淀文檔；

（3）持續(xù)對系統(tǒng)的技術架構進行改進和優(yōu)化，提升海量數據的查詢性能和用戶體驗。

（4）此崗位需駐場開發(fā)半年左右（地點：新疆）

任職資格：

（1）統(tǒng)招本科或以上學歷，計算機、數學等相關專業(yè)，工作至少3年以上；

（2）熟悉java/scala開發(fā)，有腳本語言（shell，python)開發(fā)經驗者優(yōu)先；

（3）至少熟悉一種大數據處理棧技術，如hadoop、spark; 熟悉流計算應用開發(fā)，如spark streaming， flink;熟練掌握大數據生態(tài)各個工具的原理及使用，如hive， sqoop， kafka等

（4）掌握hbase、redis、elastic search等開源大數據存儲技術，并能結合不同的業(yè)務場景深入使用；

（5）熟悉storm，spark streaming，flink，beam至少一種

（6）熟悉kafka，redis，es等相關組件

（7）對解決具有挑戰(zhàn)性的數據問題充滿激情，具有良好的分析問題和解決問題的能力，能夠勝任部分數據分析，挖掘，建模工作。

第16篇 大數據開發(fā)工程師（p7-p8)3職位描述與崗位職責任職要求

職位描述：

崗位職責：

分布式大數據系統(tǒng)開發(fā)、計算性能調優(yōu)、 高性能服務框架設計與開發(fā)；

參與項目的架構設計、評審、技術攻堅及優(yōu)化；

參與系統(tǒng)文檔的撰寫、維護。

任職要求：

本科以上學歷，計算機或相關專業(yè)；

3年以上linu_后臺開發(fā)經驗，有大規(guī)模系統(tǒng)開發(fā)經驗；

精通http、tcp/ip協(xié)議，網絡編程；

熟悉linu_操作系統(tǒng)原理，常用工具；

熟悉常用大數據開源組件；

有高并發(fā)、大容量后臺服務系統(tǒng)設計經驗；

具有良好的學習能力、溝通能力、團隊合作意識；

強烈的責任心與主動性，對所負責工作有owner意識，并能自我驅動成長；

對hadoop、flink、spark、lucene等開源項目有大規(guī)模應用經驗，contributor或者committer優(yōu)先。