- 目錄
-
第1篇 數(shù)據(jù)開(kāi)發(fā)高級(jí)工程師職位描述與崗位職責(zé)任職要求
職位描述：
工作職責(zé)：
1、負(fù)責(zé)數(shù)據(jù)收集、清洗和規(guī)約等工作；
2、提供面向業(yè)務(wù)的數(shù)據(jù)服務(wù)，完成數(shù)據(jù)指標(biāo)的統(tǒng)計(jì)、多維分析和展現(xiàn)；
3、根據(jù)業(yè)務(wù)和產(chǎn)品情況，抽象業(yè)務(wù)邏輯，搭建和開(kāi)發(fā)大數(shù)據(jù)平臺(tái)。
任職要求：
1、統(tǒng)招本科或以上學(xué)歷；
2、精通sql，有較好的sql性能調(diào)優(yōu)經(jīng)驗(yàn)，了解hive/mysql的基本原理和調(diào)優(yōu)策略
3、熟悉常用的數(shù)據(jù)挖掘、分析的工具和方法，熟悉linu_平臺(tái)，精通shell/python/php等腳本語(yǔ)言的一種或多種，編碼基本功扎實(shí) ；
4、精通java開(kāi)發(fā)，熟悉大數(shù)據(jù)處理相關(guān)技術(shù)，有hadoop開(kāi)發(fā)經(jīng)驗(yàn)，掌握mapreduce。
第2篇 大數(shù)據(jù)開(kāi)發(fā)工程師（p7-p8)3職位描述與崗位職責(zé)任職要求
職位描述：
崗位職責(zé)：
分布式大數(shù)據(jù)系統(tǒng)開(kāi)發(fā)、計(jì)算性能調(diào)優(yōu)、 高性能服務(wù)框架設(shè)計(jì)與開(kāi)發(fā)；
參與項(xiàng)目的架構(gòu)設(shè)計(jì)、評(píng)審、技術(shù)攻堅(jiān)及優(yōu)化；
參與系統(tǒng)文檔的撰寫、維護(hù)。
任職要求：
本科以上學(xué)歷，計(jì)算機(jī)或相關(guān)專業(yè)；
3年以上linu_后臺(tái)開(kāi)發(fā)經(jīng)驗(yàn)，有大規(guī)模系統(tǒng)開(kāi)發(fā)經(jīng)驗(yàn)；
精通http、tcp/ip協(xié)議，網(wǎng)絡(luò)編程；
熟悉linu_操作系統(tǒng)原理，常用工具；
熟悉常用大數(shù)據(jù)開(kāi)源組件；
有高并發(fā)、大容量后臺(tái)服務(wù)系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn)；
具有良好的學(xué)習(xí)能力、溝通能力、團(tuán)隊(duì)合作意識(shí)；
強(qiáng)烈的責(zé)任心與主動(dòng)性，對(duì)所負(fù)責(zé)工作有owner意識(shí)，并能自我驅(qū)動(dòng)成長(zhǎng)；
對(duì)hadoop、flink、spark、lucene等開(kāi)源項(xiàng)目有大規(guī)模應(yīng)用經(jīng)驗(yàn)，contributor或者committer優(yōu)先。
第3篇 dmp數(shù)據(jù)開(kāi)發(fā)工程師-核心廣告系統(tǒng)職位描述與崗位職責(zé)任職要求
職位描述：
工作職責(zé)：
1、支撐dmp人群包計(jì)算的業(yè)務(wù)需求，參與服務(wù)端代碼開(kāi)發(fā)；
2、支撐dmp標(biāo)簽的技術(shù)升級(jí)，參與數(shù)據(jù)產(chǎn)出流程性能優(yōu)化；
3、支持dmp大規(guī)模數(shù)據(jù)的計(jì)算和分析。
任職要求：
1、本科及以上學(xué)歷，計(jì)算機(jī)、通信等相關(guān)專業(yè)，1-2年相關(guān)工作經(jīng)驗(yàn)；
2、有良好的數(shù)據(jù)結(jié)構(gòu)、算法基礎(chǔ)和扎實(shí)的編程能力；
3、熟悉python/java/c++/scala其中任意一門或者多門語(yǔ)言;
4、熟悉hadoop/kafka/spark/storm/flink/hive其中的若干技術(shù)；
5、具有良好的團(tuán)隊(duì)溝通意識(shí)和快速學(xué)習(xí)能力;
6、加分項(xiàng): 熟悉大數(shù)據(jù)處理或者dmp業(yè)務(wù).
第4篇 高級(jí)數(shù)據(jù)開(kāi)發(fā)工程師職位描述與崗位職責(zé)任職要求
職位描述：
職責(zé)描述：
1、承擔(dān)現(xiàn)有數(shù)據(jù)平臺(tái)的開(kāi)發(fā)和優(yōu)化工作
2、根據(jù)業(yè)務(wù)需求進(jìn)行數(shù)據(jù)模型的調(diào)研、設(shè)計(jì)、開(kāi)發(fā)及驗(yàn)證工作，并持續(xù)進(jìn)行模型優(yōu)化
3、負(fù)責(zé)數(shù)據(jù)模型架構(gòu)的構(gòu)建，建立數(shù)據(jù)抽取、清洗、校驗(yàn)等數(shù)據(jù)加工流程規(guī)范及olap多維數(shù)據(jù)分析模型
4、負(fù)責(zé)實(shí)時(shí)計(jì)算平臺(tái)搭建。
職位要求：
1、3-5年以上的相關(guān)工作經(jīng)驗(yàn)
2、熟悉分布式計(jì)算平臺(tái)
3、有日志采集，數(shù)據(jù)處理，數(shù)據(jù)倉(cāng)庫(kù)建模，etl等經(jīng)驗(yàn)
4、熟悉java、python、spark開(kāi)發(fā)
5、熟練掌握l(shuí)inu_ shell及sql語(yǔ)言
6、有獨(dú)立負(fù)責(zé)數(shù)據(jù)某一模塊的實(shí)際項(xiàng)目經(jīng)驗(yàn)
7、有過(guò)用戶畫像等方面開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先
8、有實(shí)時(shí)處理開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先
第5篇 大數(shù)據(jù)開(kāi)發(fā)(高級(jí)/資深)工程師職位描述與崗位職責(zé)任職要求
職位描述：
工作職責(zé)：
1、基于海量數(shù)據(jù)，支持業(yè)務(wù)對(duì)數(shù)據(jù)的分析和使用：
2、支持業(yè)務(wù)處理數(shù)據(jù)的流式處理、構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)、分析用戶行為等。
任職要求：
1、有扎實(shí)的編程能力，有優(yōu)秀的設(shè)計(jì)和代碼品位，對(duì)解決具有挑戰(zhàn)性問(wèn)題充滿激情；
2、對(duì)大數(shù)據(jù)處理有豐富的經(jīng)驗(yàn)和廣闊的視野；
3、熟悉常用的開(kāi)源組件：hadoop/hive/spark/storm，并了解其特性和使用場(chǎng)景；
4、優(yōu)秀的溝通理解能力，能快速理解業(yè)務(wù)，用數(shù)據(jù)解讀業(yè)務(wù)；
5、推薦或機(jī)器學(xué)習(xí)相關(guān)的開(kāi)發(fā)工作優(yōu)先。
第6篇 數(shù)據(jù)開(kāi)發(fā)工程師-變現(xiàn)業(yè)務(wù)職位描述與崗位職責(zé)任職要求
職位描述：
工作職責(zé)：
1、基于海量數(shù)據(jù)，支持業(yè)務(wù)對(duì)數(shù)據(jù)的分析和使用；
2、支持業(yè)務(wù)處理數(shù)據(jù)的流式處理、分析客戶行為等。
任職要求：
1、精通至少一門編程語(yǔ)言，熟練運(yùn)用各種常用算法和數(shù)據(jù)結(jié)構(gòu)，有獨(dú)立的實(shí)現(xiàn)能力 ；
2、熟悉常用的開(kāi)源組件：hadoop/hive/spark/storm，并了解其特性和使用場(chǎng)景優(yōu)先；
3、熟悉機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘、數(shù)據(jù)分析、分布式計(jì)算至少某一方面，有較深的理論研究和實(shí)踐經(jīng)驗(yàn)優(yōu)先；
4、數(shù)據(jù)分析、推薦、機(jī)器學(xué)習(xí)、數(shù)據(jù)挖掘相關(guān)的開(kāi)發(fā)工作優(yōu)先。
第7篇 大數(shù)據(jù)開(kāi)發(fā)工程師（數(shù)據(jù)分析、信息安全、前端開(kāi)發(fā)、數(shù)據(jù)對(duì)接）職位描述與崗位職責(zé)任職要求
職位描述：
數(shù)據(jù)分析工程師：
崗位職責(zé)：
1、負(fù)責(zé)結(jié)構(gòu)化數(shù)據(jù)和文本的數(shù)據(jù)處理、建模、分析等工作，如：數(shù)據(jù)清洗、中文分詞、情感分析、文本分類等；
2、負(fù)責(zé)數(shù)據(jù)需求的收集、整理和分析，配合其他同事完成結(jié)構(gòu)化數(shù)據(jù)和文本的需求分析；
3、負(fù)責(zé)分析結(jié)果的可視化展現(xiàn)；
4、負(fù)責(zé)核心算法的設(shè)計(jì)與優(yōu)化。
任職要求：
1、全日制本科畢業(yè)；
2、計(jì)算機(jī)或數(shù)學(xué)或軟件類或統(tǒng)計(jì)相關(guān)專業(yè)；
3、熟悉數(shù)據(jù)挖掘和文本挖掘的理論基礎(chǔ)，掌握統(tǒng)計(jì)模型、機(jī)器學(xué)習(xí)相關(guān)原理；
4、熟悉r/python/java等編程語(yǔ)言，熟悉常用數(shù)據(jù)結(jié)構(gòu)和算法，熟悉正則表達(dá)式的使用。
web前端開(kāi)發(fā)工程師：
崗位職責(zé)：
1、負(fù)責(zé)前端框架設(shè)計(jì)及組件庫(kù)開(kāi)發(fā)、前端開(kāi)發(fā)工作統(tǒng)籌；
2、與后端工程師緊密配合，高效率、高質(zhì)量地完成頁(yè)面展現(xiàn)研發(fā)工作；
3、負(fù)責(zé)對(duì)產(chǎn)品頁(yè)面性能的優(yōu)化和維護(hù)；
4、負(fù)責(zé)數(shù)據(jù)可視化圖表顯示。
任職要求：
1、本科及以上學(xué)歷，專業(yè)不限。3年以上前端開(kāi)發(fā)經(jīng)驗(yàn)；
2、精通html5/css3、_html/_ml，熟悉頁(yè)面架構(gòu)和布局，對(duì)表現(xiàn)與數(shù)據(jù)分離、web語(yǔ)義化等有深刻理解；
3、在多瀏覽器兼容性問(wèn)題及css/javascript性能優(yōu)化方面有一定的經(jīng)驗(yàn)；
4、熟練掌握至少一種前端框架及工具、庫(kù)。如jquery、angular、webpack；
5、有echars、highcahrts、d3js等數(shù)據(jù)可視化框架開(kāi)發(fā)經(jīng)驗(yàn)優(yōu)先。
信息安全架構(gòu)工程師：
崗位職責(zé)：
1、 規(guī)劃車聯(lián)網(wǎng)安全架構(gòu)，不斷完善車聯(lián)網(wǎng)產(chǎn)品的安全規(guī)范和要求，跟進(jìn)、解決存在的安全隱患；
2、 對(duì)上線前的軟件或者車上產(chǎn)品進(jìn)行安全方面驗(yàn)證及測(cè)試；
3、 跟進(jìn)最新漏洞的研究工作，理解漏洞的原理，編制漏洞研究報(bào)告和防范措施；
4、 負(fù)責(zé)行業(yè)/國(guó)家車聯(lián)網(wǎng)汽車網(wǎng)絡(luò)安全部分的技術(shù)及標(biāo)準(zhǔn)規(guī)范的研究工作。
任職要求：
1、本科以上學(xué)歷，信息安全，計(jì)算機(jī)，通信等相關(guān)專業(yè)；
2、 擁有網(wǎng)絡(luò)安全專業(yè)技能，熟悉車載網(wǎng)絡(luò)架構(gòu)，模塊及協(xié)議；
3、 熟悉常見(jiàn)網(wǎng)絡(luò)/車輛安全漏洞，掌握漏洞原理以及解決方案具備獨(dú)立開(kāi)展?jié)B透工作的能力；
4、 熟悉常見(jiàn)黑客攻擊手法，具備對(duì)黑客行為的入侵檢測(cè)能力；
5、 精通安全測(cè)試框架，理解網(wǎng)絡(luò)，應(yīng)用，數(shù)據(jù)等不同層面的安全。
數(shù)據(jù)對(duì)接工程師：
崗位職責(zé)：
1、負(fù)責(zé)內(nèi)部系統(tǒng)的對(duì)接工作；
2、第三方平臺(tái)的數(shù)據(jù)對(duì)接及程序維護(hù)；
3、負(fù)責(zé)各車型的數(shù)據(jù)采集要求整理及規(guī)劃；
4、熟悉數(shù)據(jù)結(jié)構(gòu)和常用算法，有良好的代碼規(guī)范，能對(duì)接入數(shù)據(jù)/系統(tǒng)提出優(yōu)化方案。
任職要求：
1、 本科以上學(xué)歷，信息化項(xiàng)目，計(jì)算機(jī)，無(wú)線傳輸?shù)认嚓P(guān)專業(yè)；
2、擁有信息化相關(guān)技能，熟悉系統(tǒng)間的交互對(duì)接流程；
3、熟悉數(shù)據(jù)庫(kù)的管理及查詢、同步工作；
4、熟悉信息對(duì)接的方式，能用api、視圖等進(jìn)行對(duì)接工作。
第8篇 高級(jí)/資深數(shù)據(jù)開(kāi)發(fā)工程師-網(wǎng)易考拉250職位描述與崗位職責(zé)任職要求
職位描述：
工作職責(zé)：
1、利用海量業(yè)務(wù)數(shù)據(jù)，設(shè)計(jì)數(shù)據(jù)模型，搭建數(shù)據(jù)倉(cāng)庫(kù)；
2、負(fù)責(zé)解決并實(shí)現(xiàn)大數(shù)據(jù)計(jì)算分析需求（離線+實(shí)時(shí)）；
3、負(fù)責(zé)數(shù)據(jù)底層引擎olap產(chǎn)品的設(shè)計(jì)開(kāi)發(fā)工作。
任職要求：
1、本科及以上學(xué)歷，具有較強(qiáng)的編程能力（java/python/sql）；
2、具有數(shù)據(jù)倉(cāng)庫(kù)、海量數(shù)據(jù)計(jì)算，實(shí)時(shí)流式計(jì)算等相關(guān)項(xiàng)目經(jīng)驗(yàn)；
3、掌握hadoop、hive、spark，storm，flink等大數(shù)據(jù)相關(guān)技術(shù)者；
4、優(yōu)秀的數(shù)據(jù)分析和解決問(wèn)題能力，能夠把理論成功應(yīng)用于實(shí)踐；
5、對(duì)數(shù)據(jù)技術(shù)有極強(qiáng)的興趣和熱情。
第9篇 大數(shù)據(jù)開(kāi)發(fā)工程師/專家（p6-p8）3職位描述與崗位職責(zé)任職要求
職位描述：
職責(zé)描述：
1.負(fù)責(zé)時(shí)空位置大數(shù)據(jù)對(duì)外接口后臺(tái)和服務(wù)框架的開(kāi)發(fā)和運(yùn)營(yíng)；
2.負(fù)責(zé)時(shí)空位置大數(shù)據(jù)數(shù)據(jù)中、后臺(tái)的建設(shè)以及數(shù)據(jù)和服務(wù)安全方面的建設(shè)；
任職要求：
1.重點(diǎn)大學(xué)本科以上學(xué)歷，計(jì)算機(jī)及相關(guān)專業(yè)；
2.3年以上相關(guān)工作經(jīng)驗(yàn)，精通算法與數(shù)據(jù)結(jié)構(gòu)，精通c/c++編程語(yǔ)言；
3.精通linu_、uni_編程環(huán)境，熟悉數(shù)據(jù)庫(kù)；
4.精通網(wǎng)絡(luò)編程，有分布式系統(tǒng)開(kāi)發(fā)經(jīng)驗(yàn)，有大平臺(tái)開(kāi)發(fā)經(jīng)驗(yàn)優(yōu)先；
5.熟悉gis和時(shí)空大數(shù)據(jù)處理和管理，有相關(guān)工作經(jīng)驗(yàn)者優(yōu)先，
6.具備優(yōu)秀的獨(dú)立解決問(wèn)題能力， 善于團(tuán)隊(duì)合作，溝通良好，有一定的抗壓能力；
第10篇 高級(jí)大數(shù)據(jù)開(kāi)發(fā)工程師職位描述與崗位職責(zé)任職要求
職位描述：
崗位職責(zé)：
1. 基于公司大數(shù)據(jù)產(chǎn)品進(jìn)行數(shù)據(jù)開(kāi)發(fā)，包括數(shù)據(jù)的采集，清洗，預(yù)處理，存儲(chǔ)，建模，分析挖掘等
2. 根據(jù)業(yè)務(wù)用戶需要分析數(shù)據(jù)，提供數(shù)據(jù)支持
3. 參與公司大數(shù)據(jù)產(chǎn)品的運(yùn)維和監(jiān)控，保障數(shù)據(jù)質(zhì)量和服務(wù)穩(wěn)定性
任職要求：
1. 具備本科以上學(xué)歷， 計(jì)算機(jī)， 軟件以及相關(guān)專業(yè)， 5年以上大數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn)
2. 熟悉數(shù)據(jù)倉(cāng)庫(kù)維度建模， 并能根據(jù)客戶需求進(jìn)行數(shù)據(jù)開(kāi)發(fā)， 向模型更新數(shù)據(jù)
3. 使用過(guò)至少一種以上的etl工具
4. 熟練掌握java， 對(duì)hadoop相關(guān)的技術(shù)和組件(hdfs， mr， hbase， hive， spark， storm， kafka等）有全面深入了解
5. 熟練掌握shell或者python中的一種
6. 具備spark開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先
7. 具備實(shí)時(shí)計(jì)算(kafka+storm/spark streaming) 經(jīng)驗(yàn)者優(yōu)先
8. 具備數(shù)據(jù)分析和數(shù)據(jù)挖掘方面經(jīng)驗(yàn)者優(yōu)先
第11篇 數(shù)據(jù)開(kāi)發(fā)工程師/python/c++（p6-p7）3職位描述與崗位職責(zé)任職要求
職位描述：
職責(zé)描述：
'負(fù)責(zé)內(nèi)部數(shù)據(jù)分析平臺(tái)建設(shè)；
開(kāi)發(fā)數(shù)據(jù)分析算法，提升計(jì)算效率和準(zhǔn)確率；
對(duì)平臺(tái)進(jìn)行運(yùn)營(yíng)，滿足用戶需求。'
任職要求：
'計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷，3年以上工作經(jīng)驗(yàn)；
精通python， c/c++開(kāi)發(fā)，熟悉的常見(jiàn)的設(shè)計(jì)模式；
精通spark，hadoop，es 等大數(shù)據(jù)平臺(tái)的原理，做過(guò)大數(shù)據(jù)分析平臺(tái)項(xiàng)目，對(duì)性能調(diào)優(yōu)有經(jīng)驗(yàn)；
熟悉mysql，postgresql，mogodb，redis等數(shù)據(jù)管理系統(tǒng)；
擁有良好的發(fā)現(xiàn)、分析與解決問(wèn)題的能力，責(zé)任感強(qiáng)、具有團(tuán)隊(duì)精神與服務(wù)意識(shí)；
具有良好的學(xué)習(xí)能力，對(duì)互聯(lián)網(wǎng)的新技術(shù)有很強(qiáng)求知欲望。'
第12篇 后端數(shù)據(jù)開(kāi)發(fā)工程師職位描述與崗位職責(zé)任職要求
職位描述：
職責(zé)描述：
1. 配合產(chǎn)品經(jīng)理，參與數(shù)據(jù)平臺(tái)發(fā)展各階段產(chǎn)品需求分析和功能設(shè)計(jì)；
2. 基于確定的產(chǎn)品功能需求，參與平臺(tái)后端系統(tǒng)架構(gòu)設(shè)計(jì)、接口定義實(shí)現(xiàn)及測(cè)試、構(gòu)建部署和運(yùn)維等各階段工作；
3. 根據(jù)產(chǎn)品或技術(shù)實(shí)現(xiàn)發(fā)展需要，按需進(jìn)行一些新技術(shù)的研究，并評(píng)估將其引入現(xiàn)有平臺(tái)實(shí)現(xiàn)的可行性。
任職要求：
1. 本科及以上學(xué)歷，至少3年及以上的實(shí)際開(kāi)發(fā)經(jīng)驗(yàn)；
2. 熟練掌握c/c++/python/java/go/javascript其中至少2種及以上程序設(shè)計(jì)語(yǔ)言，并且自認(rèn)為具有良好的編程素養(yǎng)；
3. 熟練掌握常用的數(shù)據(jù)結(jié)構(gòu)及算法；
4. 熟悉linu_系統(tǒng)開(kāi)發(fā)，熟悉網(wǎng)絡(luò)編程、文件系統(tǒng)，有分布式系統(tǒng)開(kāi)發(fā)經(jīng)驗(yàn)；
5. 應(yīng)具有熟練的技術(shù)領(lǐng)域相關(guān)的英文文獻(xiàn)閱讀能力；
6. 有良好的溝通能力和團(tuán)隊(duì)合作能力，能夠自主驅(qū)動(dòng)，具備良好的問(wèn)題定位分析能力。
優(yōu)先考慮：
1. 熟悉containerization和virtual machine平臺(tái)和相關(guān)技術(shù)，熟悉docker、kubernetes和kvm等，并具有相關(guān)的實(shí)際運(yùn)用經(jīng)驗(yàn)；
2. 熟悉當(dāng)前主流的云計(jì)算平臺(tái)，如應(yīng)熟悉aws、azure和阿里云其中至少一種平臺(tái)的iaas，并具有相關(guān)的項(xiàng)目經(jīng)驗(yàn)；
3. 有開(kāi)源項(xiàng)目實(shí)際參與經(jīng)驗(yàn)。
第13篇 數(shù)據(jù)開(kāi)發(fā)工程師崗位職責(zé)
數(shù)據(jù)庫(kù)開(kāi)發(fā)工程師 融智投資 深圳市排排網(wǎng)投資管理股份有限公司,排排網(wǎng),私募排排網(wǎng),融智投資,排排網(wǎng) 崗位職責(zé):
1.負(fù)責(zé)數(shù)據(jù)庫(kù)建模及開(kāi)發(fā);
2.負(fù)責(zé)維護(hù)現(xiàn)有公司主站、數(shù)據(jù)中心數(shù)據(jù)庫(kù);
3.負(fù)責(zé)現(xiàn)有數(shù)據(jù)庫(kù)性能及架構(gòu)的優(yōu)化;
4.負(fù)責(zé)解決日常出現(xiàn)的存儲(chǔ)過(guò)程錯(cuò)誤及數(shù)據(jù)錯(cuò)誤,并給出解決方案;
5.負(fù)責(zé)數(shù)據(jù)庫(kù)運(yùn)維工作(同步、建庫(kù));
6.負(fù)責(zé)數(shù)據(jù)庫(kù)技術(shù)架構(gòu);
崗位要求:
1. 擁有5年以上mysql(或oracle)數(shù)據(jù)庫(kù)管理、開(kāi)發(fā)、設(shè)計(jì)及系統(tǒng)支持經(jīng)驗(yàn);
2. 精通sql語(yǔ)法,有能力編寫較復(fù)雜t-sql腳本;
3. 精通mysql的主從復(fù)制,了解至少一種ha方案;
4. 熟悉linu_系統(tǒng)的操作和基本排障方法;
5. 工作踏實(shí),認(rèn)真仔細(xì),善于總結(jié),責(zé)任心強(qiáng) ;
6. 有etl工具開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先考慮;
第14篇 大數(shù)據(jù)開(kāi)發(fā)工程師（渠道團(tuán)隊(duì)）職位描述與崗位職責(zé)任職要求
職位描述：
職責(zé)描述：
1.參與產(chǎn)品和項(xiàng)目研發(fā)工作，基于spark完成產(chǎn)品大數(shù)據(jù)架構(gòu)和功能開(kāi)發(fā)；
2.搭建和調(diào)優(yōu)大數(shù)據(jù)基礎(chǔ)平臺(tái)，包括hadoop/hbase/hive/sqoop/kafka/flume/spark/storm等大數(shù)據(jù)組件的環(huán)境搭建；
3.維護(hù)線上系統(tǒng)的穩(wěn)定性、可靠性，通過(guò)分析現(xiàn)象快速定位問(wèn)題，進(jìn)而提出優(yōu)化方案，改進(jìn)要求；
任職要求：
1.計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷，5年以上大數(shù)據(jù)工作經(jīng)驗(yàn)，有扎實(shí)的計(jì)算機(jī)理論基礎(chǔ)；
2.熟練使用mapreduce、spark提供的api編程，具備海量數(shù)據(jù)加工處理（etl）相關(guān)經(jīng)驗(yàn)；
3.熟練使用大數(shù)據(jù)的工具平臺(tái)，熟悉hadoop生態(tài)環(huán)境，對(duì)hadoop、spark、storm、hbase、hive等至少一個(gè)項(xiàng)目有著深入了解；
4.掌握數(shù)據(jù)分析的基本流程，具備數(shù)據(jù)采集、清洗、分析等環(huán)節(jié)的實(shí)戰(zhàn)經(jīng)驗(yàn)；可以進(jìn)行數(shù)據(jù)產(chǎn)品etl需求的調(diào)研及開(kāi)發(fā)；
5.熟悉etl任務(wù)調(diào)度及管理；
6.熟悉shell命令，進(jìn)行簡(jiǎn)單的shell編程；熟悉linu_文本處理命令，vi、awk、sed等命令
7.熟練使用hadoop或其他分布式平臺(tái)的一種，能使用java、python或其他語(yǔ)言編寫mapreduce進(jìn)行大數(shù)據(jù)處理優(yōu)先；
8.有大型金融項(xiàng)目經(jīng)驗(yàn)者優(yōu)先。'
第15篇 bi數(shù)據(jù)開(kāi)發(fā)工程師崗位職責(zé)
大數(shù)據(jù)bi開(kāi)發(fā)工程師 【崗位職責(zé)】:
1、負(fù)責(zé)業(yè)務(wù)相關(guān)指標(biāo)的梳理和計(jì)算;
2、負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì)和開(kāi)發(fā);
3、負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù) etl 開(kāi)發(fā);
4、上級(jí)交辦的其他任務(wù).
【任職要求】:
1、本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè);
2、3 年以上數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)經(jīng)驗(yàn);
3、熟悉數(shù)據(jù)倉(cāng)庫(kù)理論,能夠根據(jù)業(yè)務(wù)需求進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)開(kāi)發(fā);
4、熟悉 sql 開(kāi)發(fā)并能夠進(jìn)行優(yōu)化;
5、熟練掌握 hive 開(kāi)發(fā),熟悉 hadoop 生態(tài)相關(guān)工具者優(yōu)先;
6、熟悉 shell,python 者優(yōu)先考慮;
6、喜歡鉆研,善于溝通,有團(tuán)隊(duì)合作精神。 【崗位職責(zé)】:
1、負(fù)責(zé)業(yè)務(wù)相關(guān)指標(biāo)的梳理和計(jì)算;
2、負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì)和開(kāi)發(fā);
3、負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù) etl 開(kāi)發(fā);
4、上級(jí)交辦的其他任務(wù).
【任職要求】:
1、本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè);
2、3 年以上數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)經(jīng)驗(yàn);
3、熟悉數(shù)據(jù)倉(cāng)庫(kù)理論,能夠根據(jù)業(yè)務(wù)需求進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)開(kāi)發(fā);
4、熟悉 sql 開(kāi)發(fā)并能夠進(jìn)行優(yōu)化;
5、熟練掌握 hive 開(kāi)發(fā),熟悉 hadoop 生態(tài)相關(guān)工具者優(yōu)先;
6、熟悉 shell,python 者優(yōu)先考慮;
6、喜歡鉆研,善于溝通,有團(tuán)隊(duì)合作精神。
第16篇 大數(shù)據(jù)開(kāi)發(fā)高級(jí)工程師-etl方向職位描述與崗位職責(zé)任職要求
職位描述：
工作職責(zé):
1、 根據(jù)公司數(shù)據(jù)分析需求進(jìn)行基于hadoop 平臺(tái)的項(xiàng)目開(kāi)發(fā)；
2、 根據(jù)需求進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì)，熟練使用kettle工具進(jìn)行etl程序的開(kāi)發(fā)；包括實(shí)時(shí)數(shù)據(jù)加工，計(jì)算，etl，管理， 監(jiān)控等；
3、 負(fù)責(zé)針對(duì)源系統(tǒng)進(jìn)行數(shù)據(jù)抽取、處理、分析等相關(guān)工作，及項(xiàng)目中涉及到的數(shù)據(jù)庫(kù)創(chuàng)建、維護(hù)及提供數(shù)據(jù)接口工作；
4、 負(fù)責(zé)設(shè)計(jì)并優(yōu)化基于hive 的數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)；
5、 制定數(shù)據(jù)庫(kù)備份和恢復(fù)策略及工作流程與規(guī)范。
6、能出具消費(fèi)品品牌制造行業(yè)應(yīng)用的數(shù)據(jù)分析技術(shù)解決方案，并落地。
任職資格:
1．從事數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域至少2年以上，熟悉數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì)與etl開(kāi)發(fā)經(jīng)驗(yàn) ，具備海量數(shù)據(jù)加工處理相關(guān)經(jīng)驗(yàn)；
2. 熟悉數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域知識(shí)和技能者優(yōu)先，包括但不局限于：元數(shù)據(jù)管理、數(shù)據(jù)開(kāi)發(fā)測(cè)試工具與方法、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)管理；
3．有從事分布式數(shù)據(jù)存儲(chǔ)與計(jì)算平臺(tái)應(yīng)用開(kāi)發(fā)經(jīng)驗(yàn)，熟悉hadoop生態(tài)相關(guān)技術(shù)并有相關(guān)實(shí)踐經(jīng)驗(yàn)著優(yōu)先，重點(diǎn)考察hive、hdfs、hbase;
4. 熟練掌握kettlesqoop、data_、airflow等;
5. 有消費(fèi)品品牌制造、零售行業(yè)經(jīng)驗(yàn)，尤其快消品行業(yè)和財(cái)務(wù)領(lǐng)域數(shù)據(jù)項(xiàng)目經(jīng)驗(yàn)者優(yōu)先;
6. 熟悉分布式計(jì)算presto/imapa優(yōu)先;
7．有實(shí)時(shí)計(jì)算方面的經(jīng)驗(yàn)的優(yōu)先。
