- 目錄
崗位職責(zé)是什么
數(shù)據(jù)開(kāi)發(fā),是企業(yè)信息化建設(shè)中的關(guān)鍵角色,主要負(fù)責(zé)構(gòu)建、維護(hù)和優(yōu)化數(shù)據(jù)處理系統(tǒng),以支持業(yè)務(wù)分析、決策制定和流程自動(dòng)化。這個(gè)崗位的核心任務(wù)是確保數(shù)據(jù)的準(zhǔn)確、高效和安全流通,為企業(yè)的數(shù)據(jù)驅(qū)動(dòng)戰(zhàn)略提供堅(jiān)實(shí)的技術(shù)基礎(chǔ)。
崗位職責(zé)要求
1. 熟練掌握sql、python、java等編程語(yǔ)言,具備扎實(shí)的數(shù)據(jù)處理和數(shù)據(jù)庫(kù)管理技能。
2. 深入理解大數(shù)據(jù)技術(shù)棧,如hadoop、spark、hive等,以及云計(jì)算平臺(tái)如aws、azure或google cloud。
3. 具備數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)和etl(提取、轉(zhuǎn)換、加載)流程構(gòu)建經(jīng)驗(yàn)。
4. 熟悉數(shù)據(jù)建模方法,能夠設(shè)計(jì)和實(shí)施高效的數(shù)據(jù)架構(gòu)。
5. 了解數(shù)據(jù)安全和隱私保護(hù)法規(guī),能執(zhí)行數(shù)據(jù)加密和訪問(wèn)控制策略。
6. 具備良好的問(wèn)題解決能力,能夠在復(fù)雜環(huán)境中調(diào)試和優(yōu)化數(shù)據(jù)流程。
7. 良好的溝通技巧,能與業(yè)務(wù)團(tuán)隊(duì)有效協(xié)作,理解業(yè)務(wù)需求并轉(zhuǎn)化為技術(shù)解決方案。
崗位職責(zé)描述
數(shù)據(jù)開(kāi)發(fā)工程師的工作日常包括但不限于:
1. 設(shè)計(jì)和實(shí)現(xiàn)數(shù)據(jù)管道,將各種來(lái)源的數(shù)據(jù)整合到統(tǒng)一的存儲(chǔ)系統(tǒng)中。
2. 維護(hù)和優(yōu)化數(shù)據(jù)處理性能,確保數(shù)據(jù)的實(shí)時(shí)性和準(zhǔn)確性。
3. 與數(shù)據(jù)科學(xué)家合作,搭建實(shí)驗(yàn)環(huán)境,支持?jǐn)?shù)據(jù)分析和機(jī)器學(xué)習(xí)項(xiàng)目。
4. 參與數(shù)據(jù)治理活動(dòng),確保數(shù)據(jù)質(zhì)量和一致性。
5. 建立和維護(hù)數(shù)據(jù)文檔,提供數(shù)據(jù)查詢和報(bào)告服務(wù)。
6. 對(duì)現(xiàn)有數(shù)據(jù)系統(tǒng)進(jìn)行監(jiān)控,及時(shí)發(fā)現(xiàn)和解決問(wèn)題,保證系統(tǒng)的穩(wěn)定運(yùn)行。
有哪些內(nèi)容
1. 技術(shù)實(shí)施:負(fù)責(zé)數(shù)據(jù)集成、清洗、轉(zhuǎn)換和加載的代碼編寫(xiě),確保數(shù)據(jù)流程的穩(wěn)定性和可擴(kuò)展性。
2. 系統(tǒng)優(yōu)化:通過(guò)調(diào)優(yōu)數(shù)據(jù)庫(kù)參數(shù)、優(yōu)化查詢性能,提升數(shù)據(jù)處理效率。
3. 平臺(tái)維護(hù):管理大數(shù)據(jù)處理平臺(tái),定期進(jìn)行軟件更新和硬件維護(hù)。
4. 項(xiàng)目協(xié)作:與業(yè)務(wù)部門、數(shù)據(jù)分析師和數(shù)據(jù)科學(xué)家共同參與項(xiàng)目,提供技術(shù)支持。
5. 規(guī)范制定:參與制定和推行數(shù)據(jù)標(biāo)準(zhǔn)、命名規(guī)則和最佳實(shí)踐。
6. 培訓(xùn)指導(dǎo):為團(tuán)隊(duì)成員提供技術(shù)指導(dǎo)和培訓(xùn),提升整體技術(shù)水平。
7. 應(yīng)急響應(yīng):快速響應(yīng)數(shù)據(jù)相關(guān)的問(wèn)題,及時(shí)修復(fù)故障,防止數(shù)據(jù)損失。
作為一個(gè)數(shù)據(jù)開(kāi)發(fā)工程師,不僅需要深厚的技術(shù)功底,還需要對(duì)業(yè)務(wù)有深入的理解,以便將技術(shù)優(yōu)勢(shì)轉(zhuǎn)化為企業(yè)的競(jìng)爭(zhēng)優(yōu)勢(shì)。在這個(gè)數(shù)據(jù)日益重要的時(shí)代,數(shù)據(jù)開(kāi)發(fā)的角色愈發(fā)關(guān)鍵,為企業(yè)決策提供強(qiáng)有力的數(shù)據(jù)支撐。
數(shù)據(jù)開(kāi)發(fā)崗位職責(zé)范文
第1篇 java大數(shù)據(jù)開(kāi)發(fā)工程師職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
1. 精通java開(kāi)發(fā)、熟悉restful和maven,精通主流java web開(kāi)發(fā)框架spring、spring boot、spring data jpa、logback、mybatis;
2.熟悉對(duì)常用關(guān)系型數(shù)據(jù)庫(kù)和hdfs、hive,kafka、storm等讀寫(xiě)操作,性能優(yōu)化;
3. 具備系統(tǒng)架構(gòu)設(shè)計(jì)能力,具備較強(qiáng)的java程序調(diào)優(yōu)能力及數(shù)據(jù)庫(kù)設(shè)計(jì)和sql調(diào)優(yōu)能力,具備良好的溝通能力;
4. 熟悉多線程編程、熟悉junit單元測(cè)試;
第2篇 大數(shù)據(jù)開(kāi)發(fā)高級(jí)工程師-etl方向職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、 根據(jù)公司數(shù)據(jù)分析需求進(jìn)行基于hadoop 平臺(tái)的項(xiàng)目開(kāi)發(fā);
2、 根據(jù)需求進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì),熟練使用kettle工具進(jìn)行etl程序的開(kāi)發(fā);包括實(shí)時(shí)數(shù)據(jù)加工,計(jì)算,etl,管理, 監(jiān)控等;
3、 負(fù)責(zé)針對(duì)源系統(tǒng)進(jìn)行數(shù)據(jù)抽取、處理、分析等相關(guān)工作,及項(xiàng)目中涉及到的數(shù)據(jù)庫(kù)創(chuàng)建、維護(hù)及提供數(shù)據(jù)接口工作;
4、 負(fù)責(zé)設(shè)計(jì)并優(yōu)化基于hive 的數(shù)據(jù)倉(cāng)庫(kù)的建設(shè);
5、 制定數(shù)據(jù)庫(kù)備份和恢復(fù)策略及工作流程與規(guī)范。
6、能出具消費(fèi)品品牌制造行業(yè)應(yīng)用的數(shù)據(jù)分析技術(shù)解決方案,并落地。
任職資格:
1.從事數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域至少2年以上,熟悉數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì)與etl開(kāi)發(fā)經(jīng)驗(yàn) ,具備海量數(shù)據(jù)加工處理相關(guān)經(jīng)驗(yàn);
2. 熟悉數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域知識(shí)和技能者優(yōu)先,包括但不局限于:元數(shù)據(jù)管理、數(shù)據(jù)開(kāi)發(fā)測(cè)試工具與方法、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)管理;
3.有從事分布式數(shù)據(jù)存儲(chǔ)與計(jì)算平臺(tái)應(yīng)用開(kāi)發(fā)經(jīng)驗(yàn),熟悉hadoop生態(tài)相關(guān)技術(shù)并有相關(guān)實(shí)踐經(jīng)驗(yàn)著優(yōu)先,重點(diǎn)考察hive、hdfs、hbase;
4. 熟練掌握kettlesqoop、data_、airflow等;
5. 有消費(fèi)品品牌制造、零售行業(yè)經(jīng)驗(yàn),尤其快消品行業(yè)和財(cái)務(wù)領(lǐng)域數(shù)據(jù)項(xiàng)目經(jīng)驗(yàn)者優(yōu)先;
6. 熟悉分布式計(jì)算presto/imapa優(yōu)先;
7.有實(shí)時(shí)計(jì)算方面的經(jīng)驗(yàn)的優(yōu)先。
第3篇 高級(jí)數(shù)據(jù)開(kāi)發(fā)工程師職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
1、承擔(dān)現(xiàn)有數(shù)據(jù)平臺(tái)的開(kāi)發(fā)和優(yōu)化工作
2、根據(jù)業(yè)務(wù)需求進(jìn)行數(shù)據(jù)模型的調(diào)研、設(shè)計(jì)、開(kāi)發(fā)及驗(yàn)證工作,并持續(xù)進(jìn)行模型優(yōu)化
3、負(fù)責(zé)數(shù)據(jù)模型架構(gòu)的構(gòu)建,建立數(shù)據(jù)抽取、清洗、校驗(yàn)等數(shù)據(jù)加工流程規(guī)范及olap多維數(shù)據(jù)分析模型
4、負(fù)責(zé)實(shí)時(shí)計(jì)算平臺(tái)搭建。
職位要求:
1、3-5年以上的相關(guān)工作經(jīng)驗(yàn)
2、熟悉分布式計(jì)算平臺(tái)
3、有日志采集,數(shù)據(jù)處理,數(shù)據(jù)倉(cāng)庫(kù)建模,etl等經(jīng)驗(yàn)
4、熟悉java、python、spark開(kāi)發(fā)
5、熟練掌握l(shuí)inu_ shell及sql語(yǔ)言
6、有獨(dú)立負(fù)責(zé)數(shù)據(jù)某一模塊的實(shí)際項(xiàng)目經(jīng)驗(yàn)
7、有過(guò)用戶畫(huà)像等方面開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先
8、有實(shí)時(shí)處理開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先
第4篇 數(shù)據(jù)開(kāi)發(fā)負(fù)責(zé)人職位描述與崗位職責(zé)任職要求
職位描述:
崗位職責(zé):
1、負(fù)責(zé)集團(tuán)基礎(chǔ)數(shù)據(jù)平臺(tái)架構(gòu)并實(shí)施建設(shè)開(kāi)發(fā);
2、負(fù)責(zé)構(gòu)建設(shè)計(jì)良好的信息源數(shù)據(jù)采集、傳輸、存儲(chǔ)、計(jì)算、分析和挖掘技術(shù)實(shí)施方案;
3、實(shí)現(xiàn)優(yōu)化調(diào)度系統(tǒng)、查詢引擎、數(shù)據(jù)工具等降低數(shù)據(jù)的使用門檻,保證平臺(tái)穩(wěn)定高效運(yùn)行;
3、負(fù)責(zé)應(yīng)對(duì)處理每天千億增量的玩家行為數(shù)據(jù);
4、負(fù)責(zé)對(duì)接并支持業(yè)務(wù)系統(tǒng)的數(shù)據(jù)分析工作,支持對(duì)內(nèi)對(duì)外部數(shù)據(jù)進(jìn)行梳理、整合及共享;
任職要求:
1、計(jì)算機(jī)或數(shù)學(xué)相關(guān)專業(yè),3年以上數(shù)據(jù)從業(yè)經(jīng)驗(yàn);
2、深入hadoop大數(shù)據(jù)生態(tài)體系,對(duì)包括flume、kafka、hbase、hive、spark等有深刻理解,了解過(guò)flink、impala、kylin等;
3、精通kafka/redis/rabbitmq等其中至少一種消息隊(duì)列技術(shù),擅長(zhǎng)mysql存儲(chǔ)原理及索引優(yōu)化;
4、有過(guò)支撐每日億級(jí)別數(shù)據(jù)處理經(jīng)驗(yàn),在離線數(shù)據(jù)處理、在線檢索方面有豐富的經(jīng)驗(yàn),了解集群管理、資源調(diào)度等綜合實(shí)現(xiàn);
5、熟練使用scala/java/python開(kāi)發(fā),具有較強(qiáng)的數(shù)據(jù)敏感性,熟悉web開(kāi)發(fā)技術(shù),有游戲相關(guān)數(shù)據(jù)處理與分析平臺(tái)開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先。
第5篇 大數(shù)據(jù)開(kāi)發(fā)專家職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
任職要求:
1. 負(fù)責(zé)完成大數(shù)據(jù)基礎(chǔ)組件的封裝,大數(shù)據(jù)技術(shù)使用規(guī)范的定義;
2. 負(fù)責(zé)對(duì)業(yè)務(wù)開(kāi)發(fā)團(tuán)隊(duì)進(jìn)行大數(shù)據(jù)技術(shù)的培訓(xùn)與開(kāi)發(fā)指導(dǎo);
3. 負(fù)責(zé)對(duì)公司產(chǎn)品已有的大數(shù)據(jù)架構(gòu),不斷改進(jìn)完善;
4. 負(fù)責(zé)跟進(jìn)大數(shù)據(jù)前沿技術(shù)的發(fā)展,根據(jù)業(yè)務(wù)需要完成公司大數(shù)據(jù)架構(gòu)的演進(jìn)。
5. 負(fù)責(zé)解決重大疑難問(wèn)題,有開(kāi)源組件的bug fi_ 經(jīng)驗(yàn)者優(yōu)先
職位要求:
1. 熟練掌握java開(kāi)發(fā)語(yǔ)言,有4年以上大數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn);
2. 對(duì)數(shù)據(jù)敏感,有較強(qiáng)的邏輯分析能力,對(duì) (大) 數(shù)據(jù)處理和分析有多年從事經(jīng)驗(yàn),有復(fù)雜業(yè)務(wù)和算法的數(shù)據(jù)平臺(tái)建設(shè)經(jīng)驗(yàn);
3. 有分布式數(shù)據(jù)存儲(chǔ)和流式計(jì)算開(kāi)發(fā)經(jīng)驗(yàn),熟悉hadoop生態(tài)相關(guān)技術(shù)及各種大數(shù)據(jù)計(jì)算框架,熟練使用flink、
hadoop、spark、hdfs、hbase、kafka、elasticsearch、solr,druid有優(yōu)化經(jīng)驗(yàn)者優(yōu)先;
4. 對(duì)實(shí)時(shí)指標(biāo)的開(kāi)發(fā)和架構(gòu)經(jīng)驗(yàn)者優(yōu)先;
5. 有較強(qiáng)的技術(shù)好奇心和求知欲,有技術(shù)總結(jié)的習(xí)慣(如寫(xiě)技術(shù)博客);
第6篇 大數(shù)據(jù)開(kāi)發(fā)工程師(數(shù)據(jù)分析、信息安全、前端開(kāi)發(fā)、數(shù)據(jù)對(duì)接)職位描述與崗位職責(zé)任職要求
職位描述:
數(shù)據(jù)分析工程師:
崗位職責(zé):
1、負(fù)責(zé)結(jié)構(gòu)化數(shù)據(jù)和文本的數(shù)據(jù)處理、建模、分析等工作,如:數(shù)據(jù)清洗、中文分詞、情感分析、文本分類等;
2、負(fù)責(zé)數(shù)據(jù)需求的收集、整理和分析,配合其他同事完成結(jié)構(gòu)化數(shù)據(jù)和文本的需求分析;
3、負(fù)責(zé)分析結(jié)果的可視化展現(xiàn);
4、負(fù)責(zé)核心算法的設(shè)計(jì)與優(yōu)化。
任職要求:
1、全日制本科畢業(yè);
2、計(jì)算機(jī)或數(shù)學(xué)或軟件類或統(tǒng)計(jì)相關(guān)專業(yè);
3、熟悉數(shù)據(jù)挖掘和文本挖掘的理論基礎(chǔ),掌握統(tǒng)計(jì)模型、機(jī)器學(xué)習(xí)相關(guān)原理;
4、熟悉r/python/java等編程語(yǔ)言,熟悉常用數(shù)據(jù)結(jié)構(gòu)和算法,熟悉正則表達(dá)式的使用。
web前端開(kāi)發(fā)工程師:
崗位職責(zé):
1、負(fù)責(zé)前端框架設(shè)計(jì)及組件庫(kù)開(kāi)發(fā)、前端開(kāi)發(fā)工作統(tǒng)籌;
2、與后端工程師緊密配合,高效率、高質(zhì)量地完成頁(yè)面展現(xiàn)研發(fā)工作;
3、負(fù)責(zé)對(duì)產(chǎn)品頁(yè)面性能的優(yōu)化和維護(hù);
4、負(fù)責(zé)數(shù)據(jù)可視化圖表顯示。
任職要求:
1、本科及以上學(xué)歷,專業(yè)不限。3年以上前端開(kāi)發(fā)經(jīng)驗(yàn);
2、精通html5/css3、_html/_ml,熟悉頁(yè)面架構(gòu)和布局,對(duì)表現(xiàn)與數(shù)據(jù)分離、web語(yǔ)義化等有深刻理解;
3、在多瀏覽器兼容性問(wèn)題及css/javascript性能優(yōu)化方面有一定的經(jīng)驗(yàn);
4、熟練掌握至少一種前端框架及工具、庫(kù)。如jquery、angular、webpack;
5、有echars、highcahrts、d3js等數(shù)據(jù)可視化框架開(kāi)發(fā)經(jīng)驗(yàn)優(yōu)先。
信息安全架構(gòu)工程師:
崗位職責(zé):
1、 規(guī)劃車聯(lián)網(wǎng)安全架構(gòu),不斷完善車聯(lián)網(wǎng)產(chǎn)品的安全規(guī)范和要求,跟進(jìn)、解決存在的安全隱患;
2、 對(duì)上線前的軟件或者車上產(chǎn)品進(jìn)行安全方面驗(yàn)證及測(cè)試;
3、 跟進(jìn)最新漏洞的研究工作,理解漏洞的原理,編制漏洞研究報(bào)告和防范措施;
4、 負(fù)責(zé)行業(yè)/國(guó)家車聯(lián)網(wǎng)汽車網(wǎng)絡(luò)安全部分的技術(shù)及標(biāo)準(zhǔn)規(guī)范的研究工作。
任職要求:
1、本科以上學(xué)歷,信息安全,計(jì)算機(jī),通信等相關(guān)專業(yè);
2、 擁有網(wǎng)絡(luò)安全專業(yè)技能,熟悉車載網(wǎng)絡(luò)架構(gòu),模塊及協(xié)議;
3、 熟悉常見(jiàn)網(wǎng)絡(luò)/車輛安全漏洞,掌握漏洞原理以及解決方案具備獨(dú)立開(kāi)展?jié)B透工作的能力;
4、 熟悉常見(jiàn)黑客攻擊手法,具備對(duì)黑客行為的入侵檢測(cè)能力;
5、 精通安全測(cè)試框架,理解網(wǎng)絡(luò),應(yīng)用,數(shù)據(jù)等不同層面的安全。
數(shù)據(jù)對(duì)接工程師:
崗位職責(zé):
1、負(fù)責(zé)內(nèi)部系統(tǒng)的對(duì)接工作;
2、第三方平臺(tái)的數(shù)據(jù)對(duì)接及程序維護(hù);
3、負(fù)責(zé)各車型的數(shù)據(jù)采集要求整理及規(guī)劃;
4、熟悉數(shù)據(jù)結(jié)構(gòu)和常用算法,有良好的代碼規(guī)范,能對(duì)接入數(shù)據(jù)/系統(tǒng)提出優(yōu)化方案。
任職要求:
1、 本科以上學(xué)歷,信息化項(xiàng)目,計(jì)算機(jī),無(wú)線傳輸?shù)认嚓P(guān)專業(yè);
2、擁有信息化相關(guān)技能,熟悉系統(tǒng)間的交互對(duì)接流程;
3、熟悉數(shù)據(jù)庫(kù)的管理及查詢、同步工作;
4、熟悉信息對(duì)接的方式,能用api、視圖等進(jìn)行對(duì)接工作。
第7篇 大數(shù)據(jù)開(kāi)發(fā)工程師-偏數(shù)據(jù)模型方向-l80542職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
1、參與數(shù)據(jù)需求的溝通和模型設(shè)計(jì);
2、負(fù)責(zé)大數(shù)據(jù)平臺(tái)的數(shù)據(jù)需求開(kāi)發(fā),包括實(shí)時(shí)和批量處理;
3、負(fù)責(zé)不同數(shù)據(jù)源的接入解析落地的設(shè)計(jì)開(kāi)發(fā)工作;
4、負(fù)責(zé)數(shù)據(jù)質(zhì)量監(jiān)控,解決數(shù)據(jù)運(yùn)行和質(zhì)量問(wèn)題。
任職要求:
1、計(jì)算機(jī)本科以上學(xué)歷,至少有3年數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn);
2、精通java/scala/python,至少有3年以上開(kāi)發(fā)使用經(jīng)驗(yàn);
3、熟悉spark,hive,flink,jstorm等大數(shù)據(jù)實(shí)時(shí)計(jì)算技術(shù);
4、掌握hive sql,sparksql,es query dsl 等查詢語(yǔ)言;擁有sql性能調(diào)優(yōu)經(jīng)驗(yàn);
5、具有較強(qiáng)的業(yè)務(wù)理解能力,較強(qiáng)的責(zé)任心、團(tuán)隊(duì)合作能力和溝通能力;
6、有過(guò)圖數(shù)據(jù)庫(kù)開(kāi)發(fā)或spark mllib開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先考慮。
第8篇 oracle 數(shù)據(jù)開(kāi)發(fā)工程師職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1. 數(shù)據(jù)倉(cāng)庫(kù)和業(yè)務(wù)數(shù)據(jù)集市建設(shè)
2. 業(yè)務(wù)模型抽象、數(shù)據(jù)模型設(shè)計(jì)開(kāi)發(fā)
3. 支持業(yè)務(wù)的數(shù)據(jù)需求,跟pm一起完善業(yè)務(wù)的數(shù)據(jù)分析體系和工具
4. etl、數(shù)據(jù)應(yīng)用和服務(wù)的設(shè)計(jì)開(kāi)發(fā)
5. 積累數(shù)據(jù)生產(chǎn)、分析工具,不斷提高數(shù)據(jù)生產(chǎn)效率
6. 實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)、開(kāi)發(fā)與服務(wù)
崗位要求:
1. 快速的業(yè)務(wù)學(xué)習(xí)和理解能力,有良好的自驅(qū)能力,對(duì)工作充滿熱情
2. 熟悉數(shù)據(jù)倉(cāng)庫(kù)各類模型建模理論,了解數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)分層架構(gòu),熟悉多維數(shù)據(jù)模型設(shè)計(jì)
3. 具備大型數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)設(shè)計(jì)、模型設(shè)計(jì)、etl設(shè)計(jì)的相關(guān)經(jīng)驗(yàn)
4. 精通oracle數(shù)據(jù)庫(kù)技術(shù),深刻理解數(shù)據(jù)庫(kù)/oracle特性,有過(guò)硬的sql能力,能編寫(xiě)高性能的數(shù)據(jù)處理程序。
5. 具備hadoop、hive、hbase,spark等大數(shù)據(jù)技術(shù)背景,并具有開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先
6. 具備海量數(shù)據(jù)處理經(jīng)驗(yàn)者優(yōu)先
第9篇 大數(shù)據(jù)開(kāi)發(fā)主管職位描述與崗位職責(zé)任職要求
職位描述:
崗位職責(zé):
負(fù)責(zé)大數(shù)據(jù)平臺(tái)項(xiàng)目架構(gòu)設(shè)計(jì);
負(fù)責(zé)與客戶進(jìn)行具體業(yè)務(wù)需求溝通,引導(dǎo)客戶需求并確認(rèn);
負(fù)責(zé)需求分析以及平臺(tái)設(shè)計(jì)、數(shù)據(jù)模型設(shè)計(jì)工作,并輸出相關(guān)文檔,與第三方進(jìn)行溝通,并確認(rèn)項(xiàng)目關(guān)鍵節(jié)點(diǎn)進(jìn)度。
任職要求:
國(guó)家正規(guī)院校統(tǒng)招本科以上學(xué)歷,有5年以上工作經(jīng)驗(yàn),至少1年以上大數(shù)據(jù)架構(gòu)師工作經(jīng)驗(yàn)、熟悉大數(shù)據(jù)平臺(tái)項(xiàng)目的操作流程;
熟練掌握python、hadoop、spark、kafka等工具;
較好的溝通理解能力和主動(dòng)性。
第10篇 數(shù)據(jù)開(kāi)發(fā)工程師崗位職責(zé)
數(shù)據(jù)庫(kù)開(kāi)發(fā)工程師 融智投資 深圳市排排網(wǎng)投資管理股份有限公司,排排網(wǎng),私募排排網(wǎng),融智投資,排排網(wǎng) 崗位職責(zé):
1.負(fù)責(zé)數(shù)據(jù)庫(kù)建模及開(kāi)發(fā);
2.負(fù)責(zé)維護(hù)現(xiàn)有公司主站、數(shù)據(jù)中心數(shù)據(jù)庫(kù);
3.負(fù)責(zé)現(xiàn)有數(shù)據(jù)庫(kù)性能及架構(gòu)的優(yōu)化;
4.負(fù)責(zé)解決日常出現(xiàn)的存儲(chǔ)過(guò)程錯(cuò)誤及數(shù)據(jù)錯(cuò)誤,并給出解決方案;
5.負(fù)責(zé)數(shù)據(jù)庫(kù)運(yùn)維工作(同步、建庫(kù));
6.負(fù)責(zé)數(shù)據(jù)庫(kù)技術(shù)架構(gòu);
崗位要求:
1. 擁有5年以上mysql(或oracle)數(shù)據(jù)庫(kù)管理、開(kāi)發(fā)、設(shè)計(jì)及系統(tǒng)支持經(jīng)驗(yàn);
2. 精通sql語(yǔ)法,有能力編寫(xiě)較復(fù)雜t-sql腳本;
3. 精通mysql的主從復(fù)制,了解至少一種ha方案;
4. 熟悉linu_系統(tǒng)的操作和基本排障方法;
5. 工作踏實(shí),認(rèn)真仔細(xì),善于總結(jié),責(zé)任心強(qiáng) ;
6. 有etl工具開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先考慮;
第11篇 python數(shù)據(jù)開(kāi)發(fā)工程師崗位職責(zé)職位要求
職責(zé)描述:
要求:
1. 計(jì)算機(jī)以及相關(guān)專業(yè)本科畢業(yè)。碩士從優(yōu)。
2. 有責(zé)任心和領(lǐng)導(dǎo)力,能夠獨(dú)立開(kāi)展工作。
3. 1-3年以上軟件開(kāi)發(fā)經(jīng)驗(yàn)
4. 能夠快速學(xué)習(xí)吸收新知識(shí)
5. 熟練掌握python
6. 對(duì)軟件系統(tǒng)的可擴(kuò)展性和性能效率有足夠的理解。
7. 對(duì)以下的幾種技術(shù)有較好的理解:mongodb, elastic seaerch,redis, git/github
8. 有很好的溝通書(shū)面和口頭能力,具有良好的英語(yǔ)溝通能力優(yōu)先。
9. 對(duì)現(xiàn)代軟件開(kāi)發(fā)流程比較熟悉,包括:agile/scrum, unit test and continuous integration.
10. 具有面向消費(fèi)者的應(yīng)用(包括網(wǎng)站)開(kāi)發(fā)經(jīng)驗(yàn)的優(yōu)先。
11. 能夠在linu_ 環(huán)境下工作
崗位要求:
學(xué)歷要求:本科及以上
語(yǔ)言要求:不限
年齡要求:不限
工作年限:經(jīng)驗(yàn)1-3年
第12篇 大數(shù)據(jù)開(kāi)發(fā)工程師崗位職責(zé)職位要求
職責(zé)描述:
崗位職責(zé):
1、運(yùn)用大數(shù)據(jù)分析工具和技術(shù)解決風(fēng)險(xiǎn)管理業(yè)務(wù)中遇到的實(shí)際問(wèn)題與需求,如風(fēng)險(xiǎn)評(píng)估、成長(zhǎng)評(píng)價(jià)等,包括對(duì)模型進(jìn)行設(shè)計(jì)、開(kāi)發(fā)、驗(yàn)證、測(cè)試、部署及監(jiān)控、優(yōu)化。。
2、基于海量用戶數(shù)據(jù)和特征,進(jìn)行數(shù)據(jù)質(zhì)量檢查、特征加工、數(shù)據(jù)清洗等,建立數(shù)據(jù)挖掘模型。
3、評(píng)估數(shù)據(jù)源的質(zhì)量和價(jià)值,能結(jié)合業(yè)務(wù)需求和場(chǎng)景,從各種數(shù)據(jù)維度中挖掘數(shù)據(jù)價(jià)值,并設(shè)計(jì)不同的模型,應(yīng)用于不同的業(yè)務(wù)場(chǎng)景中。
職位要求:
1. 計(jì)算機(jī)、統(tǒng)計(jì)學(xué)相關(guān)背景,熟悉常用各類機(jī)器學(xué)習(xí)算法的原理(如邏輯回歸、決策樹(shù)、svm、神經(jīng)網(wǎng)絡(luò)、隨機(jī)森林、深度學(xué)習(xí)等);
2.熟練使用sas、r、python等至少一種分析工具;
3.熟悉大數(shù)據(jù)分析平臺(tái)和工具,如hive,hadoop, spark等優(yōu)先;
4.有較強(qiáng)的邏輯思維能力、優(yōu)秀的溝通表達(dá)能力及團(tuán)隊(duì)合作能力。
崗位要求:
學(xué)歷要求:本科
語(yǔ)言要求:不限
年齡要求:不限
工作年限:5-7年經(jīng)驗(yàn)
第13篇 大數(shù)據(jù)開(kāi)發(fā)總監(jiān)崗位職責(zé)大數(shù)據(jù)開(kāi)發(fā)總監(jiān)職責(zé)任職要求
大數(shù)據(jù)開(kāi)發(fā)總監(jiān)崗位職責(zé)
大數(shù)據(jù)開(kāi)發(fā)總監(jiān) 主要職責(zé)
1. 帶領(lǐng)大數(shù)據(jù)團(tuán)隊(duì),包括數(shù)據(jù)建設(shè)、數(shù)據(jù)質(zhì)量治理、數(shù)據(jù)應(yīng)用和數(shù)據(jù)產(chǎn)品;
2. 設(shè)計(jì)并優(yōu)化公司大數(shù)據(jù)架構(gòu),包括數(shù)據(jù)建設(shè)流、數(shù)倉(cāng)模型、數(shù)據(jù)集市架構(gòu);
3. 構(gòu)建數(shù)據(jù)質(zhì)量保障體系,包括全流程監(jiān)控、預(yù)警和數(shù)據(jù)快速恢復(fù)、數(shù)據(jù)質(zhì)量評(píng)估
4. 完善數(shù)據(jù)應(yīng)用體系,包括數(shù)據(jù)產(chǎn)品構(gòu)建、數(shù)據(jù)分析需求響應(yīng)、數(shù)據(jù)集市
5. 數(shù)據(jù)工程架構(gòu)迭代,包括實(shí)時(shí)流、權(quán)限管理、調(diào)度、應(yīng)用輸出等 主要職責(zé)
1. 帶領(lǐng)大數(shù)據(jù)團(tuán)隊(duì),包括數(shù)據(jù)建設(shè)、數(shù)據(jù)質(zhì)量治理、數(shù)據(jù)應(yīng)用和數(shù)據(jù)產(chǎn)品;
2. 設(shè)計(jì)并優(yōu)化公司大數(shù)據(jù)架構(gòu),包括數(shù)據(jù)建設(shè)流、數(shù)倉(cāng)模型、數(shù)據(jù)集市架構(gòu);
3. 構(gòu)建數(shù)據(jù)質(zhì)量保障體系,包括全流程監(jiān)控、預(yù)警和數(shù)據(jù)快速恢復(fù)、數(shù)據(jù)質(zhì)量評(píng)估
4. 完善數(shù)據(jù)應(yīng)用體系,包括數(shù)據(jù)產(chǎn)品構(gòu)建、數(shù)據(jù)分析需求響應(yīng)、數(shù)據(jù)集市
5. 數(shù)據(jù)工程架構(gòu)迭代,包括實(shí)時(shí)流、權(quán)限管理、調(diào)度、應(yīng)用輸出等
第14篇 數(shù)據(jù)開(kāi)發(fā)崗職位描述與崗位職責(zé)任職要求
職位描述:
數(shù)據(jù)開(kāi)發(fā)崗(1-2名)
1.崗位職責(zé):
(1)負(fù)責(zé)大數(shù)據(jù)應(yīng)用、數(shù)據(jù)采集加工、數(shù)據(jù)分析等領(lǐng)域的開(kāi)發(fā)工作;
(2)參與大數(shù)據(jù)應(yīng)用項(xiàng)目的建設(shè),包括項(xiàng)目開(kāi)發(fā)及項(xiàng)目管理等工作;
(3)負(fù)責(zé)大數(shù)據(jù)領(lǐng)域的技術(shù)應(yīng)用趨勢(shì)跟蹤,進(jìn)行技術(shù),促進(jìn)大數(shù)據(jù)應(yīng)用能力提升。
2.能力要求:
(1)計(jì)算機(jī)、數(shù)學(xué)或物理等相關(guān)專業(yè),本科及以上學(xué)歷;
(2)熟悉數(shù)據(jù)庫(kù)理論,了解或熟悉一種或多種sql/nosql數(shù)據(jù)庫(kù),熟練掌握sql語(yǔ)句;
(3)了解或熟悉數(shù)據(jù)倉(cāng)庫(kù)建模、hadoop平臺(tái)架構(gòu)、流式處理技術(shù)以及海量數(shù)據(jù)采集與集中處理技術(shù);
(4)至少熟悉一種或以上的開(kāi)發(fā)語(yǔ)言,包括java、python、r等開(kāi)發(fā)語(yǔ)言;
(5)誠(chéng)實(shí)正直,工作責(zé)任心強(qiáng),具備良好的團(tuán)隊(duì)合作意識(shí),以及良好的溝通能力,積極上進(jìn),能夠承擔(dān)壓力、接受挑戰(zhàn)。
第15篇 sql數(shù)據(jù)開(kāi)發(fā)崗位職責(zé)
sql數(shù)據(jù)庫(kù)開(kāi)發(fā)工程師-北京 工作職責(zé):
1. 負(fù)責(zé)中國(guó)銀行內(nèi)部業(yè)務(wù)的軟件開(kāi)發(fā),能按時(shí)完成項(xiàng)目經(jīng)理安排的需求及功能模塊開(kāi)發(fā)
2. 有一定的針對(duì)代碼重用性、擴(kuò)展性設(shè)計(jì)的經(jīng)驗(yàn)和能力
任職要求:
1、 熟悉sqlserver 相關(guān)的數(shù)據(jù)庫(kù)性能調(diào)優(yōu),數(shù)據(jù)抽取,清理等操作。
2、 熟悉ssis、ssas、ssrs;
3、 熟悉isqlserver____年下的sql編寫(xiě),善于sql性能調(diào)優(yōu);
4、 能夠快速適應(yīng)現(xiàn)有的成熟系統(tǒng)框架,較強(qiáng)的代碼閱讀能力,良好的代碼規(guī)范
5、 3年以上工作經(jīng)驗(yàn),要sql server這一塊很熟悉
工作職責(zé):
1. 負(fù)責(zé)中國(guó)銀行內(nèi)部業(yè)務(wù)的軟件開(kāi)發(fā),能按時(shí)完成項(xiàng)目經(jīng)理安排的需求及功能模塊開(kāi)發(fā)
2. 有一定的針對(duì)代碼重用性、擴(kuò)展性設(shè)計(jì)的經(jīng)驗(yàn)和能力
任職要求:
1、 熟悉sqlserver 相關(guān)的數(shù)據(jù)庫(kù)性能調(diào)優(yōu),數(shù)據(jù)抽取,清理等操作。
2、 熟悉ssis、ssas、ssrs;
3、 熟悉isqlserver____年下的sql編寫(xiě),善于sql性能調(diào)優(yōu);
4、 能夠快速適應(yīng)現(xiàn)有的成熟系統(tǒng)框架,較強(qiáng)的代碼閱讀能力,良好的代碼規(guī)范
5、 3年以上工作經(jīng)驗(yàn),要sql server這一塊很熟悉
第16篇 大數(shù)據(jù)開(kāi)發(fā)工程師(數(shù)倉(cāng)方向)職位描述與崗位職責(zé)任職要求
職位描述:
崗位職責(zé):
1. 理解業(yè)務(wù)需求,負(fù)責(zé)數(shù)據(jù)倉(cāng)庫(kù)建設(shè)、etl流程的開(kāi)發(fā)和優(yōu)化工作;
2. 解決業(yè)務(wù)數(shù)據(jù)分析、數(shù)據(jù)報(bào)表、數(shù)據(jù)異常相關(guān)的技術(shù)問(wèn)題;
3. spark/yarn/hdfs 的性能改進(jìn)、功能擴(kuò)展、故障分析;
任職資格:
1. 計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷;
2. 精通java編程語(yǔ)言,并熟悉scala、python、shell等一門以上腳本語(yǔ)言;
3. 熟悉hadoop大數(shù)據(jù)平臺(tái)架構(gòu),熟悉spark/spark sql/yarn開(kāi)發(fā)調(diào)優(yōu)技術(shù),具有相關(guān)項(xiàng)目經(jīng)驗(yàn)
4. 掌握數(shù)據(jù)倉(cāng)庫(kù)(dw)/olap/商業(yè)智能(bi)/數(shù)據(jù)統(tǒng)計(jì)理論,熟悉oracle/mysql數(shù)據(jù)庫(kù);
5. 思路清晰,具備良好的溝通能力和理解能力,較強(qiáng)的學(xué)習(xí)能力以及快速解決問(wèn)題的能力;
6. 具有高度的責(zé)任感,工作認(rèn)真、踏實(shí)。
福利待遇:
1、薪酬:有競(jìng)爭(zhēng)力的薪酬體系,我們不止跟你談理想,錢也必須談一談~
2、交通:無(wú)論天涯,免費(fèi)班車直達(dá)公司,驀然回首,地鐵就在公司不遠(yuǎn)處。。。
3、工作時(shí)間:5天7小時(shí)工作制,充足的休息讓你一整天元?dú)鉂M滿!
4、各種福利:五險(xiǎn)一金小case,節(jié)日禮物福利補(bǔ)貼說(shuō)不完!
5、團(tuán)建活動(dòng):下午茶,團(tuán)隊(duì)活動(dòng),部門聚餐,經(jīng)費(fèi)充足不差錢,大公司就是這么壕!
6、發(fā)展平臺(tái):想要升職加薪走向人生巔峰?上市公司晉升發(fā)展機(jī)會(huì)多多~
第17篇 大數(shù)據(jù)開(kāi)發(fā)工程師(p7-p8)3職位描述與崗位職責(zé)任職要求
職位描述:
崗位職責(zé):
分布式大數(shù)據(jù)系統(tǒng)開(kāi)發(fā)、計(jì)算性能調(diào)優(yōu)、 高性能服務(wù)框架設(shè)計(jì)與開(kāi)發(fā);
參與項(xiàng)目的架構(gòu)設(shè)計(jì)、評(píng)審、技術(shù)攻堅(jiān)及優(yōu)化;
參與系統(tǒng)文檔的撰寫(xiě)、維護(hù)。
任職要求:
本科以上學(xué)歷,計(jì)算機(jī)或相關(guān)專業(yè);
3年以上linu_后臺(tái)開(kāi)發(fā)經(jīng)驗(yàn),有大規(guī)模系統(tǒng)開(kāi)發(fā)經(jīng)驗(yàn);
精通http、tcp/ip協(xié)議,網(wǎng)絡(luò)編程;
熟悉linu_操作系統(tǒng)原理,常用工具;
熟悉常用大數(shù)據(jù)開(kāi)源組件;
有高并發(fā)、大容量后臺(tái)服務(wù)系統(tǒng)設(shè)計(jì)經(jīng)驗(yàn);
具有良好的學(xué)習(xí)能力、溝通能力、團(tuán)隊(duì)合作意識(shí);
強(qiáng)烈的責(zé)任心與主動(dòng)性,對(duì)所負(fù)責(zé)工作有owner意識(shí),并能自我驅(qū)動(dòng)成長(zhǎng);
對(duì)hadoop、flink、spark、lucene等開(kāi)源項(xiàng)目有大規(guī)模應(yīng)用經(jīng)驗(yàn),contributor或者committer優(yōu)先。
第18篇 數(shù)據(jù)開(kāi)發(fā)工程師職位描述與崗位職責(zé)任職要求
職位描述:
工作職責(zé):
1、負(fù)責(zé)數(shù)據(jù)收集、清洗和規(guī)約等工作;
2、提供面向業(yè)務(wù)的數(shù)據(jù)服務(wù),完成數(shù)據(jù)指標(biāo)的統(tǒng)計(jì)、多維分析和展現(xiàn);
3、根據(jù)業(yè)務(wù)和產(chǎn)品情況,抽象業(yè)務(wù)邏輯,搭建和開(kāi)發(fā)大數(shù)據(jù)平臺(tái)。
任職要求:
1、統(tǒng)招本科或以上學(xué)歷;
2、精通sql,有較好的sql性能調(diào)優(yōu)經(jīng)驗(yàn),了解hive/mysql的基本原理和調(diào)優(yōu)策略
3、熟悉常用的數(shù)據(jù)挖掘、分析的工具和方法,熟悉linu_平臺(tái),精通shell/python/php等腳本語(yǔ)言的一種或多種,編碼基本功扎實(shí) ;
4、精通java開(kāi)發(fā),熟悉大數(shù)據(jù)處理相關(guān)技術(shù),有hadoop開(kāi)發(fā)經(jīng)驗(yàn),掌握mapreduce。
第19篇 中級(jí)大數(shù)據(jù)開(kāi)發(fā)工程師職位描述與崗位職責(zé)任職要求
職位描述:
職責(zé)描述:
1、參與公司商業(yè)智能平臺(tái)的研發(fā)工作;
2、參與公司商業(yè)智能平臺(tái)的升級(jí)改造工作,包括運(yùn)維工作。
任職要求:
1、正規(guī)院校本科及以上學(xué)歷,軟件、計(jì)算機(jī)、通信、信息安全、網(wǎng)絡(luò)工程等相關(guān)專業(yè);
2、良好的java開(kāi)發(fā)背景,熟悉spring/mybatis技術(shù)體系;
3、良好的sql功底,熟悉mysql或oracle數(shù)據(jù)庫(kù);
4、熟悉linu_;
5、了解開(kāi)源pentaho產(chǎn)品,包括prd、mondrian、saiku、kettle等;
6、熟悉hadoop、hive、hbase、storm、spark等大數(shù)據(jù)平臺(tái);
7、溝通能力強(qiáng),有較強(qiáng)的學(xué)習(xí)能力,有較強(qiáng)的責(zé)任心與良好的團(tuán)隊(duì)協(xié)作能力。
第20篇 大數(shù)據(jù)開(kāi)發(fā)工程師(杭州)職位描述與崗位職責(zé)任職要求
職位描述:
崗位職責(zé):
1.參與大數(shù)據(jù)精準(zhǔn)學(xué)平臺(tái)設(shè)計(jì)與研發(fā),在大數(shù)據(jù)采集、存儲(chǔ)、分析及應(yīng)用領(lǐng)域都會(huì)有所涉及。
2.參與需求分析、系統(tǒng)架構(gòu)設(shè)計(jì)、并完成需求設(shè)計(jì)相應(yīng)文檔的編寫(xiě)。
3.參與核心代碼實(shí)現(xiàn)、系統(tǒng)性能優(yōu)化。
4.保質(zhì)保量地完成項(xiàng)目組分配的開(kāi)發(fā)任務(wù)。
5.協(xié)助項(xiàng)目經(jīng)理進(jìn)行技術(shù)支持工作,共同解決產(chǎn)品研發(fā)過(guò)程遇到的技術(shù)難題。
任職要求:
1. 具備3年及以上大數(shù)據(jù)系統(tǒng)開(kāi)發(fā)經(jīng)驗(yàn),計(jì)算機(jī)相關(guān)專業(yè)本科及以上學(xué)歷;
2. 有實(shí)時(shí)流處理經(jīng)驗(yàn),掌握f(shuō)link、storm等實(shí)時(shí)處理框架;
3. 熟悉并會(huì)使用spark mllib、機(jī)器學(xué)習(xí)、自然語(yǔ)言處理等相關(guān)技術(shù)和算法;
4. 具有hadoop/spark,以及kafka、flume、hbase、hive、zookeeper等大數(shù)據(jù)生態(tài)圈實(shí)際開(kāi)發(fā)經(jīng)驗(yàn)。深入了解hadoop/spark生態(tài)圈產(chǎn)品的工作原理及應(yīng)用場(chǎng)景;
5. 具備較強(qiáng)的數(shù)據(jù)分析,問(wèn)題分析,邏輯思維能力,良好的溝通,團(tuán)隊(duì)協(xié)作能力。