大数据架构工程师岗位职责(汇编6篇)

大数据架构工程师岗位职责(精选6篇)

大数据架构工程师岗位职责 篇1

工作职责:

1、打造业界领先的存储、计算等分布式系统;

2、为海量数据和大规模业务系统提供可靠的基础设施。

任职要求:

1、掌握分布式系统原理,对存储、计算、消息队列、集群管理中的一项或多项有深入的理解和认识;

2、乐于挑战没有明显答案的.问题,能快速理解业务场景,从具体问题中抽象出通用的解决方案;

3、存储方向:对hdfs,rocksdb,leveldb,memcache,redis,mysql,hbase,kafka的一项或多项有经验者优先;

4、计算方向:对spark,mapreduce,storm,hive,presto,impala的一项或多项有经验者优先;

5、集群管理方向:对yarn,mesos的一项或多项有经验者优先;

6、向开源社区贡献过patch者优先,请在简历上说明。

大数据架构工程师岗位职责 篇2

职位描述:

1、打造业界领先的存储、计算、调度、监控等基础设施;

2、参与存储、计算、devinfra、监控当中的一个或多个方向。

任职要求:

1、掌握分布式系统原理,对存储、计算、调度、监控、消息队列、集群管理中的一项或多项有深入的理解和认识;

2、乐于挑战没有明显答案的问题,能快速理解业务场景,从具体问题中抽象出通用的解决方案;

3、存储方向:对hdfs,rocksdb,ceph,hbase,kafka的一项或多项有经验者优先;

4、计算方向:对yarn,spark,flink,hive的一项或多项有经验者优先;

5、devinfra方向:对docker,mesos,kubernetes的一项或多项有经验者优先;

6、监控方向:对opentsdb,influxdb,prometheus,falcon的一项或多项有经验者优先。

大数据架构工程师岗位职责 篇3

岗位职责:

1、负责全公司的数据平台数据可视化研发工作

2、独立完成数据可视化研发工作

任职要求:

1、计算机、电子通信、数学、统计或者相关专业本科及以上学历

2、熟练掌握java/python中的一种语言

3、熟悉数据可视化开发,熟悉echarts应用开发的优先

4、熟悉web开发,熟悉html,js,css

5、熟悉quick bi的优先

6、具备良好的团队合作精神,工作有激情

7、对数据敏感,有产品思维的优先

大数据架构工程师岗位职责 篇4

岗位职责:

1、参与公司数据开发平台、bi产品等大数据产品的设计和开发;

2、负责数据开发平台、bi产品等大数据产品的部署和维护,保证其稳定和可靠;

3、关注和参与大数据方向开源产品的技术动态与演进,推动产品与技术架构持续更新;

任职要求:

1、计算机相关专业,本科及以上学历,5年以上软件开发经验,3年以上互联网产品或分布式系统开发设计经验;

2、精通java,python,scala等一种或几种编程语言,并熟悉linux操作系统及bash shell编程;

3、有hadoop/spark/hive/presto/hbase/elasticsearch/kafka等使用经验,并熟悉上述常用的分布式系统架构设计和原理;

4、熟悉微服务框架及相关技术,如dubbo,springcloud等;

5、熟悉mysql、redis,并了解或接触过其他数据库如oracle,sqlserver,postgresql,mongodb等;

6、了解容器技术,如docker,kubernetes;

7、具有一定的软件设计能力,热爱大数据和技术,相信技术改变世界,学习能力强,认同数据价值,有面向业务的思维,较强的自主学习能力和英文技术文档阅读能力;

8、良好的沟通能力、团队精神及服务意识,勇于接受挑战,能承受较大的工作压力;

9、有生产环境快速trouble—shooting的经验和能力者优先;

10、有olap,多维度数据分析经验优先,有对数据仓库有较强的理论基础和理解者优先;

大数据架构工程师岗位职责 篇5

职位描述:

1、参与计算框架和服务的定制和改进,为公司批处理和流式计算能力提供支撑;

2、深入理解业务场景,解决性能瓶颈,实现业务目标;

3、计算、存储和网络方面基础技术的探索和储备。

任职要求:

1、精通各种性能分析和调试工具,高效进行分析;

2、熟练的c/c++/java开发能力,代码质量高;

3、熟悉网络、linux、hadoop等系统,能够灵活解决新问题;

4、较好的团队协作和沟通能力。

大数据架构工程师岗位职责 篇6

职位描述:

1.负责大数据平台的架构设计、环境和框架的搭建以及部分核心编码工作;

2.参与业务需求调研,根据需求及行业特点设计大数据解决方案并跟进具体实施项目;

3.规划公司级数据平台,架构实时流与离线数据计算平台;

4.对业务需求进行分析建模并持续进行优化,包括但不限于推荐、排序、用户画像等。

任职要求:

1.本科及以上学历,5年以上大数据开发经验;

2.深刻理解hadoop、hive、spark、kafka、elasticsearch、hbase、storm、sqoop、zookeeper、flume的工作原理及应用;

3.深刻理解大数据处理实时流计算、分布式计算、分布式文件系统、分布式存储等相关技术和实现方法,有架构和设计实践经验;

4.精通scala/java语言的一种或多种;

5.有数据仓库、大数据平台及数据挖掘架构设计经验

一键复制全文保存为WORD