大数据架构工程师岗位职责(精选6篇)
工作职责:
1、打造业界领先的存储、计算等分布式系统;
2、为海量数据和大规模业务系统提供可靠的基础设施。
任职要求:
1、掌握分布式系统原理,对存储、计算、消息队列、集群管理中的一项或多项有深入的理解和认识;
2、乐于挑战没有明显答案的.问题,能快速理解业务场景,从具体问题中抽象出通用的解决方案;
3、存储方向:对hdfs,rocksdb,leveldb,memcache,redis,mysql,hbase,kafka的一项或多项有经验者优先;
4、计算方向:对spark,mapreduce,storm,hive,presto,impala的一项或多项有经验者优先;
5、集群管理方向:对yarn,mesos的一项或多项有经验者优先;
6、向开源社区贡献过patch者优先,请在简历上说明。
职位描述:
1、打造业界领先的存储、计算、调度、监控等基础设施;
2、参与存储、计算、devinfra、监控当中的一个或多个方向。
任职要求:
1、掌握分布式系统原理,对存储、计算、调度、监控、消息队列、集群管理中的一项或多项有深入的理解和认识;
2、乐于挑战没有明显答案的问题,能快速理解业务场景,从具体问题中抽象出通用的解决方案;
3、存储方向:对hdfs,rocksdb,ceph,hbase,kafka的一项或多项有经验者优先;
4、计算方向:对yarn,spark,flink,hive的一项或多项有经验者优先;
5、devinfra方向:对docker,mesos,kubernetes的一项或多项有经验者优先;
6、监控方向:对opentsdb,influxdb,prometheus,falcon的一项或多项有经验者优先。
岗位职责:
1、负责全公司的数据平台数据可视化研发工作
2、独立完成数据可视化研发工作
任职要求:
1、计算机、电子通信、数学、统计或者相关专业本科及以上学历
2、熟练掌握java/python中的一种语言
3、熟悉数据可视化开发,熟悉echarts应用开发的优先
4、熟悉web开发,熟悉html,js,css
5、熟悉quick bi的优先
6、具备良好的团队合作精神,工作有激情
7、对数据敏感,有产品思维的优先
岗位职责:
1、参与公司数据开发平台、bi产品等大数据产品的设计和开发;
2、负责数据开发平台、bi产品等大数据产品的部署和维护,保证其稳定和可靠;
3、关注和参与大数据方向开源产品的技术动态与演进,推动产品与技术架构持续更新;
任职要求:
1、计算机相关专业,本科及以上学历,5年以上软件开发经验,3年以上互联网产品或分布式系统开发设计经验;
2、精通java,python,scala等一种或几种编程语言,并熟悉linux操作系统及bash shell编程;
3、有hadoop/spark/hive/presto/hbase/elasticsearch/kafka等使用经验,并熟悉上述常用的分布式系统架构设计和原理;
4、熟悉微服务框架及相关技术,如dubbo,springcloud等;
5、熟悉mysql、redis,并了解或接触过其他数据库如oracle,sqlserver,postgresql,mongodb等;
6、了解容器技术,如docker,kubernetes;
7、具有一定的软件设计能力,热爱大数据和技术,相信技术改变世界,学习能力强,认同数据价值,有面向业务的思维,较强的自主学习能力和英文技术文档阅读能力;
8、良好的沟通能力、团队精神及服务意识,勇于接受挑战,能承受较大的工作压力;
9、有生产环境快速trouble—shooting的经验和能力者优先;
10、有olap,多维度数据分析经验优先,有对数据仓库有较强的理论基础和理解者优先;
职位描述:
1、参与计算框架和服务的定制和改进,为公司批处理和流式计算能力提供支撑;
2、深入理解业务场景,解决性能瓶颈,实现业务目标;
3、计算、存储和网络方面基础技术的探索和储备。
任职要求:
1、精通各种性能分析和调试工具,高效进行分析;
2、熟练的c/c++/java开发能力,代码质量高;
3、熟悉网络、linux、hadoop等系统,能够灵活解决新问题;
4、较好的团队协作和沟通能力。
职位描述:
1.负责大数据平台的架构设计、环境和框架的搭建以及部分核心编码工作;
2.参与业务需求调研,根据需求及行业特点设计大数据解决方案并跟进具体实施项目;
3.规划公司级数据平台,架构实时流与离线数据计算平台;
4.对业务需求进行分析建模并持续进行优化,包括但不限于推荐、排序、用户画像等。
任职要求:
1.本科及以上学历,5年以上大数据开发经验;
2.深刻理解hadoop、hive、spark、kafka、elasticsearch、hbase、storm、sqoop、zookeeper、flume的工作原理及应用;
3.深刻理解大数据处理实时流计算、分布式计算、分布式文件系统、分布式存储等相关技术和实现方法,有架构和设计实践经验;
4.精通scala/java语言的一种或多种;
5.有数据仓库、大数据平台及数据挖掘架构设计经验