数据挖掘工程师工作的基本职责(精选21篇)
1、学习并理解励步云学业务及系统,根据业务部门需求对公司各项业务数据进行统计分析,出具相关报表;
2、进行数据仓库设计、模型开发、数据质量校验,报表开发;
3、进行数据差异分析,找出统计口径、数据错误、操作错误等造成的差异原因;
4、进行数据查询优化,解决跑数性能问题。
1、负责公司与阿里巴巴在新行业方向(新金融、新零售、国内外运营商)的产品研发;
2、负责分析挖掘客户/行业对大数据产品的需求(应用场景),利用数据分析结论提升客户业务能力。例如:文本挖掘,潜在客户挖掘,用户画像,个性化推荐,用能预测等;
3、进行大数据场景下的数据统计、数据挖掘、机器学习、深度学习,包括数据整理、模型建立、模型应用、评估优化等;
4、将客户需求准确转化为可执行的数学模型,针对不同的应用场景,负责编写数据挖掘算法及对其的优化;
5、基于需求分析/运营支持/商业报告等成果,抽取典型用户/客户/行业/产品分析模型并与开发团队沟通实施方案及构建产品原型。
岗位要求:
1、本科以上学历,扎实的`机器学习、数据挖掘、统计学理论基础;有统计、应用数学、金融等相关专业背景优先;
2、精通常见机器学习算法(如逻辑回归、SVM、神经网络、决策树、贝叶斯等),有实际建模经验,掌握深度学习算法优先;
3、具有扎实的计算机操作系统、数据结构等编程基础,精通至少一门编程语言例如JAVA/python/R等;
4、熟悉Map-Reduce模型,对Hadoop、Spark、Storm等大规模数据存储与运算平台有实践经验优先。
职责:
1、为运营商提供深入的业务分析服务,根据业务需求进行数据统计、分析,撰写分析报告。
2、负责电信行业数据分析和数据挖掘工作,包括数据模型的需求分析、模型开发和结果分析。
3、负责电信行业咨询和系统实施类项目的数据需求调研、数据分析、商业分析和数据挖掘模型等相关项目的实施过程。
4、负责相关项目的售前支持,发现客户在数据分析/挖掘相关项目上的需求和潜在项目机会。
任职资格:
1、熟悉Mysql/DB2等常用数据库,熟练使用SQL。
2、掌握数据分析基本理论方法,熟悉数据挖掘常用算法,能够熟练使用Python/R语言者优先。
3、有电信运营商、互联网行业数据分析/挖掘建模经验者优先。
4、对用户行为研究有深入了解,咨询行业背景优先。
5、 具备良好的客户需求理解能力、良好的沟通和表达能力。
6、 工作态度积极主动,具备一定的抗压能力。
1、基于大数据平台的海量数据,负责业务相关的数据挖掘研发,及定向相关技术研发;
2、负责大数据可视化研究及平台构建及优化工作;
3、负责数据挖掘分析体系的建设,并建立和规范数据挖掘模型标准;
4、协助项目团队做好数据和应用的对接,完成项目的执行及交付;
5、配合架构师进行技术攻关和核心挖掘算法改善。
1、MySQL数据库规划、设计、监控维护、升级、备份、镜像、容灾;
2、数据库服务器的安装部署、性能优化、可靠性、容灾方案制定等;
3、对数据库性能分析与调优,排错,保证数据安全;
4、负责对开发工程师的SQL语句进行优化;
5、配合研发制定数据库技术方案,分库分表策略,现有表结构优化,数据迁移方案;
6、负责Mysql自动化相关事宜;
职责:
1、负责对数据进行清理、甄别、归类和整合等,提升数据质量;
2、设计多维度分析模型,并能根据实际情况给出数据分析结果;
3、针对海量用户行为和内容信息,构建和优化用户画像。
任职要求:
1、本科计算机或统计学相关专业,3年以上相关工作经验;
2、熟悉关系型据库,SQL技能娴熟;
3、熟悉Hadoop, Hive, Spark分布式平台;
4、Scala\python\JAVA至少熟练掌握一种编程语言;
5、熟悉数据可视化技术;
6、熟悉大规模数据挖掘、机器学习等相关技术;
7、对用户画像分层,推荐系统有经验者优先考虑。
任职要求:
1、软件、计算机、通讯等理工科相关专业本科及以上学历;
2、具有3年配置管理或产品数据管理经验;
3、熟悉计算机与网络管理;
4、熟悉配置管理与产品数据管理知识,熟练掌握svn、plm等数据管理平台的`操作与管理;
5、熟悉系统与信息安全知识;
6、具有较强的逻辑思维能力及良好的沟通能力,良好的主动学习能力及执行力。
1. 参加团队会议与讨论,并给予有意义的建议;
2. 协助后端团队和架构师完成数据库相关的设计与开发;
3. 协助业务部门抓取、分析数据。
职责
1.负责汽车产品数据底表的日常更新与维护
2.对数据进行预处理、清洗、计算及校验
3.采用系统化方法规范数据字段,优化数据结构,
4.通过数据关联、数据建模及数据可视化等多种方式为探索性研究提供工具支撑
5.协助高级研究人员完成客户需求处理工作
任职要求:
1本科及以上学历,数学、统计学、经济学、计算机科学等专业
2.对汽车市场、品牌及主流乘用车产品有一定认知
3.较强的excel数据处理能力,熟悉透视表及常用函数,有一定编程能力
4.有较强的抗压能力、逻辑能力以及团队沟通能力
5.心态沉稳踏实,细致认真,有较强的求知欲与接受能力
1.针对用户行为预测业务,负责用户画像、订单特征体系建设,包括离线数据产出以及服务化;
2.针对用户端上行为产出的实时数据流,挖掘实时特征并服务化;
3.针对客服场景,挖掘实时用户行为异常以及进线异常;
4.针对智能客服场景用户标签挖掘,人群挖掘等工作,支持智能运营方向的业务;
5.负责开发并维护智能客服业务的特征服务系统。
岗位职责:
1、对通信和金融业务数据进行分析和挖掘,满足研发和运营等部门的业务需求和决策需求;
2、能根据业务特点选择最合适的数据挖掘算法,并做调优;
3、支持数据分析、挖掘算法平台的部署和日常运营;
4、撰写分析类报告。
任职资格:
1、大学本科或本科以上统计学、数学或其他相关专业,对数据结构熟悉;
2、熟练使用python进行数据分析、处理、可视化。熟悉numpy/pandas/matplotlib等常用模块。熟练使用sql,最好用过hive-sql或spark-sql;
3、对hadoop/spark有一定了解。能够简单使用hadoop系列命令;
4、对线性回归,决策森林,xgboost,评分卡等数据挖掘相关算法有一定了解;
5、做过web接口调试,熟悉json者优先;
6、熟练掌握PPT和EXCEL制作;
7、具备良好的学习、沟通与表达能力,具有较强的团队合作精神,对工作富有热情,能承受工作压力;
8、有运营商或金融类相关数据经验工作优先考虑;
9、能适应中长期现场出差。
1.数据采集系统和分布式爬虫系统的架构设计和开发
2.对接外部数据服务商提供的数据及资讯服务,实现数据的'有效沉淀,建立数据服务评估机制
3.负责大规模文本、图像、视频数据的抓取、抽取,去重、分类,垃圾过滤,质量识别等工作
4.研究各种目标网站的形态,互联网特征挖掘,发现它们的特点和规律
1、针对具体的业务场景需求、定义数据分析及挖掘问题;
2、使用统计学分析方法、挖掘算法、构建有效且通用的数据分析模型,对数据挖掘方案进行验证、开发、改进和优化,实现数据挖掘的功能应用;
3、搭建高扩展高性能的数据分析模型库,作为数据分析团队的基础工具;
4、完成领导安排的其他工作。
数据处理工程师岗位职责
数据处理工程师1)直接面对客户,参与项目运作中数据处理,了解客户软硬件要求;
2)参与、协助数据收集和模型建构;
3)安装、调试公司软件在客户端上线;
4)开发常用数据处理功能,帮助业务团队提高工作效率;
5)与香港、新加坡和纽约团队合作,为亚太地区技术服务提供支持。·计算机或软件相关专业,本科及以上学历;
·掌握两门以及常见数据库设计开发技术,mysql、oracle、sqlserver、hive等;
·具有参加过etl开发项目,处理过(大)数据经验优先;
·工作细心、认真负责且善于沟通,能快速理解业务,对数据敏感,并能主导项目的进度,保证团队产出。1)直接面对客户,参与项目运作中数据处理,了解客户软硬件要求;
2)参与、协助数据收集和模型建构;
3)安装、调试公司软件在客户端上线;
4)开发常用数据处理功能,帮助业务团队提高工作效率;
5)与香港、新加坡和纽约团队合作,为亚太地区技术服务提供支持。
1、负责数据仓库的设计、开发、部署、维护和优化;
2、参与公司项目数据库架构设计,及相关文档的撰写;
3、协助开发完成数据库表的设计以及SQL调优,给开发人员提供SQL调优指导;
4、负责数据库技术规范建设。
•在行业担任数据工程师或后端工程师超过4年
•您将了解数据仓库的概念(建模,调整,维护)
•您非常精通SQL,并渴望指导和教其他SQL
•您精通Python或任何其他脚本语言和软件开发
•您在分布式数据处理/传统RDBMS / MPP / NoSQL系统和数据建模方面有很强的低估/经验
•您在Spark / Kafka / HBase / Redis / Kettle方面拥有丰富的经验
•您受到探索数据的好奇心和动力的驱动
•您具有处理数据管道的DevOps问题的经验
•对数据驱动业务,关键思想家,问题解决者和自我启动者的热情
•获得认可大学的相关学科的学士学位
1、进行GIS数据建库和数据处理方案的设计和实现;
2、运用相关GIS软件进行数据空间化处理建库;
3、进行影像识别及处理;
4、进行数据采集处理建库项目管理。
(1)分析需求,完成相关数据抽取、数据清洗、数据探索、数据建模分析等工作;
(2)按要求完成数据分析报告、建模报告、数据报表等;
(3)对数据进行深度挖掘和建模,做运营和用户等各方面分析,深度挖掘运营优化和用户行为特征等,推动分析问题的解决,为业务决策提供日常支持;
(4)与业务部门和技术部门对接,完成设计,编写,维护和完善公司业务相关的.算法。
(5)参与项目成果汇编,对相关结果进行解读和汇报。
任职要求:
(1)大专以上学历,统计、数学、计算机、软件专业优先;
(2)熟练使用Python,Mysql语言,具有一定的工程能力,完善的文档和注释习惯。熟悉JupyterLab远程代码编写环境,Linux常用命令。会使用R,Java,Scala等语言更佳。
(3)熟悉数据分析过程,能够完成数据抽取、数据处理、数据建模、数据分析报告等任务;
(4)一定的数据挖掘/机器学习理论和技术基础,了解常用的数据挖掘算法如:聚类模型、线性回归、逻辑回归、分类模型、决策树模型等。
职责:
1、参与数据挖掘项目的算法研发过程(包括需求分析、技术可行性评估、分析解决问题、实现新需求等);
2、独立分析、评估并解决问题,并用代码实现,在较短时间内寻求到最优的解决方案,并应用到产品中;
3、负责分布式算法的设计及编码,提高算法的精度和效率;
4、负责数据挖据方向上的技术预研工作。
任职资格:
1、 本科及以上学历,数学、统计、计算机科学与技术、软件工程、控制理论与控制工程、信号分析及信息处理等专业;
2、 3年以上数据挖掘、机器学习、深度学习领域工作和研究经验;
3、 精通至少一种主流编程语言,包括但不限于C、C++、Python、Java等;
4、 熟悉机器学习、深度学习算法,掌握Mxnet、Tensorflow、Keras、Torch、CaffeOnSpark等一种或多种深度学习框架;
5、 熟悉Hadoop、Spark等大数据平台及mllib和结构化数据库编程;
6、 有数据挖掘、图像处理、音频信号分析、自然语言处理、物流优化、时间序列预测算法等与实际业务场景结合的成功经验;
7、 善于分析和解决问题,富有想象力和学习能力,对数据敏感,善于发现数据中的价值,具有良好的团队合作精神。
职责:
1、负责探迹平台智能策略逻辑设计与实现,包括智能评分、智能决策、业绩预测等业务的策略;
2、利用平台已有技术能力,包括内容识别算法、行为识别模型等,构建与业务需求相匹配的策略体系;
3、对平台用户行为数据进行分析和挖掘,建立数据模型,从数据中挖掘出用户的行为和消费习惯,通过数据挖掘对产品形成策略支持;
4、理解业务部门的需求,从数据库提取相关数据进行处理分析,指导产品和业务部门的日常运营;
5、建立和优化统计学和机器学习模型;
6、与数据算法/工程师合作和沟通去实现应用在产品上的算法模型;
任职资格:
1、统计学、计算机、通信相关专业本科以上学历;
2、编程基本功扎实、精通JAVA、python、lua等语言;
3、善于沟通及主动思考总结、倡导创新与持续优化、思路周密、脚本代码严谨、对待策略逻辑有强烈兴趣;
4、具备产品意识和数据分析能力,熟悉回归,分类等常见机器学习算法;
5、具有数据处理,特征选择、算法调优、效果评估等相关工作经验;
6、逻辑清晰,对数字敏感;学习能力强,热爱编程;
7、有良好的团队合作及抗压能力、有强烈的主人翁意识推进事务进展;
1.负责数据分析,数据挖掘相关的算法、应用的设计与开发;
2.负责公司产品各阶段数据的整理、分析、挖掘及提交数据报告,重点对车辆行为数据进行分析和挖掘,利用数据分析结论推动业务产品的优化;
3.对海量业务数据进行整合、分析挖掘,挖掘产品以及用户潜在信息,为营销、运营及决策提供业务分析及数据支持。