数据挖掘工程师工作的职责(精选31篇)
•识别,分析和解决计划支持问题。
•与BU利益相关者合作,确定并优先考虑数据和统计要求,包括要收集的特定数据元素。
•协助开发和实施数据库,数据收集系统/工具,数据分析以及其他优化统计效率和质量的策略(包括确定流程改进以更好地满足业务需求)。
•分析大量数据集,提出有见地的业务建议。
•通过查看报告和绩效指标来确定和纠正数据收集问题,从而确保数据的准确性和完整性。
•识别,分析,解释和建模数据湖中数据的趋势或模式。
•为各种受众设计和生成准确有效的统计数据可视化产品和报告。
•通过促进技术和非技术利益相关者之间的沟通,确保技术团队了解计划和业务工作的短期和长期目标
•准时交付优质,易懂,明确的产品。
•参与构建机器学习策略平台。
•对数据驱动业务,关键思想家,问题解决者和自我启动者的热情
•促进技术和非技术利益相关者之间交流的能力
•出色的书面和口头交流能力。
岗位职责:
1.从事数学建模及数据挖掘应用方法研究;
2.与开发部门配合实现相应的数据分析模块的开发;
3.制定公司数据可管理体系,建产研究用数据平台。
任职要求:
1.应用数学、统计学、计算机等专业硕士以上学历;
2.具备常用机器学习、数据挖掘相关知识,会spark;
3.具备一种或多种开发语言(如scalapython java等)的.程序和算法开发能力,掌握常用数据结构和算法;
4.有视频、地图、文本、社交等大数据分析能力;
5.有工业数据分析工作经验者优先。
岗位职责:
1.负责衔接大数据平台与前端的数据传输;
2.根据客户需求设计大数据业务平台架构、配置组件;
3.负责后台服务的调试与测试,梳理接口文档、开发文档与测试文档。
任职资格:
1.硕士以上,或较为优秀的本科生;后端开发经验2年以上;
2.有基于b/s架构进行实际业务平台开发的经验,有to b软件开发经验更佳;
3.通用软件开发基础、软件架构基础、scrum敏捷开发方法,有大数据基础更佳;
4.精通java或python语言,有rcp框架经验更佳;熟练掌握mybatis、springcloud / springboot、node.js等框架,精通sql技术;了解以太网通信协议,熟悉websocket技术。熟练使用git,svn等工具;
5.学习能力强,勇于挑战,代码质量意识强,笃信“工程即魔法”。
职责:
1、针对具体的业务场景需求、定义数据分析及挖掘问题;
2、使用统计学分析方法、挖掘算法、构建有效且通用的数据分析模型,对数据挖掘方案进行验证、开发、改进和优化,实现数据挖掘的功能应用;
3、搭建高扩展高性能的数据分析模型库,作为数据分析团队的基础工具;
4、完成领导安排的其他工作。
任职要求:
1、计算机、统计学、数学相关专业,本科及以上学历;
2、3年及以上相关工作经验,985和211大学的优秀毕业生可放宽至2年以上;
3、熟悉PHM的应用背景、功能定义、系统架构、关键技术;
4、熟练掌握Python进行数据挖掘;会使用Java进行软件开发者优先考虑;
5、熟悉常用数据挖掘算法(如分类、聚类、回归、关联规则、神经网络等)及其原理,并具备相关项目经验;
6、熟悉数据仓库,熟练使用SQL语言,有良好的数据库编程经验;
7、具备较强的独立解决问题的能力,勤奋敬业、主动性和责任心强。
1.负责公司产品的现场安装,部署,优化;
2.负责数据库集群的部署和配置升级;
3.定期进行性能检测、分析、调优,数据备份、迁移,保障数据库系统高效安全及稳定运行;
4.负责排查数据库故障,分析和解决疑难问题,提出预防方案。数据库故障处理与灾难恢复;
5.对开发工程师的SQL语句进行审核,SQL优化,及时发现并处理高负载SQL;
6.负责客户单位软件系统的管理和日常维护,;
岗位职责:
1、对通信和金融业务数据进行分析和挖掘,满足研发和运营等部门的业务需求和决策需求;
2、能根据业务特点选择最合适的数据挖掘算法,并做调优;
3、支持数据分析、挖掘算法平台的部署和日常运营;
4、撰写分析类报告。
任职资格:
1、大学本科或本科以上统计学、数学或其他相关专业,对数据结构熟悉;
2、熟练使用python进行数据分析、处理、可视化。熟悉numpy/pandas/matplotlib等常用模块。熟练使用sql,最好用过hive-sql或spark-sql;
3、对hadoop/spark有一定了解。能够简单使用hadoop系列命令;
4、对线性回归,决策森林,xgboost,评分卡等数据挖掘相关算法有一定了解;
5、做过web接口调试,熟悉json者优先;
6、熟练掌握PPT和EXCEL制作;
7、具备良好的学习、沟通与表达能力,具有较强的团队合作精神,对工作富有热情,能承受工作压力;
8、有运营商或金融类相关数据经验工作优先考虑;
9、能适应中长期现场出差。
职责:
1、负责时间序列分析类算法的维护和设计实现;
2、负责海量内容和业务数据的分析和挖掘、建模,快速迭代算法,提升算法效果;
3、参与搭建和实现大数据平台下的算法处理程序;
4、应用各种机器学习、数据挖掘技术进行数据分析与数据挖掘;
5、根据业务需求进行数学建模,设计并开发高效算法,并对模型及算法进行验证和实现。
【职位要求】
1、20xx届应届毕业生,本科及以上学历,985/211毕业院校优先考虑,计算机软件、通讯相关专业;
2、熟悉linux操作,熟悉oracle数据库及sql语言;
3、掌握数据分析/挖掘方法及相关算法;
4、有R语言开发能力优先;
5、有运营商数据分析,模型构建经验优先。
数据处理工程师岗位职责
数据处理工程师1)直接面对客户,参与项目运作中数据处理,了解客户软硬件要求;
2)参与、协助数据收集和模型建构;
3)安装、调试公司软件在客户端上线;
4)开发常用数据处理功能,帮助业务团队提高工作效率;
5)与香港、新加坡和纽约团队合作,为亚太地区技术服务提供支持。·计算机或软件相关专业,本科及以上学历;
·掌握两门以及常见数据库设计开发技术,mysql、oracle、sqlserver、hive等;
·具有参加过etl开发项目,处理过(大)数据经验优先;
·工作细心、认真负责且善于沟通,能快速理解业务,对数据敏感,并能主导项目的进度,保证团队产出。1)直接面对客户,参与项目运作中数据处理,了解客户软硬件要求;
2)参与、协助数据收集和模型建构;
3)安装、调试公司软件在客户端上线;
4)开发常用数据处理功能,帮助业务团队提高工作效率;
5)与香港、新加坡和纽约团队合作,为亚太地区技术服务提供支持。
职责:
1、根据公司自主产品需求,研究设计相应数据挖掘方案及算法,分析数据,设计方案,构建原型,快速实现对于数据分析、挖掘的需求;
2、深入分析汽车后服务应用数据,特别是时间序列内的连续数据,应用统计学、机器学习、数据挖掘等技术建立模型,形成诊修技术分析报告或数据产品,并跟踪产品运营落地;
3、负责诊修行为、诊断过程、结果等数据与知识智推模型中的具体开发和应用。
任职要求:
1、本科以上学历,数学、统计等相关专业背景,硕士或以上学历优先;
2、4年以上相关工作经验,精通SQL,熟练使用Hadoop/MongoDB/Spark进行数据处理加工;熟练掌握Python,Shell任一种脚本
3、有统计建模、机器学习(聚类、分类、回归、贝叶期分类、神经网络等)或数据挖掘应用的项目或研究经验,能够熟练运用python、R、spark任意一种进行建模;
4、具有大型电商类、网约车类、汽车后服务类等数据挖掘经验者优先。
5、具有对时间序列进行数据挖掘经验者优先。
职责:
1、水务行业的数据分析、数据挖掘工作,包括数据模型的需求分析、模型开发和结果分析;
2、按需完成基础数据的清洗、整合与去噪,为分析与建模提供支撑。
3、根据业务需求构建合适的算法及通过数据挖掘、机器学习等手段不断优化策略及算法。
4. 跟踪学习新的建模和数据挖掘技术,与同事共享知识和经验。
任职要求:
1. 计算机、数学、物理等相关专业本科及以上学历, 211、985高校优先
2.具有数据挖掘、机器学习、概率统计基础理论知识,熟悉并应用过常用分类、聚类等机器学习算法;
3.熟练掌握R编程,熟悉数据库开发技术,并有实际生产使用经验者优先;
4. 学习能力强,拥有优秀的逻辑思维能力,工作认真负责,沟通能力良好,团队合作意愿强,诚实、勤奋、严谨。
工作职责:
1、运用数据挖掘和机器学习方法和技术,深入挖掘和分析海量商业数据
2、包括但不限于风控模型、用户画像、商家画像建模、文本分析和商业预测等
3、运用数据挖掘/统计学习的理论和方法,深入挖掘和分析用户行为,建设用户画像
4、从系统应用的角度,利用数据挖掘/统计学习的理论和方法解决实际问题
任职要求
—计算机、数学,统计学或人工智能等相关专业硕士以上学历,5—10年以上或相关工作经历
—精通1—2种编程语言(Python或Java),熟练掌握常用数据结构和算法,具备比较强的'实战开发能力,能带领团队共同进步。
—具有统计或数据挖掘背景,并对机器学习算法和理论有较深入的研究
—熟悉数据挖掘相关算法(决策树、SVM、聚类、逻辑回归、贝叶斯)
—具有良好的学习能力、时间和流程意识、沟通能力
—熟悉Spark或hadoop生态分布式计算框架
—优秀的沟通能力,有创新精神,乐于接受挑战,能承受工作压力
—有互联网,央企,政务,金融等领域大规模数据挖掘经验者优先
1、空间数据采集、内业处理;
2、电子地图制作、配图以及地图服务发布;
3、编制空间数据建库工作文档;
4、对成果数据的分类整理、归档;
5、领导安排的其他工作任务。
1、基于大数据平台的海量数据,负责业务相关的数据挖掘研发,及定向相关技术研发;
2、负责大数据可视化研究及平台构建及优化工作;
3、负责数据挖掘分析体系的建设,并建立和规范数据挖掘模型标准;
4、协助项目团队做好数据和应用的对接,完成项目的执行及交付;
5、配合架构师进行技术攻关和核心挖掘算法改善。
1、学习并理解励步云学业务及系统,根据业务部门需求对公司各项业务数据进行统计分析,出具相关报表;
2、进行数据仓库设计、模型开发、数据质量校验,报表开发;
3、进行数据差异分析,找出统计口径、数据错误、操作错误等造成的差异原因;
4、进行数据查询优化,解决跑数性能问题。
1、针对具体的业务场景需求、定义数据分析及挖掘问题;
2、使用统计学分析方法、挖掘算法、构建有效且通用的数据分析模型,对数据挖掘方案进行验证、开发、改进和优化,实现数据挖掘的功能应用;
3、搭建高扩展高性能的数据分析模型库,作为数据分析团队的基础工具;
4、完成领导安排的其他工作。
1.嵌入式bootloader,kernel开发;
2.工业通讯协议解析等;
3.windows/linux平台网关应用层程序开发;
4.网关产品的软件功能测试验证;
5.工业网关产品软件sdk及library开发。
1.从事GIS数据制作、分析、数据管理等工作;
2.编写工作总结和作业流程等文件;
3.通过已经完成的矢量化成果和表格数据库入库和检查工作;
4.利用软件对图形和属性进行检查,并进行错误修改;
5.其他数据制作处理工作。
岗位职责:
深入研究业内领先的技术思路,输出具有创新价值的预研项目可行性分析报告以及相关实验数据;
负责产品、销售、供应链、电商等公司数据的海量挖掘,并建立和优化用户标签、特征模型、产品精准匹配、异常预警等;
负责大数据下传统机器学习算法的并行化实现及应用,并提出改进方法和思路;
参与公司大数据架构,负责BI实施中的数据挖掘模块算法研究、模型建立和优化,帮助实现数据挖掘和分析平台的建设;
负责相关数据挖掘项目的需求收集、项目建立、项目设计开发和结果输出质量把控,通过数据挖掘结果驱动业务执行;
配合技术进行数据挖掘模型开发和模型封装,例如决策规则模型、预警模型、流失模型、效果标杆模型、客户生命周期管理模型等;
任职要求:
大学本科及以上学历,统计学、计算机、信息技术、数学相关专业;
两年以上数据建模经验;
数据主流数据库,mysql、oracle、DB2等传统结构化数据仓库,熟悉HBase、MongoDB等非结构化数据库;
熟悉常用的聚类、分类、回归、关联、时间序列等监督式和非监督式学习算法;
熟悉R、Python、MLlib等数据挖掘工具中至少一种。
熟悉spark、storm等大数据计算框架者优先。
1.负责海量数据的分析开发工作;
2.完成数据挖掘模型,跟踪模型的实施和效果,定期优化算法和分析策略,分析研究后提供建设性建议;
3.优化大数据存储、计算等各方面性能,确保能从海量大数据信息里,有效进行数据分析和挖掘;
4.根据用户的活动记录进行特征筛选和关联挖掘。提高关联准确性;
5.参与相关数据标准和规范的制定。
1、负责公司与阿里巴巴在新行业方向(新金融、新零售、国内外运营商)的产品研发;
2、负责分析挖掘客户/行业对大数据产品的需求(应用场景),利用数据分析结论提升客户业务能力。例如:文本挖掘,潜在客户挖掘,用户画像,个性化推荐,用能预测等;
3、进行大数据场景下的数据统计、数据挖掘、机器学习、深度学习,包括数据整理、模型建立、模型应用、评估优化等;
4、将客户需求准确转化为可执行的数学模型,针对不同的应用场景,负责编写数据挖掘算法及对其的优化;
5、基于需求分析/运营支持/商业报告等成果,抽取典型用户/客户/行业/产品分析模型并与开发团队沟通实施方案及构建产品原型。
岗位要求:
1、本科以上学历,扎实的`机器学习、数据挖掘、统计学理论基础;有统计、应用数学、金融等相关专业背景优先;
2、精通常见机器学习算法(如逻辑回归、SVM、神经网络、决策树、贝叶斯等),有实际建模经验,掌握深度学习算法优先;
3、具有扎实的计算机操作系统、数据结构等编程基础,精通至少一门编程语言例如JAVA/python/R等;
4、熟悉Map-Reduce模型,对Hadoop、Spark、Storm等大规模数据存储与运算平台有实践经验优先。
岗位职责:
1、负责构建公司数据分析与数据挖掘业务分析体系,整体架构设计、规划,充分发挥数据的价值,提高数据质量,促进公司业务更好的发展;
2、通过建立业务的数据分析模型来指导业务的发展,对数据库信息进行深度挖掘和有效利用,充分实现数据的商业价值,构建公司核心竞争力;
3、跟踪并分析用户行为,为公司广告业务的发展及产品的设计进行海量数据支持;
4、负责数据管理中心团队的建设、发展、激励、培训等管理工作,有效领导数据分析与挖掘团队支持和推动业务发展。
任职要求:
1、热爱数据,对数据及逻辑关系敏感,并对数据体系有深入的认识;
2、本科以上学历、计算机/统计学/经济学等相关专业,有一定工作经验,;
3、具备数据建模(机器学习,数据挖掘,信息检索背景)和分析理论知识和经验;
4、熟悉Linux平台的海量数据分布式存储、分布式计算;
5、熟悉常用的数据分析工具,有基于Hadoop的云计算平台,HBase及类似的NoSQL存储, MySQL,和BI系统等实践经验;
6、熟悉互联网并且对于互联网常见的业务形态与商业模式有深入的理解,对业务变化有敏锐的洞察力;
7、有较强的对业务理解与分析能力,了解业务规划与策划能力以及相应经验;
8、具备较强的问题定位、分解、解决能力及计划和组织能力;
9、善于创新、思维敏捷、精力充沛,沟通能力强,能够承受较大工作压力;
10、有电子商务或互联网数据仓库或商业智能架构设计、开发实施经验者优先。
1. 参加团队会议与讨论,并给予有意义的建议;
2. 协助后端团队和架构师完成数据库相关的设计与开发;
3. 协助业务部门抓取、分析数据。
1、进行GIS数据建库和数据处理方案的设计和实现;
2、运用相关GIS软件进行数据空间化处理建库;
3、进行影像识别及处理;
4、进行数据采集处理建库项目管理。
1.数据采集系统和分布式爬虫系统的架构设计和开发
2.对接外部数据服务商提供的数据及资讯服务,实现数据的'有效沉淀,建立数据服务评估机制
3.负责大规模文本、图像、视频数据的抓取、抽取,去重、分类,垃圾过滤,质量识别等工作
4.研究各种目标网站的形态,互联网特征挖掘,发现它们的特点和规律
1、熟悉掌握业务系统功能,灵活制定不同业务的推广策略,通过活动运营、内容运营等方式策划并落地项目推广方案,拓展系统用户量及影响力。
2、熟悉公文写作,配合完成工作汇报材料的撰写及分析报告。
3、与企业及海关关系的协调和维护,强化合作关系,维护好项目参与方的'关系。
4、面向进出口企业开展调研,主动挖掘系统需求,进行需求分析,形成调研报告或业务需求报告。
5、项目管理相关工作,包括组织业务需求论证、项目立项、进度管理等根据项目管理规范开展相关工作。
6、完成领导交办的其他工作事项。
1、负责数据仓库(HADOOP)ETL工作以及数据运营;
2、负责数据产品的业务需求梳理、数据开发以及维护;
3、负责数据仓库的'维度建模以及设计相关的脚本调度;
4、负责维度模型的数据处理的脚本开发,程序开发以及接口对接。
1、负责数据仓库的设计、开发、部署、维护和优化;
2、参与公司项目数据库架构设计,及相关文档的撰写;
3、协助开发完成数据库表的设计以及SQL调优,给开发人员提供SQL调优指导;
4、负责数据库技术规范建设。
1.针对用户行为预测业务,负责用户画像、订单特征体系建设,包括离线数据产出以及服务化;
2.针对用户端上行为产出的实时数据流,挖掘实时特征并服务化;
3.针对客服场景,挖掘实时用户行为异常以及进线异常;
4.针对智能客服场景用户标签挖掘,人群挖掘等工作,支持智能运营方向的业务;
5.负责开发并维护智能客服业务的特征服务系统。
1、3年以上etl开发经验,熟悉etl开发规范和流程;
2、熟练使用datastage、informatica、kettle、hive、plsql、spark、mapreduce等工具中的一个或多个,有开发、维护经验;
3、熟练编写存储过程,擅长sql优化;
4、熟悉oracle、sqlserver等常用数据库中的`一个或多个;
5、熟悉perl、shell脚本,linux操作系统;
6、有大型数据仓库、bi相关项目的开发经验,精通架构、建模者优先;
7、熟练使用erwin或powerdesigner等进行数据建模;
8、以下经验优先考虑:流式处理、日志处理、数据仓库全日制本科以上学历(985/211),计算机科学与技术/软件工程/数据相关专业
1、3年以上etl开发经验,熟悉etl开发规范和流程;
2、熟练使用datastage、informatica、kettle、hive、plsql、spark、mapreduce等工具中的一个或多个,有开发、维护经验;
3、熟练编写存储过程,擅长sql优化;
4、熟悉oracle、sqlserver等常用数据库中的一个或多个;
5、熟悉perl、shell脚本,linux操作系统;
6、有大型数据仓库、bi相关项目的开发经验,精通架构、建模者优先;
7、熟练使用erwin或powerdesigner等进行数据建模;
8、以下经验优先考虑:流式处理、日志处理、数据仓库
1.负责linux平台下应用软件开发,根据产品与项目要求,开展模块设计.编码等工作;
2.负责linux软件的交叉编译与移植;
3.参与需求分析.软件设计.开发.调试以及测试维护全过程;
4.负责协同硬件工程师或第三方方案商完成系统功能模块的联调及功能对接.接口文文件输出;
5.负责嵌入式系统软件平台搭建工作;
职责:
1、参与数据ETL和数据仓库治理;
2、参与大数据分析和挖掘,个性化推荐等系统的设计和开发;
3、负责数据挖掘、自然语言处理及预测等相关模型、算法的设计与开发;
4、参与BI等系统基础数据支撑开发;
5、参与用户画像、用户行为评分、行业指数、销售预测等功能模块的开发;
6、参与爬虫等外部相关数据爬取。
任职要求:
1、熟悉概率论和统计方法;
2、掌握统计学习方法和机器学习算法者优先;
3、掌握JAVA,理解MapReduce开发思维,能独立开发分布式计算;熟悉Shell、R、MATLAB、Octive、Python等脚本语言或应用开发者优先;
4、熟悉关系型数据库MySQL等,了解NoSQL;
5、具备工程化思维,思考数据业务能够全面谨慎;
6、具备快速学习的能力和业务理解力,对数据开发有浓厚的兴趣,具备理解和整合算法的能力。