广告

数据科学家、数据工程师和软件工程师有什么区别?

时间:2017-04-03 作者:雷锋网 阅读:
大家都知道,这三种角色各有不同定位,也知道他们之间有许多一致的地方,但是否能讲明白这其中的区别呢?
EETC https://www.eet-china.com

国外 ETL 服务商 Stitch 的 CEO Jake Stein,近日对这个话题进行了总结。他还绘制了一张工具图,来呈现他们在日常工具使用上的不同。对于新手,也可以通过这张图来看典型的“数据科学家”、“数据工程师”和“软件工程师”都要掌握哪些工具。NKBEETC-电子工程专辑

Jake Stein:随着数据的爆炸式增长,对数据处理的专家技能需求也随之井喷。这带来的结果之一,是更精细的分工。对于数据管理工作的核心角色:数据科学家、数据工程师和软件工程师,过去几年见证了他们越来越清晰的定位。NKBEETC-电子工程专辑

对于新兴职位“数据工程师”,它算是“软件工程师”下面新浮现出的一个子类别。单列出该职位是一项英美近年来的趋势。但在许多公司,迁移、管理数据仍旧是软件工程师的活。
engineer-software-data
三种数据职位的不同技能需求NKBEETC-电子工程专辑

职能概括

软件工程师NKBEETC-电子工程专辑

软件工程师干的活儿是开发应用和系统。这过程中的每一个环节,从设计、写代码、测试到检查,开发者都要参与。生成数据的产品都是他们开发的。软件工程是三个角色中最古老的一个,并且有相当成熟的方法体系和工具库。NKBEETC-电子工程专辑

工作内容包括:NKBEETC-电子工程专辑

• 前端、后端开发NKBEETC-电子工程专辑

• 网页应用NKBEETC-电子工程专辑

• 移动应用NKBEETC-电子工程专辑

• 操作系统开发NKBEETC-电子工程专辑

• 软件设计NKBEETC-电子工程专辑

数据工程师NKBEETC-电子工程专辑

数据工程师需要开发能对数据进行整合、存储和提取的系统,并从软件工程师开发的应用和系统中获取数据。数据工程的诞生,是作为软件工程大类下的一个更细分的技能类别。据了解,根据国外统计,40% 的数据工程师原本是软件工程师。这是目前一个很普遍的职业发展道路(软件工程师专注做数据工程)。NKBEETC-电子工程专辑

工作内容包括:NKBEETC-电子工程专辑

• 高级数据结构NKBEETC-电子工程专辑

• 分布式计算NKBEETC-电子工程专辑

• 并发程序设计NKBEETC-电子工程专辑

• 使用 Hadoop, Spark, Kafka, Hive 等新工具NKBEETC-电子工程专辑

• 开发ETL/数据流水线(data pipelines)NKBEETC-电子工程专辑

数据科学家NKBEETC-电子工程专辑

数据科学家的职责是基于数据作分析。NKBEETC-电子工程专辑

或许有一只想要更好理解消费者行为的团队,仅仅做一个单次分析。也可能是开发一个机器学习算法,然后将之在软件工程师和数据工程师开发的代码基础上执行。NKBEETC-电子工程专辑

工作内容包括:NKBEETC-电子工程专辑

• 数据建模NKBEETC-电子工程专辑

• 机器学习NKBEETC-电子工程专辑

• 算法NKBEETC-电子工程专辑

• 商业智能的 dashboardsNKBEETC-电子工程专辑

这些角色定位仍在进化之中。有些大公司从软件工程团队中拉出数据工程师,组建一支中央数据团队。这样,基础设施和数据分析工作能在一起。有些案例中,数据科学家既需要做数据分析,也需要做数据整合。NKBEETC-电子工程专辑

EETC wechat barcode


关注最前沿的电子设计资讯,请关注“电子工程专辑微信公众号”。
NKBEETC-电子工程专辑

NKBEETC-电子工程专辑

EETC https://www.eet-china.com
本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
您可能感兴趣的文章
  • 工业4.0的“智”动化解决方案涉及微处理器、多协议无 7月11日,由全球最大电子科技媒体集团ASPENCORE旗下《电子工程专辑》、《电子技术设计》和《国际电子商情》主办的2019“智”动化和工业4.0论坛在深圳科技园举行,来自美国、香港、台湾和大陆的八家领先企业的技术专家与来自智能制造和工业自动化领域的专业人士进行了面对面的互动交流。
  • 大疆无人机通过美国内政部审核! 7月11日报道 境外媒体报道称,大疆创新推出的大疆政企版无人机系统,已通过美国内政部的官方测试与独立验证。美国内政部表示在对大疆进行的15个月严格评估中,没有发现数据在系统外传输。
  • 行AI之术,察腠理之疾 《扁鹊见蔡桓公》相信大家小时候都背过,蔡桓公讳疾忌医,最后导致病入骨髓、体痛致死。时至今日,人们虽然不再讳疾忌医,但医疗资源紧缺让大家只能把大量时间耗费在大医院排队中。在疾病之初,症状初显甚至未显之时,能否在家中通过自查发现呢?不是每家都可以有神医扁鹊,但未来AI和先进半导体技术的加持下,每家都可以有精准而方便的家用医疗器械……
  • 各项生物识别技术,谁最适合高安全应用场景? 各项生物识别技术都存在自身的局限性、应用场景的无限丰富性这些问题,比如很多老人的指纹已经磨损难以识别、打电话的过程中难以采集人脸和指纹等。因此,没有任何一种生物识别技术可以满足所有场景的需要,多种生物识别结合使用也成为满足安全性、易用性和成本控制等方面的综合需要……
  • 大豆换芯片:美政府有条件解禁华为供货 美国商务部长罗斯周二表示,中国电信巨头华为仍在黑名单上,将允许美国公司在不危及国家安全的情况下向华为销售产品。但关于哪些产品将通过审查等关键问题仍然存疑。
  • 中兴与阿根廷合作,美国又不愿意了! 据报道,今年3月,中兴公司与阿根廷胡胡伊省签订商业合同,引发美国强烈关注,并称“中国正通过收集和利用数据支持任意监控并让反对者噤声”。白宫官员称,中方利用出口技术装备和服务在拉美推广“中国式镇压”。
相关推荐
    广告
    近期热点
    广告
    广告
    广告
    可能感兴趣的话题
    广告