向右滑动:上一篇 向左滑动:下一篇 我知道了
广告

数据科学家、数据工程师和软件工程师有什么区别?

时间:2017-04-03 作者:雷锋网 阅读:
大家都知道,这三种角色各有不同定位,也知道他们之间有许多一致的地方,但是否能讲明白这其中的区别呢?
电子工程专辑 EE Times China -提供有关电子工程及电子设计的最新资讯和科技趋势

国外 ETL 服务商 Stitch 的 CEO Jake Stein,近日对这个话题进行了总结。他还绘制了一张工具图,来呈现他们在日常工具使用上的不同。对于新手,也可以通过这张图来看典型的“数据科学家”、“数据工程师”和“软件工程师”都要掌握哪些工具。ROpEETC-电子工程专辑

Jake Stein:随着数据的爆炸式增长,对数据处理的专家技能需求也随之井喷。这带来的结果之一,是更精细的分工。对于数据管理工作的核心角色:数据科学家、数据工程师和软件工程师,过去几年见证了他们越来越清晰的定位。ROpEETC-电子工程专辑

对于新兴职位“数据工程师”,它算是“软件工程师”下面新浮现出的一个子类别。单列出该职位是一项英美近年来的趋势。但在许多公司,迁移、管理数据仍旧是软件工程师的活。
engineer-software-data
三种数据职位的不同技能需求ROpEETC-电子工程专辑

职能概括

软件工程师ROpEETC-电子工程专辑

软件工程师干的活儿是开发应用和系统。这过程中的每一个环节,从设计、写代码、测试到检查,开发者都要参与。生成数据的产品都是他们开发的。软件工程是三个角色中最古老的一个,并且有相当成熟的方法体系和工具库。ROpEETC-电子工程专辑

工作内容包括:ROpEETC-电子工程专辑

• 前端、后端开发ROpEETC-电子工程专辑

• 网页应用ROpEETC-电子工程专辑

• 移动应用ROpEETC-电子工程专辑

• 操作系统开发ROpEETC-电子工程专辑

• 软件设计ROpEETC-电子工程专辑

数据工程师ROpEETC-电子工程专辑

数据工程师需要开发能对数据进行整合、存储和提取的系统,并从软件工程师开发的应用和系统中获取数据。数据工程的诞生,是作为软件工程大类下的一个更细分的技能类别。据了解,根据国外统计,40% 的数据工程师原本是软件工程师。这是目前一个很普遍的职业发展道路(软件工程师专注做数据工程)。ROpEETC-电子工程专辑

工作内容包括:ROpEETC-电子工程专辑

• 高级数据结构ROpEETC-电子工程专辑

• 分布式计算ROpEETC-电子工程专辑

• 并发程序设计ROpEETC-电子工程专辑

• 使用 Hadoop, Spark, Kafka, Hive 等新工具ROpEETC-电子工程专辑

• 开发ETL/数据流水线(data pipelines)ROpEETC-电子工程专辑

数据科学家ROpEETC-电子工程专辑

数据科学家的职责是基于数据作分析。ROpEETC-电子工程专辑

或许有一只想要更好理解消费者行为的团队,仅仅做一个单次分析。也可能是开发一个机器学习算法,然后将之在软件工程师和数据工程师开发的代码基础上执行。ROpEETC-电子工程专辑

工作内容包括:ROpEETC-电子工程专辑

• 数据建模ROpEETC-电子工程专辑

• 机器学习ROpEETC-电子工程专辑

• 算法ROpEETC-电子工程专辑

• 商业智能的 dashboardsROpEETC-电子工程专辑

这些角色定位仍在进化之中。有些大公司从软件工程团队中拉出数据工程师,组建一支中央数据团队。这样,基础设施和数据分析工作能在一起。有些案例中,数据科学家既需要做数据分析,也需要做数据整合。ROpEETC-电子工程专辑

EETC wechat barcode


关注最前沿的电子设计资讯,请关注“电子工程专辑微信公众号”。
ROpEETC-电子工程专辑

ROpEETC-电子工程专辑

电子工程专辑 EE Times China -提供有关电子工程及电子设计的最新资讯和科技趋势
本文为EET电子工程专辑 原创文章,禁止转载。请尊重知识产权,违者本司保留追究责任的权利。
您可能感兴趣的文章
  • ASML、中芯国际双双回应EUV光刻机“禁运”事件 去年4月,中芯国际(SMIC)向荷兰半导体制造设备供应商阿斯麦尔(ASML)公司订购了一台EUV光刻机,用于研究7nm及以下的先进工艺。花费超过1.2亿欧元(约10亿人民币)。而在去年12月,临近交货时间,ASML突发大火,导致2019年供货情况递延。2019年已经临近尾声,EUV仍未交付至中芯,业内再次传出“延迟交货”的风声……
  • 我的新Garmin智能手表使用心得... 我要告解一件事:Amazon在线商店特价销售蓝宝石玻璃面板(还有不锈钢表框)版本的Garmin智能手表fēnix 5,只要399美元!我忍不住败下去了…
  • 掘金数据时代,企业该如何处理海量信息问题? “到2025年,全球将共计有1000亿个互联设备。我们和我们的客户有很多传感器等方面的应用,通过这些设备和应用,我们收集到了很多的数据。而未来的数据更复杂,西门子的产品和解决方案可以帮助大家来充分利用这些复杂的数据。” 西门子工业软件董事长兼CEO Tony Hemmelgarn在11月7日的全球CEO峰会上这样表示。
  • 剖析主动降噪耳机应用场景与需求 上班族是耳机应用最主要的族群之一,根据调查欧美不同地区分别有五至七成的比例,喜欢在乘车时间听音乐,可见其市场不容小觑,所以对于耳机品牌商来说,上班族一直都是布局与宣传的重点。
  • 当特斯拉遇到EULA——就是一场悲剧 高科技产业中的一些人错误地将不负责任解读为“颠覆性”创新。我们绝对不能让那些人经营汽车产业…
  • PCI-SIG发布PCIe 6.0规格 近期人工智能(AI)、机器学习(ML)的大行其道,对于服务器运算能力的要求越来越高,这对服务器内部传输速率带来新挑战,因此PCI-SIG近期也宣布了第六代规格PCIe 6.0。
相关推荐
    广告
    近期热点
    广告
    广告
    广告
    可能感兴趣的话题
    广告