1. 大数据工程师职业到底有多好
谈大数据工程师职位之前我们先来聊聊互联网的职位发展,2018年是互联网低迷成为大数据开发工程师,别墅靠大海的一年。
而与之相对的,是19届毕业生已经开始走上舞台。据某招聘网站调查显示北京地区应届生期望薪资更是达到12992元。
如果你想要学好大数据最好加入一个好的学习环境,可以来这个Q群251—956–502 这样大家学习的话就比较方便,还能够共同交流和分享资料
“一代新人换旧人”,大数据是眼下非常时髦的技术名词,与此同时自然也催生出了一些与大数据处理相关的职业。
通过对数据的挖掘分析来影响企业的商业决策。毫无疑问,对于未来,大数据必定会带来崭新的格局。
从移动支付到共享经济,从万物互联到智慧城市,从大数据这一概念被初步接受,到刷屏的年度账单、听歌报告,大数据所创造的价值正在一步一步体现。
互联网、金融、电信、医疗、交通、民生,各行业都开始进行大数据应用,大数据的应用场景在未来更是有着无限可能。
关于数据工程师职业到底有多好,青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣,希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容,可以点击本站的其他文章进行学习。
2. 如何成为一名大数据工程师
大数据是眼下非常时髦的技术名词,与此同时自然也催生出了一些与大数据处理相关的职业,通过对数据的挖掘分析来影响企业的商业决策。
这群人在国外被叫做数据科学家(Data Scientist),这个头衔最早由D.J.Pati和Jeff Hammerbacher于2008年提出,他们后来分别成为了领英(LinkedIn)和Facebook数据科学团队的负责人。而数据科学家这个职位目前也已经在美国传统的电信、零售、金融、制造、物流、医疗、教育等行业里开始创造价值。
不过在国内,大数据的应用才刚刚萌芽,人才市场还不那么成熟,“你很难期望有一个全才来完成整个链条上的所有环节。更多公司会根据自己已有的资源和短板,招聘能和现有团队互补的人才。”领英(LinkedIn)中国商务分析及战略总监王昱尧对《第一财经周刊》说。
数据工程师是做什么的?于是每家公司对大数据工作的要求不尽相同:有的强调数据库编程、有的突出应用数学和统计学知识、有的则要求有咨询公司或投行相关的经验、有些是希望能找到懂得产品和市场的应用型人才。正因为如此,很多公司会针对自己的业务类型和团队分工,给这群与大数据打交道的人一些新的头衔和定义:数据挖掘工程师、大数据专家、数据研究员、用户分析专家等都是经常在国内公司里出现的Title,我们将其统称为“大数据工程师”。
由于国内的大数据工作还处在一个有待开发的阶段,因此能从其中挖掘出多少价值完全取决于工程师的个人能力。已经身处这个行业的专家给出了一些人才需求的大体框架,包括要有计算机编码能力、数学及统计学相关背景,当然如果能对一些特定领域或行业有比较深入的了解,对于其快速判断并抓准关键因素则更有帮助。
虽然对于一些大公司来说,拥有硕博学历的公司人是比较好的选择,不过阿里巴巴集团研究员薛贵荣强调,学历并不是最主要的因素,能有大规模处理数据的经验并且有喜欢在数据海洋中寻宝的好奇心会更适合这个工作。
除此之外,一个优秀的大数据工程师要具备一定的逻辑分析能力,并能迅速定位某个商业问题的关键属性和决定因素。“他得知道什么是相关的,哪个是重要的,使用什么样的数据是最有价值的,如何快速找到每个业务最核心的需求。”联合国网络大数据联合实验室数据科学家沈志勇说。学习能力能帮助大数据工程师快速适应不同的项目,并在短时间内成为这个领域的数据专家;沟通能力则能让他们的工作开展地更顺利,因为大数据工程师的工作主要分为两种方式:由市场部驱动和由数据分析部门驱动,前者需要常常向产品经理了解开发需求,后者则需要找运营部了解数据模型实际转化的情况。
你可以将以上这些要求看做是成为大数据工程师的努力方向,因为根据万宝瑞华管理合伙人颜莉萍(Nicole Yan)的观察,这是一个很大的人才缺口。目前国内的大数据应用多集中在互联网领域,有超过56%的企业在筹备发展大数据研究,“未来5年,94%的公司都会需要数据科学家。”颜莉萍(Nicole Yan)说。因此她也建议一些原本从事与数据工作相关的公司人可以考虑转型。
用阿里巴巴集团研究员薛贵荣的话来说,大数据工程师就是一群“玩数据”的人,玩出数据的商业价值,让数据变成生产力。大数据和传统数据的最大区别在于,它是在线的、实时的,规模海量且形式不规整,无章法可循,因此“会玩”这些数据的人就很重要。
沈志勇认为如果把大数据想象成一座不停累积的矿山,那么大数据工程师的工作就是,“第一步,定位并抽取信息所在的数据集,相当于探矿和采矿。第二步,把它变成直接可以做判断的信息,相当于冶炼。最后是应用,把数据可视化等。”
因此分析历史、预测未来、优化选择,这是大数据工程师在“玩数据”时最重要的三大任务。通过这三个工作方向,他们帮助企业做出更好的商业决策。
1.找出过去事件的特征
大数据工程师一个很重要的工作,就是通过分析数据来找出过去事件的特征。比如,腾讯的数据团队正在搭建一个数据仓库,把公司所有网络平台上数量庞大、不规整的数据信息进行梳理,总结出可供查询的特征,来支持公司各类业务对数据的需求,包括广告投放、游戏开发、社交网络等。
找出过去事件的特征,最大的作用是可以帮助企业更好地认识消费者。通过分析用户以往的行为轨迹,就能够了解这个人,并预测他的行为。“你可以知道他是什么样的人、他的年纪、兴趣爱好,是不是互联网付费用户、喜欢玩什么类型的游戏,平常喜欢在网上做什么事情。”腾讯云计算有限公司北京研发中心总经理郑立峰对《第一财经周刊》说。下一步到了业务层面,就可以针对各类人群推荐相关服务,比如手游,或是基于不同特征和需求衍生出新的业务模式,比如微信的电影票业务。
2.预测未来可能发生的事情
通过引入关键因素,大数据工程师可以预测未来的消费趋势。在阿里妈妈的营销平台上,工程师正试图通过引入气象数据来帮助淘宝卖家做生意。“比如今年夏天不热,很可能某些产品就没有去年畅销,除了空调、电扇,背心、游泳衣等都可能会受其影响。那么我们就会建立气象数据和销售数据之间的关系,找到与之相关的品类,提前警示卖家周转库存。”薛贵荣说。
在网络,沈志勇支持“网络预测”部分产品的模型研发,试图用大数据为更广泛的人群服务。已经上线的包括世界杯预测、高考预测、景点预测等。以网络景点预测为例,大数据工程师需要收集所有可能影响一段时间内景点人流量的关键因素进行预测,并为全国各个景点未来的拥挤度分级—在接下来的若干天时间里,它究竟是畅通、拥挤,还是一般拥挤?
3.找出最优化的结果
根据不同企业的业务性质,大数据工程师可以通过数据分析来达到不同的目的。
以腾讯来说,郑立峰认为能反映大数据工程师工作的最简单直接的例子就是选项测试(AB Test),即帮助产品经理在A、B两个备选方案中做出选择。在过去,决策者只能依据经验进行判断,但如今大数据工程师可以通过大范围地实时测试—比如,在社交网络产品的例子中,让一半用户看到A界面,另一半使用B界面,观察统计一段时间内的点击率和转化率,以此帮助市场部做出最终选择。
作为电商的阿里巴巴,则希望通过大数据锁定精准的人群,帮助卖家做更好的营销。“我们更期待的是你能找到这样一批人,比起现有的用户,这些人对产品更感兴趣。”薛贵荣说。一个淘宝的实例是,某人参卖家原来推广的目标人群是产妇,但工程师通过挖掘数据之间的关联性后发现,针对孕妇群体投放的营销转化率更高。
需要具备的能力
1.数学及统计学相关的背景
就我们采访过的BAT三家互联网大公司来说,对于大数据工程师的要求都是希望是统计学和数学背景的硕士或博士学历。沈志勇认为,缺乏理论背景的数据工作者,更容易进入一个技能上的危险区域(Danger Zone)—一堆数字,按照不同的数据模型和算法总能捯饬出一些结果来,但如果你不知道那代表什么,就并不是真正有意义的结果,并且那样的结果还容易误导你。“只有具备一定的理论知识,才能理解模型、复用模型甚至创新模型,来解决实际问题。”沈志勇说。
2.计算机编码能力
实际开发能力和大规模的数据处理能力是作为大数据工程师的一些必备要素。“因为许多数据的价值来自于挖掘的过程,你必须亲自动手才能发现金子的价值。”郑立峰说。
举例来说,现在人们在社交网络上所产生的许多记录都是非结构化的数据,如何从这些毫无头绪的文字、语音、图像甚至视频中攫取有意义的信息就需要大数据工程师亲自挖掘。即使在某些团队中,大数据工程师的职责以商业分析为主,但也要熟悉计算机处理大数据的方式。
3.对特定应用领域或行业的知识
在颜莉萍(Nicole Yan)看来,大数据工程师这个角色很重要的一点是,不能脱离市场,因为大数据只有和特定领域的应用结合起来才能产生价值。所以,在某个或多个垂直行业的经历能为应聘者积累对行业的认知,对于之后成为大数据工程师有很大帮助,因此这也是应聘这个岗位时较有说服力的加分项。
“他不能只是懂得数据,还要有商业头脑,不论对零售、医药、游戏还是旅游等行业,能就其中某些领域有一定的理解,最好还是与公司的业务方向一致的,”就此薛贵荣还打了个比方,“过去我们说一些奢侈品店员势利,看人一眼就知道买得起买不起,但这群人恰恰是有敏锐度的,我们认为他们是这个行业的专家。又比如对医疗行业了解的人,他在考虑医疗保险业务时,不仅会和人们医院看病的记录相关,也会考虑饮食数据,这些都是基于对该领域的了解。”
职业发展1.如何成为大数据工程师
由于目前大数据人才匮乏,对于公司来说,很难招聘到合适的人才—既要有高学历,同时最好还有大规模数据处理经验。因此很多企业会通过内部挖掘。
2014年8月,阿里巴巴举办了一个大数据竞赛,把天猫平台上的数据拿出来,去除敏感问题后,放到云计算平台上交予7000多支队伍进行比赛,比赛分为内部赛和外部赛。“通过这个方式来激励内部员工,同时也发现外部人才,让各行业的大数据工程师涌现出来。”
颜莉萍(Nicole Yan)建议,目前长期从事数据库管理、挖掘、编程工作的人,包括传统的量化分析师、Hadoop方面的工程师,以及任何在工作中需要通过数据来进行判断决策的管理者,比如某些领域的运营经理等,都可以尝试该职位,而各个领域的达人只要学会运用数据,也可以成为大数据工程师。
2.薪酬待遇
作为IT类职业中的“大熊猫”,大数据工程师的收入待遇可以说达到了同类的顶级。根据颜莉萍(Nicole Yan)的观察,国内IT、通讯、行业招聘中,有10%都是和大数据相关的,且比例还在上升。颜莉萍(Nicole Yan)表示,“大数据时代的到来很突然,在国内发展势头激进,而人才却非常有限,现在完全是供不应求的状况。”在美国,大数据工程师平均每年薪酬高达17.5万美元,而据了解,在国内顶尖互联网类公司,同一个级别大数据工程师的薪酬可能要比其他职位高20%至30%,且颇受企业重视。
3.职业发展路径
由于大数据人才数量较少,因此大多数公司的数据部门一般都是扁平化的层级模式,大致分为数据分析师、资深研究员、部门总监3个级别。大公司可能按照应用领域的维度来划分不同团队,而在小公司则需要身兼数职。有些特别强调大数据战略的互联网公司则会另设最高职位—如阿里巴巴的首席数据官。“这个职位的大部分人会往研究方向发展,成为重要数据战略人才。”颜莉萍(Nicole Yan)说。另一方面,大数据工程师对商业和产品的理解,并不亚于业务部门员工,因此也可转向产品部或市场部,乃至上升为公司的高级管理层。
3. Python数据工程师是什么职位
Python大数据工程师:在大数据时代,数据是公司的核心资产,从杂乱无章的数据中提取有价值的信息或者规律,成为了数据分析师的首要任务,而Python的工具链为这项繁重的工作提供了极高的效率支持。
Python数据工程师主要负责基于Python的数据爬取、数据分析、数据处理、数据开发等工作,其他工作需要结合公司不同业务具体划分。
4. 大数据工程师好做吗
大数据是眼下非常时髦的技术名词,与此同时自然也催生出了一些与大数据处理相关的职业,通过对数据的挖掘分析来影响企业的商业决策。
不过在国内,大数据的应用才刚刚萌芽,人才市场还不那么成熟,“你很难期望有一个全才来完成整个链条上的所有环节。更多公司会根据自己已有的资源和短板,招聘能和现有团队互补的人才。
于是每家公司对大数据工作的要求不尽相同:有的强调数据库编程、有的突出应用数学和统计学知识、有的则要求有咨询公司或投行相关的经验、有些是希望能找到懂得产品和市场的应用型人才。正因为如此,很多公司会针对自己的业务类型和团队分工,给这群与大数据打交道的人一些新的头衔和定义:数据挖掘工程师、大数据专家、数据研究员、用户分析专家等都是经常在国内公司里出现的Title,我们将其统称为“大数据工程师”。
一个优秀的大数据工程师要具备一定的逻辑分析能力,并能迅速定位某个商业问题的关键属性和决定因素。“他得知道什么是相关的,哪个是重要的,使用什么样的数据是最有价值的,如何快速找到每个业务最核心的需求。”联合国网络大数据联合实验室数据科学家沈志勇说。学习能力能帮助大数据工程师快速适应不同的项目,并在短时间内成为这个领域的数据专家;沟通能力则能让他们的工作开展地更顺利,因为大数据工程师的工作主要分为两种方式:由市场部驱动和由数据分析部门驱动,前者需要常常向产品经理了解开发需求,后者则需要找运营部了解数据模型实际转化的情况。
你可以将以上这些要求看做是成为大数据工程师的努力方向,这是一个很大的人才缺口。目前国内的大数据应用多集中在互联网领域,有超过56%的企业在筹备发展大数据研究,未来5年,94%的公司都会需要数据科学家。因此也建议一些原本从事与数据工作相关的公司人可以考虑转型。
大数据工程师就是一群“玩数据”的人,玩出数据的商业价值,让数据变成生产力。大数据和传统数据的最大区别在于,它是在线的、实时的,规模海量且形式不规整,无章法可循,因此“会玩”这些数据的人就很重要。
因此分析历史、预测未来、优化选择,这是大数据工程师在“玩数据”时最重要的三大任务。通过这三个工作方向,他们帮助企业做出更好的商业决策。
如何成为大数据工程师
由于目前大数据人才匮乏,对于公司来说,很难招聘到合适的人才—既要有高学历,同时最好还有大规模数据处理经验。因此很多企业会通过内部挖掘。
目前长期从事数据库管理、挖掘、编程工作的人,包括传统的量化分析师、Hadoop方面的工程师,以及任何在工作中需要通过数据来进行判断决策的管理者,比如某些领域的运营经理等,都可以尝试该职位,而各个领域的达人只要学会运用数据,也可以成为大数据工程师。
薪酬待遇
作为IT类职业中的“大熊猫”,大数据工程师的收入待遇可以说达到了同类的顶级。根据颜莉萍的观察,国内IT、通讯、行业招聘中,有10%都是和大数据相关的,且比例还在上升。大数据时代的到来很突然,在国内发展势头激进,而人才却非常有限,现在完全是供不应求的状况。在美国,大数据工程师平均每年薪酬高达17.5万美元,而据了解,在国内顶尖互联网类公司,同一个级别大数据工程师的薪酬可能要比其他职位高20%至30%,且颇受企业重视。
职业发展路径
由于大数据人才数量较少,因此大多数公司的数据部门一般都是扁平化的层级模式,大致分为数据分析师、资深研究员、部门总监3个级别。大公司可能按照应用领域的维度来划分不同团队,而在小公司则需要身兼数职。有些特别强调大数据战略的互联网公司则会另设最高职位—如阿里巴巴的首席数据官。这个职位的大部分人会往研究方向发展,成为重要数据战略人才。。另一方面,大数据工程师对商业和产品的理解,并不亚于业务部门员工,因此也可转向产品部或市场部,乃至上升为公司的高级管理层。
5. 大数据开发工程师以后可以从事哪些岗位
大数据开发工程师,其实包括的具体的岗位很多,包括:大数据开发工程师、大数据架构工程师、大数据运维工程师、数据可视化工程师、数据采集工程师、数据挖掘工程师、机器学习工程师、深度学习工程师、算法工程师等等,都可以算是大数据开发工程师的范畴。
6. 为什么我们公司的“软件开发工程师”和“数据库开发工程师”这么难招人
这个软件开发工程师与数据库开发工程师人员难招的原因在于公司和求职者两方面原因:
公司原因:
1、招聘要求太高,而待遇确没有与之匹配,没有打动求职者
2、面试管主观上原因,比如明明是招软件工程师,却提出其他要求,比如管理经验呀之类的将自己的一些强项用来审视求职者。
3、公司的地理位置,交通等是否方便也是一个重要因素。
4、
求职者原因:
1、经验丰富的求职者,往往会提出较高的待遇要求,而一般公司又对新人有谨慎的态度,毕竟只是普通技术岗位,不是管理岗,初期的待遇不会给的太高。
2、经验欠缺的求职者,希望的是能在新的地方,能获得更好的学习机会,但公司往往需要那些一来就可以独立承担工作的人员。
综合来看,现在中国国情就是,公司和求职者都比较浮躁,公司不愿意培养人,只想利用人,而求职者又想不断寻求待遇更高的岗位,如果在同一个领域或同一个行业求职,可能会更能得到理想的结果,但可选范围受限,所以跳槽不容易。
7. 2021年大数据工程师好不好找工作
1、一线城市就业机会多
据报告显示,985、211高校在内的重点高校大学毕业生去往一线城市的比例很高,非重点大学毕业的大学生也有大部分毕业后去往一线城市。一线城市在科技产业、金融领域、互联网领域处于国家前端的优势。一线城市是国内优秀企业的集聚地,有非常多的大企业对人才的需求量大,就业机会多。
2、大数据工程师人才缺少
大数据人才稀少,大数据开发面临巨大人才缺口,目前各个领域都需要大数据技术来支持,而大数据人才缺口达130万,很多企业对大数据工程师求之不得。人才的培养需要理论教学和实践练习相结合,也就是需要时间,大数据培训机构应用而生。国内IT、通讯、行业招聘中,有10%都是和大数据相关的,且比例还在上升。大数据时代的到来很突然,在国内发展势头激进,而人才却非常有限,现在完全是供不应求的状况。
3、一线城市是高新科技的集聚地
科技的优势改变了世界,一线城市是高新科技的集聚地,集中了中国最顶尖的科研机构,高等院校,以及资深高科技企业,引领了中国科技发展的潮流,引领中国企业的发展潮流。由于大数据人才数量较少,因此一线城市大多数公司的数据部门一般都是扁平化的层级模式,大致分为数据分析师、资深研究员、部门总监3个级别。大数据战略的互联网公司则会另设最高职位—如阿里巴巴的首席数据官。大数据工程师对商业和产品的理解,并不亚于业务部门员工,因此也可转向产品部或市场部,乃至上升为公司的高级管理层。
8. 数据分析工程师的工资一般是多少
在大数据工程师前景的道路上,你是选择永远呆着数据分析助理或初级数据分析师领域,还是向上走,走到高级数据分析师、资深数据分析师,甚至是数据科学家、数据分析专家的级别,这一切都看你自己的努力和选择。
9. 大数据工程师好找工作吗
一、一线城市就业机会多
据报告显示,985、211高校在内的重点高校大学毕业生去往一线城市的比例很高,非重点大学毕业的大学生也有大部分毕业后去往一线城市。一线城市在科技产业、金融领域、互联网领域处于国家前端的优势。一线城市是国内优秀企业的集聚地,有非常多的大企业对人才的需求量大,就业机会多。
二、大数据工程师人才缺少
大数据人才稀少,大数据开发面临巨大人才缺口,目前各个领域都需要大数据技术来支持,而大数据人才缺口达130万,很多企业对大数据工程师求之不得。人才的培养需要理论教学和实践练习相结合,也就是需要时间,大数据培训机构应用而生。国内IT、通讯、行业招聘中,有10%都是和大数据相关的,且比例还在上升。大数据时代的到来很突然,在国内发展势头激进,而人才却非常有限,现在完全是供不应求的状况。
三、一线城市是高新科技的集聚地
科技的优势改变了世界,一线城市是高新科技的集聚地,集中了中国最顶尖的科研机构,高等院校,以及资深高科技企业,引领了中国科技发展的潮流,引领中国企业的发展潮流。由于大数据人才数量较少,因此一线城市大多数公司的数据部门一般都是扁平化的层级模式,大致分为数据分析师、资深研究员、部门总监3个级别。大数据战略的互联网公司则会另设最高职位—如阿里巴巴的首席数据官。大数据工程师对商业和产品的理解,并不亚于业务部门员工,因此也可转向产品部或市场部,乃至上升为公司的高级管理层。
关于大数据工程师好找工作吗,青藤小编就和您分享到这里了。如果你对大数据工程有浓厚的兴趣,希望这篇文章能够对你有所帮助。如果您还想了解更多数据分析师、大数据工程师的技巧及素材等内容,可以点击本站的其他文章进行学习。
10. 请问数据挖掘工程师,起薪有多少
不同公司起薪不同,相差也比较大。
给你一个地址,里面都是数据仓库商业智能数据挖掘方面人才的招聘信息,好多是猎头在里面找人才。你可以参考一下里同的薪水水平。跟里面的会员了沟通了解一下。
数据仓库之路人才论坛http://bbs.dwway.com/forumdisplay.php?fid=8