导航:首页 > 项目工程 > 数据挖掘工程师一般都做什么

数据挖掘工程师一般都做什么

发布时间:2021-08-15 20:44:38

⑴ 毕业想当一名数据挖掘工程师,现在怎么准备

http://blogger.org.cn/blog/more.asp?name=DMman&id=26061
数据挖掘新手常见疑问解答(1) 数据挖掘青年
以下为blog主人的回复:

这种情况很常见,而且我觉得这时更是一个锻炼和培养自己能力的好机会。就我个人的经历来说,读书的不同阶段都是培养自己不同能力的过程:

读本科时是打基础,掌握相关学科专业的最基本知识,这时是老师告诉自己要做什么以及教会自己怎么做,然后自己把它做出来;

读硕士时则强化了解决问题的能力,导师告诉我要做什么,而我则需要找出方法来把它做出来;

读博士时最主要的是培养自己发现问题的能力,发现研究领域内值得研究的而且尚未解决的问题,然后再设法去解决它。这时你会发现,其实你想到的问题,常常已经有人想到了;你想到的一些解决方法,也有国内外的同行已经做过尝试。这个阶段常常是让人有些气馁,因为感觉不知该做什么,而发现问题就是这个阶段最重要的能力培养。

当然,不同的人会在不同的阶段培养这些能力,有的朋友聪明而且勤奋,可能会很快跨越这三个阶段,而有的人则可能需要很长的时间。

就你的问题,其实是导师已经基于他对这个研究领域的理解,给你指了一个方向。这个方向或许有意义,或许价值不大,其实对你来说不是最重要的问题。我觉得可能你要做的是先去收集这方面的文献资料,了解该方向目前的研究进展,掌握目前的解决方法,然后在适当地深入研究部分的问题并解决。

紫菱(游客)发表留言于2007-4-2 16:19:29

您好!我是一名在校研究生,我现在已经开题,因为题目是老师给选的,所以在开题之前对数据挖掘的东西一点也不了解,现在只是知道一些皮毛。现在有许多问题自己都弄不明白。特来请教。

我做的是油田开发数据挖掘,用VC++编程,老师让用ArcGIS平台,可我现在也搞不懂它们之间有什么联系,能否指点指点。

谢谢!

以下为blog主人的回复:

我对ArcGIS也是只闻其名,只知道它是类似MapInfo的地理信息系统平台。莫非你们老师是希望将油田的相关数据标注在不同的图层之上,然后使用数据挖掘算法来对这些数据进行处理,最后再通过ArcGIS予以展示(例如对油田产油潜力用不同颜色来标注)?

数据挖掘青年 (游客)发表留言于2007-3-28 18:05:28

您好,谢谢提供开源学习网址!

我是一名非名牌大学的研一学生,专业方向号称数据库,但只是服从导师安排做些小或中的项目(甚至根本用不到数据库,更不用说数据挖掘),没有实质的理论性学习。

1数据挖掘人员从事的工作内容
是不是开发数据挖掘平台、为别的企业单位量身制作DM、DW系统?除了这些还能有些什么?

2读博深造的必要性
现在只是无指导的自学状态,能否在硕士毕业后胜任数据挖掘方面的工作呢?考取名校的博士进一步深入学习的必要性大不大?

3自学时的大方向
文本、Web等,读博时肯定就某种具体方向深入研究,现在是否应该也自己重点专注于一种方向,而不是仅泛泛的熟悉各个方面?

以下为blog主人的回复:

1.数据挖掘人员从事的工作和你所说的差不多,我认识的一些朋友大多在IT公司,为甲方实施DM、DW和BI等项目;还有一些是在甲方做分析人员,利用所掌握的数据挖掘知识来解决一些业务问题。

2.就以上的工作内容来说,我觉得硕士已经足以胜任,当然最重要的不是学位,而是运用你学到的知识来解决问题的能力。如果希望在理论研究上进一步发展,读博也不错,但发展方向会有所不同。

3.在硕士阶段,我觉得还是全面了解会更好一些。当然,因为数据挖掘涉及的内容较多,还是应该在一些方面有所侧重,比如那些得到广泛应用的算法及其应用上,包括决策树、聚类、回归、神经网络等等。这样即便你以后不去读博,对找工作也会有所帮助。

⑵ 数据挖掘工程师需要具备哪些技能

数据挖掘工程师的知识结构构成,其中专业背景知识占据很重要的一部分。统计、高等代数、凸优化、概率论、python、R、SQL,这些是基本要求。具体到大数据领域,还需要掌握大数据相关的技术框架,比如Java、Hadoop、Spark等,不同公司通常要求不同。

1、扎实的基础工程能力偏向计算机底层系统研究的Java、C++语言是企业招聘当中非常看重的,当然这并非绝对标准。技术团队leader,首先就会考察候选人的基础工程能力,即代码能力,这意味着你的工作能力能够满足基本需求。

2、算法和数据挖掘理论由于行业起步晚,很多时候候选人并没有太多算法和数据挖掘的实践经验。因此,对算法和数据挖掘理论知识的理解就成为了招聘当中的重要考虑因素。

3、优秀的基础职业素养学习能力、自我驱动力、逻辑分析能力等基础职业素养,也是在招聘当中重要的参考因素。

关于数据挖掘工程师需要具备哪些技能,青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣,希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容,可以点击本站的其他文章进行学习。

⑶ 数据挖掘 软件工程师要做的工作是什么

首先是数学吧,主要是概率论和线性代数。高等数学最好会点,至少晓得积分。如果懂点运筹学会更加好
然后是英语,因为数据挖掘国外做的很好。要是有点算法基础会比较好
还有最好会一门编程语言java。matlab。c都可以
最最重要的当然是毅力。毕竟,数据挖掘涉及很多算法,还是很难得

⑷ 大数据挖掘工程师应具备哪些技能

首先,我们可以从数据获取、数据存取、数据清洗、数据挖掘分析、数据可视化、数据报告等几个方面入手。

具体涵盖以下技能:

1、Linux操作系统、Linux常用命令、Linux常用软件安装、Linux网络、 防火墙、Shell编程等。

2、Java 开发,掌握多线程、掌握并发包下的队列、掌握JVM技术、掌握反射和动态代理、了解JMS。

3、Zookeeper分布式协调服务、Zookeeper集群的安装部署、Zookeeper数据结构、命令。

4、Hadoop 、Hive、HBase、Scala、Spark 、Sqoop、Flume、Oozie、Hue等大数据生态系统知识和技能。

6、Excel、Mysql、Python等数据采集,数据存取分析挖掘工具和技术。

7、Tableau、FineBI、Qlikview等可视化应用能力。

关于大数据挖掘工程师应具备哪些技能,青藤小编就和您分享到这里了。如果您对大数据工程有浓厚的兴趣,希望这篇文章可以为您提供帮助。如果您还想了解更多关于数据分析师、大数据工程师的技巧及素材等内容,可以点击本站的其他文章进行学习。

⑸ 数据挖掘工程师的工作是什么

1、根据自己对行业,以及公司业务的了解,独自承担复杂分析任务,并形成分析报告;
2、相关分析方向包括:用户行为分析、广告点击分析,业务逻辑相关以及竞争环境相关;
3、根据业务逻辑变化,设计相应分析模型并支持业务分析工作开展。
4、利用数据挖掘工具进行用户细分,用户偏好,用户网上行为等的研究;
5、进行用户调研,数据分析,商业分析,并基于业务需求,提供用户研究及数据挖掘解决方案,实施应用项目;
6、将数据挖掘算法及用户研究成果固化成数据产品;

⑹ 数据挖掘工程师是干什么的

数据挖掘指的是在长期积累的数据中分析和挖掘有价值的信息以供决策。
这个概念主要还是因为ERP(企业资源计划)和OA(办公自动化)软件系统的广泛使用和发展的基础上出现的一个概念。因为企业在使用这些软件系统的过程中,虽然运营的状态和管理以及成本有很大的节约,大大提高了企业的运营效率,可是这些系统却只能对企业的状态和管理进行一个状态性的记录,对长期记录下来的这些数据的分析和在挖掘能力是非常有限的,虽然众多软件供应商想出各种办法来利用其这些数据,比如出各种报表甚至自定义的报表,可是仍然受制于ERP和OA本身设计的缺陷,因为它们原本就不是设计来做数据分析的。

⑺ 数据挖掘工程师要具备哪些技能

1、编程/统计语言


数据挖掘在很大程度上依赖于编程,根据KD Nuggets的研究,R和Python是数据科学中最受欢迎的编程语言。


2、大数据处理框架


Hadoop,Storm,Samza,Spark,Flink,处理框架对系统中的数据进行计算,可以将其分为3类:仅批处理,仅流和混合。


3、操作系统:Linux


Linux是一种流行的操作系统,对于操作大型数据集而言,Linux更加稳定和高效。


4、数据库知识:关系数据库和非关系数据库


要管理和处理大型数据集,必须具有关系数据库的知识,例如SQL或Oracle,或非关系数据库,其主要类型为:列如Cassandra,HBase;文件:MongoDB,CouchDB;关键值:Redis,Dynamo。


5、基本统计知识


统计的基本知识对于数据挖掘者至关重要,它可以帮助您识别问题,获得更准确的结论,区分因果关系和相关性以及量化发现结果的确定性。


6、数据结构与算法


数据结构包括数组,链表,堆栈,队列,树,哈希表,集合等,而常见的算法包括排序,搜索,动态编程,递归等。精通数据结构和算法对于数据挖掘至关重要,它可以在处理大量数据时为您提供更具创造性和效率的算法解决方案。

⑻ 数据挖掘工程师需要哪些条件

专业的数理知识
熟练的数据库技术
熟练的分析工具软件技能
熟悉理解业务知识
PPT写作技术
报告讲解技能
能算能分析能写能讲

⑼ 数据挖掘工程师怎么考

数据挖掘领域是一个独特的行业,通常的招聘面试方法可能不大适用于本行业的特点。在招聘一个合格的数据挖掘工程师时,公司一般关注以下三个方面:
他聪明吗?聪明意味着能透过复杂的信息建构问题并以正确的方式加以解决。聪明人还能从失败中获取经验。
他能否专注于项目?专注意味着在各种困难的环境内,仍能独立或合作完成项目。
他是否能与团队一起工作。团队合作需要很好的沟通能力,工作中涉及到的概念、问题、模型、结论等都需要成员之间正确的沟通方能加以明确。
为了解候选人是否具有数据挖掘工程师的潜质,需要一小时的面试,主要通过以下五个环节:
1、简介
如同交谈之初的寒暄一样,简介是使候选人放松下来。可以先介绍一下公司本身的情况,再回答对方的一些疑问。如果问题很复杂,可以将回答放到面试的最后阶段再处理。
2、关于数据挖掘项目
这是最为重要且耗时的面试阶段,询问候选人最近接手的数据挖掘项目的情况和处理方式。要提问的方面包括:
他一开始是如何描述这个项目的
项目持续了多长时间
这个项目的关键问题是什么
问题是如何得到解决的
在数据挖掘项目中最为困难的阶段是什么
最有趣的阶段又是什么
在他眼里,客户是怎么样的
团队的其他成员又是如何表现的
从中获得了什么样的经验
在这个面试阶段,不仅要提问关于“what”的问题,还要很多关于“why”的问题。因为优秀的数据挖掘工程师要能面对客户,清晰的论证并支持其提出的观点。
3、关于数据挖掘的流程
考察候选人对于工作流程的认识是必要的,如果他谈到了跨行业数据挖掘流程规范(CRISP-DM)意味着好兆头。有很多时候,候选人对这些规范不以为然。虽然说从不同的角度来看待问题是一种创新,但是创新也需要建立在坚实在流程标准之上。因为它可以保证我们不会出现大的纰漏。

必要的时候,可以用白板让候选人画出流程图。并让他评价这些工作中最为重要或需要反思的地方。因为建模工作不可能一次完成,反复的提炼问题、建立模型的情况是经常遇到的。

另外可以在某个挖掘流程进行深入考查,例如询问对方如何避免过度拟合,如何从大量的候选变量中进行筛选,如何评价或比较模型的效果。
4、解决问题
软件公司的面试一般会包括“编码测试”,考查数据挖掘工程师也应该如此。一种可以参考的作法是提供一份存在缺陷的分析报告。让候选人对报告进行研究,表达报告中结论的意义,提出其中所存在的问题或不足,提出改进或补救的方法。
5、收尾
在面试的最后阶段,需要回答候选人的其它提问,并使之相信本公司在本行业中的优势地位,以及在职业生涯中的作用。在完成面试后,需要立即将面试记录进行整理存档。

面试是一件苦差事,但也是一个交流学习的机会。通过面试可以了解到其它人遇到的问题,以及他们是如何解决的。

⑽ 数据挖掘工程师需要经常加班吗这行累吗

那你要看挖掘的是什么数据库的数据了,一般来说没有实时需要上报的数据,除非在特定的时间会忙一点儿,例如重大节假日和重大活动期间会比较忙一些。

与数据挖掘工程师一般都做什么相关的资料

热点内容
苏州假山景观设计工程 浏览:862
哈尔滨工程造价招聘 浏览:937
建筑工程土建劳务分包 浏览:632
道路监理工程师 浏览:476
安徽工程大学机电学院在本校吗 浏览:370
河北工程大学保研率多少 浏览:287
有学质量工程师的书吗 浏览:479
康乐县建筑工程公司 浏览:569
助理工程师二级 浏览:872
注册安全工程师初级考试时间 浏览:901
食品科学与工程专业课题研究 浏览:881
工程造价图纸建模 浏览:888
辽宁恒润建设工程有限公司 浏览:93
实行施工总承包的工程项目 浏览:737
道路桥梁工程技术兴趣爱好 浏览:316
密歇根理工大学电气工程专业 浏览:388
广西交通工程质量监督站 浏览:31
四川大学材料科学与工程学院考研参考书目 浏览:858
有线电视工程建设管理条例 浏览:270
云南工程监理公司排名 浏览:673