導航:首頁 > 項目工程 > 數據挖掘工程師一般都做什麼

數據挖掘工程師一般都做什麼

發布時間:2021-08-15 20:44:38

⑴ 畢業想當一名數據挖掘工程師,現在怎麼准備

http://blogger.org.cn/blog/more.asp?name=DMman&id=26061
數據挖掘新手常見疑問解答(1) 數據挖掘青年
以下為blog主人的回復:

這種情況很常見,而且我覺得這時更是一個鍛煉和培養自己能力的好機會。就我個人的經歷來說,讀書的不同階段都是培養自己不同能力的過程:

讀本科時是打基礎,掌握相關學科專業的最基本知識,這時是老師告訴自己要做什麼以及教會自己怎麼做,然後自己把它做出來;

讀碩士時則強化了解決問題的能力,導師告訴我要做什麼,而我則需要找出方法來把它做出來;

讀博士時最主要的是培養自己發現問題的能力,發現研究領域內值得研究的而且尚未解決的問題,然後再設法去解決它。這時你會發現,其實你想到的問題,常常已經有人想到了;你想到的一些解決方法,也有國內外的同行已經做過嘗試。這個階段常常是讓人有些氣餒,因為感覺不知該做什麼,而發現問題就是這個階段最重要的能力培養。

當然,不同的人會在不同的階段培養這些能力,有的朋友聰明而且勤奮,可能會很快跨越這三個階段,而有的人則可能需要很長的時間。

就你的問題,其實是導師已經基於他對這個研究領域的理解,給你指了一個方向。這個方向或許有意義,或許價值不大,其實對你來說不是最重要的問題。我覺得可能你要做的是先去收集這方面的文獻資料,了解該方向目前的研究進展,掌握目前的解決方法,然後在適當地深入研究部分的問題並解決。

紫菱(遊客)發表留言於2007-4-2 16:19:29

您好!我是一名在校研究生,我現在已經開題,因為題目是老師給選的,所以在開題之前對數據挖掘的東西一點也不了解,現在只是知道一些皮毛。現在有許多問題自己都弄不明白。特來請教。

我做的是油田開發數據挖掘,用VC++編程,老師讓用ArcGIS平台,可我現在也搞不懂它們之間有什麼聯系,能否指點指點。

謝謝!

以下為blog主人的回復:

我對ArcGIS也是只聞其名,只知道它是類似MapInfo的地理信息系統平台。莫非你們老師是希望將油田的相關數據標注在不同的圖層之上,然後使用數據挖掘演算法來對這些數據進行處理,最後再通過ArcGIS予以展示(例如對油田產油潛力用不同顏色來標注)?

數據挖掘青年 (遊客)發表留言於2007-3-28 18:05:28

您好,謝謝提供開源學習網址!

我是一名非名牌大學的研一學生,專業方向號稱資料庫,但只是服從導師安排做些小或中的項目(甚至根本用不到資料庫,更不用說數據挖掘),沒有實質的理論性學習。

1數據挖掘人員從事的工作內容
是不是開發數據挖掘平台、為別的企業單位量身製作DM、DW系統?除了這些還能有些什麼?

2讀博深造的必要性
現在只是無指導的自學狀態,能否在碩士畢業後勝任數據挖掘方面的工作呢?考取名校的博士進一步深入學習的必要性大不大?

3自學時的大方向
文本、Web等,讀博時肯定就某種具體方向深入研究,現在是否應該也自己重點專注於一種方向,而不是僅泛泛的熟悉各個方面?

以下為blog主人的回復:

1.數據挖掘人員從事的工作和你所說的差不多,我認識的一些朋友大多在IT公司,為甲方實施DM、DW和BI等項目;還有一些是在甲方做分析人員,利用所掌握的數據挖掘知識來解決一些業務問題。

2.就以上的工作內容來說,我覺得碩士已經足以勝任,當然最重要的不是學位,而是運用你學到的知識來解決問題的能力。如果希望在理論研究上進一步發展,讀博也不錯,但發展方向會有所不同。

3.在碩士階段,我覺得還是全面了解會更好一些。當然,因為數據挖掘涉及的內容較多,還是應該在一些方面有所側重,比如那些得到廣泛應用的演算法及其應用上,包括決策樹、聚類、回歸、神經網路等等。這樣即便你以後不去讀博,對找工作也會有所幫助。

⑵ 數據挖掘工程師需要具備哪些技能

數據挖掘工程師的知識結構構成,其中專業背景知識占據很重要的一部分。統計、高等代數、凸優化、概率論、python、R、SQL,這些是基本要求。具體到大數據領域,還需要掌握大數據相關的技術框架,比如Java、Hadoop、Spark等,不同公司通常要求不同。

1、扎實的基礎工程能力偏向計算機底層系統研究的Java、C++語言是企業招聘當中非常看重的,當然這並非絕對標准。技術團隊leader,首先就會考察候選人的基礎工程能力,即代碼能力,這意味著你的工作能力能夠滿足基本需求。

2、演算法和數據挖掘理論由於行業起步晚,很多時候候選人並沒有太多演算法和數據挖掘的實踐經驗。因此,對演算法和數據挖掘理論知識的理解就成為了招聘當中的重要考慮因素。

3、優秀的基礎職業素養學習能力、自我驅動力、邏輯分析能力等基礎職業素養,也是在招聘當中重要的參考因素。

關於數據挖掘工程師需要具備哪些技能,青藤小編就和您分享到這里了。如果您對大數據工程有濃厚的興趣,希望這篇文章可以為您提供幫助。如果您還想了解更多關於數據分析師、大數據工程師的技巧及素材等內容,可以點擊本站的其他文章進行學習。

⑶ 數據挖掘 軟體工程師要做的工作是什麼

首先是數學吧,主要是概率論和線性代數。高等數學最好會點,至少曉得積分。如果懂點運籌學會更加好
然後是英語,因為數據挖掘國外做的很好。要是有點演算法基礎會比較好
還有最好會一門編程語言java。matlab。c都可以
最最重要的當然是毅力。畢竟,數據挖掘涉及很多演算法,還是很難得

⑷ 大數據挖掘工程師應具備哪些技能

首先,我們可以從數據獲取、數據存取、數據清洗、數據挖掘分析、數據可視化、數據報告等幾個方面入手。

具體涵蓋以下技能:

1、Linux操作系統、Linux常用命令、Linux常用軟體安裝、Linux網路、 防火牆、Shell編程等。

2、Java 開發,掌握多線程、掌握並發包下的隊列、掌握JVM技術、掌握反射和動態代理、了解JMS。

3、Zookeeper分布式協調服務、Zookeeper集群的安裝部署、Zookeeper數據結構、命令。

4、Hadoop 、Hive、HBase、Scala、Spark 、Sqoop、Flume、Oozie、Hue等大數據生態系統知識和技能。

6、Excel、Mysql、Python等數據採集,數據存取分析挖掘工具和技術。

7、Tableau、FineBI、Qlikview等可視化應用能力。

關於大數據挖掘工程師應具備哪些技能,青藤小編就和您分享到這里了。如果您對大數據工程有濃厚的興趣,希望這篇文章可以為您提供幫助。如果您還想了解更多關於數據分析師、大數據工程師的技巧及素材等內容,可以點擊本站的其他文章進行學習。

⑸ 數據挖掘工程師的工作是什麼

1、根據自己對行業,以及公司業務的了解,獨自承擔復雜分析任務,並形成分析報告;
2、相關分析方向包括:用戶行為分析、廣告點擊分析,業務邏輯相關以及競爭環境相關;
3、根據業務邏輯變化,設計相應分析模型並支持業務分析工作開展。
4、利用數據挖掘工具進行用戶細分,用戶偏好,用戶網上行為等的研究;
5、進行用戶調研,數據分析,商業分析,並基於業務需求,提供用戶研究及數據挖掘解決方案,實施應用項目;
6、將數據挖掘演算法及用戶研究成果固化成數據產品;

⑹ 數據挖掘工程師是干什麼的

數據挖掘指的是在長期積累的數據中分析和挖掘有價值的信息以供決策。
這個概念主要還是因為ERP(企業資源計劃)和OA(辦公自動化)軟體系統的廣泛使用和發展的基礎上出現的一個概念。因為企業在使用這些軟體系統的過程中,雖然運營的狀態和管理以及成本有很大的節約,大大提高了企業的運營效率,可是這些系統卻只能對企業的狀態和管理進行一個狀態性的記錄,對長期記錄下來的這些數據的分析和在挖掘能力是非常有限的,雖然眾多軟體供應商想出各種辦法來利用其這些數據,比如出各種報表甚至自定義的報表,可是仍然受制於ERP和OA本身設計的缺陷,因為它們原本就不是設計來做數據分析的。

⑺ 數據挖掘工程師要具備哪些技能

1、編程/統計語言


數據挖掘在很大程度上依賴於編程,根據KD Nuggets的研究,R和Python是數據科學中最受歡迎的編程語言。


2、大數據處理框架


Hadoop,Storm,Samza,Spark,Flink,處理框架對系統中的數據進行計算,可以將其分為3類:僅批處理,僅流和混合。


3、操作系統:Linux


Linux是一種流行的操作系統,對於操作大型數據集而言,Linux更加穩定和高效。


4、資料庫知識:關系資料庫和非關系資料庫


要管理和處理大型數據集,必須具有關系資料庫的知識,例如SQL或Oracle,或非關系資料庫,其主要類型為:列如Cassandra,HBase;文件:MongoDB,CouchDB;關鍵值:Redis,Dynamo。


5、基本統計知識


統計的基本知識對於數據挖掘者至關重要,它可以幫助您識別問題,獲得更准確的結論,區分因果關系和相關性以及量化發現結果的確定性。


6、數據結構與演算法


數據結構包括數組,鏈表,堆棧,隊列,樹,哈希表,集合等,而常見的演算法包括排序,搜索,動態編程,遞歸等。精通數據結構和演算法對於數據挖掘至關重要,它可以在處理大量數據時為您提供更具創造性和效率的演算法解決方案。

⑻ 數據挖掘工程師需要哪些條件

專業的數理知識
熟練的資料庫技術
熟練的分析工具軟體技能
熟悉理解業務知識
PPT寫作技術
報告講解技能
能算能分析能寫能講

⑼ 數據挖掘工程師怎麼考

數據挖掘領域是一個獨特的行業,通常的招聘面試方法可能不大適用於本行業的特點。在招聘一個合格的數據挖掘工程師時,公司一般關注以下三個方面:
他聰明嗎?聰明意味著能透過復雜的信息建構問題並以正確的方式加以解決。聰明人還能從失敗中獲取經驗。
他能否專注於項目?專注意味著在各種困難的環境內,仍能獨立或合作完成項目。
他是否能與團隊一起工作。團隊合作需要很好的溝通能力,工作中涉及到的概念、問題、模型、結論等都需要成員之間正確的溝通方能加以明確。
為了解候選人是否具有數據挖掘工程師的潛質,需要一小時的面試,主要通過以下五個環節:
1、簡介
如同交談之初的寒暄一樣,簡介是使候選人放鬆下來。可以先介紹一下公司本身的情況,再回答對方的一些疑問。如果問題很復雜,可以將回答放到面試的最後階段再處理。
2、關於數據挖掘項目
這是最為重要且耗時的面試階段,詢問候選人最近接手的數據挖掘項目的情況和處理方式。要提問的方麵包括:
他一開始是如何描述這個項目的
項目持續了多長時間
這個項目的關鍵問題是什麼
問題是如何得到解決的
在數據挖掘項目中最為困難的階段是什麼
最有趣的階段又是什麼
在他眼裡,客戶是怎麼樣的
團隊的其他成員又是如何表現的
從中獲得了什麼樣的經驗
在這個面試階段,不僅要提問關於「what」的問題,還要很多關於「why」的問題。因為優秀的數據挖掘工程師要能面對客戶,清晰的論證並支持其提出的觀點。
3、關於數據挖掘的流程
考察候選人對於工作流程的認識是必要的,如果他談到了跨行業數據挖掘流程規范(CRISP-DM)意味著好兆頭。有很多時候,候選人對這些規范不以為然。雖然說從不同的角度來看待問題是一種創新,但是創新也需要建立在堅實在流程標准之上。因為它可以保證我們不會出現大的紕漏。

必要的時候,可以用白板讓候選人畫出流程圖。並讓他評價這些工作中最為重要或需要反思的地方。因為建模工作不可能一次完成,反復的提煉問題、建立模型的情況是經常遇到的。

另外可以在某個挖掘流程進行深入考查,例如詢問對方如何避免過度擬合,如何從大量的候選變數中進行篩選,如何評價或比較模型的效果。
4、解決問題
軟體公司的面試一般會包括「編碼測試」,考查數據挖掘工程師也應該如此。一種可以參考的作法是提供一份存在缺陷的分析報告。讓候選人對報告進行研究,表達報告中結論的意義,提出其中所存在的問題或不足,提出改進或補救的方法。
5、收尾
在面試的最後階段,需要回答候選人的其它提問,並使之相信本公司在本行業中的優勢地位,以及在職業生涯中的作用。在完成面試後,需要立即將面試記錄進行整理存檔。

面試是一件苦差事,但也是一個交流學習的機會。通過面試可以了解到其它人遇到的問題,以及他們是如何解決的。

⑽ 數據挖掘工程師需要經常加班嗎這行累嗎

那你要看挖掘的是什麼資料庫的數據了,一般來說沒有實時需要上報的數據,除非在特定的時間會忙一點兒,例如重大節假日和重大活動期間會比較忙一些。

與數據挖掘工程師一般都做什麼相關的資料

熱點內容
蘇州假山景觀設計工程 瀏覽:862
哈爾濱工程造價招聘 瀏覽:937
建築工程土建勞務分包 瀏覽:632
道路監理工程師 瀏覽:476
安徽工程大學機電學院在本校嗎 瀏覽:370
河北工程大學保研率多少 瀏覽:287
有學質量工程師的書嗎 瀏覽:479
康樂縣建築工程公司 瀏覽:569
助理工程師二級 瀏覽:872
注冊安全工程師初級考試時間 瀏覽:901
食品科學與工程專業課題研究 瀏覽:881
工程造價圖紙建模 瀏覽:888
遼寧恆潤建設工程有限公司 瀏覽:93
實行施工總承包的工程項目 瀏覽:737
道路橋梁工程技術興趣愛好 瀏覽:316
密歇根理工大學電氣工程專業 瀏覽:388
廣西交通工程質量監督站 瀏覽:31
四川大學材料科學與工程學院考研參考書目 瀏覽:858
有線電視工程建設管理條例 瀏覽:270
雲南工程監理公司排名 瀏覽:673