几种常见的数据挖掘方法_上海达内java培训机构
几种常见的数据挖掘方法
大数据面试中常见的几种数据挖掘方法
数据挖掘的方法
⑴神经网络方法
神经网络由于本身良好的鲁棒性、自组织自适应性、并行处理、分布存储和高度容错等特性非常适合解决数据挖掘的问题，因此近年来越来越受到人们的关注。典型的神经网络模型主要分3大类：以感知机、BP反向传播模型、函数型网络为代表的，用于分类、预测和模式识别的前馈式神经网络模型;以Hopfield的离散模型和连续模型为代表的，分别用于联想记忆和优化计算的反馈式神经网络模型;以ART模型、Koholon模型为代表的，用于聚类的自组织映射方法。神经网络方法的缺点是"黑箱"性，人们难以理解网络的学习和决策过程。
⑵遗传算法
遗传算法是一种基于生物自然选择与遗传机理的随机搜索算法，是一种仿生全局优化方法。遗传算法具有的隐含并行性、易于和其它模型结合等性质使得它在数据挖掘中被加以应用。
Sunil已成功地开发了一个基于遗传算法的数据挖掘工具，利用该工具对两个飞机失事的真实数据库进行了数据挖掘实验，结果表明遗传算法是进行数据挖掘的有效方法之一[4]。遗传算法的应用还体现在与神经网络、粗集等技术的结合上。如利用遗传算法优化神经网络结构，在不增加错误率的前提下，删除多余的连接和隐层单元;用遗传算法和BP算法结合训练神经网络，然后从网络提取规则等。但遗传算法的算法较复杂，收敛于局部极小的较早收敛问题尚未解决。
⑶决策树方法
决策树是一种常用于预测模型的算法，它通过将大量数据有目的分类，从中找到一些有价值的，潜在的信息。它的主要优点是描述简单，分类速度快，特别适合大规模的数据处理。最有影响和最早的决策树方法是由Quinlan提出的著名的基于信息熵的ID3算法。它的主要问题是：ID3是非递增学习算法;ID3决策树是单变量决策树，复杂概念的表达困难;同性间的相互关系强调不够;抗噪性差。针对上述问题，出现了许多较好的改进算法，如
Schlimmer和Fisher设计了ID4递增式学习算法;钟鸣，陈文伟等提出了IBLE算法等。
⑷粗集方法
粗集理论是一种研究不精确、不确定知识的数学工具。粗集方法有几个优点：不需要给出额外信息;简化输入信息的表达空间;算法简单，易于操作。粗集处理的对象是类似二维关系表的信息表。目前成熟的关系数据库管理系统和新发展起来的数据仓库管理系统，为粗集的数据挖掘奠定了坚实的基础。但粗集的数学基础是集合论，难以直接处理连续的属性。而现实信息表中连续属性是普遍存在的。因此连续属性的离散化是制约粗集理论实用化的难点。现在国际上已经研制出来了一些基于粗集的工具应用软件，如加拿大Regina大学开发的KDD-R;美国Kansas大学开发的LERS等。
⑸覆盖正例排斥反例方法
它是利用覆盖所有正例、排斥所有反例的思想来寻找规则。首先在正例集合中任选一个种子，到反例集合中逐个比较。与字段取值构成的选择子相容则舍去，相反则保留。按此思想循环所有正例种子，将得到正例的规则(选择子的合取式)。比较典型的算法有Michalski的AQ11方法、洪家荣改进的AQ15方法以及他的AE5方法。
⑹统计分析方法
在数据库字段项之间存在两种关系：函数关系(能用函数公式表示的确定性关系)和相关关系(不能用函数公式表示，但仍是相关确定性关系)，对它们的分析可采用统计学方法，即利用统计学原理对数据库中的信息进行分析。可进行常用统计(求大量数据中的最大值、最小值、总和、平均值等)、回归分析(用回归方程来表示变量间的数量关系)、相关分析(用相关系数来度量变量间的相关程度)、差异分析(从样本统计量的值得出差异来确定总体参数之间是否存在差异)等。
⑺模糊集方法
即利用模糊集合理论对实际问题进行模糊评判、模糊决策、模糊模式识别和模糊聚类分析。系统的复杂性越高，模糊性越强，一般模糊集合理论是用隶属度来刻画模糊事物的亦此亦彼性的。李德毅等人在传统模糊理论和概率统计的基础上，提出了定性定量不确定性转换模型--云模型，并形成了云理论。
IT免费课程咨询：
作为一名技术深度不一般的java程序员，还是会被面试官的问题雷了个外焦里嫩...下面上海达内Java培训就Java集合框架的面试题。这部分也包含Java的数据结构、算法及数组的面试问题。
前面学的知识多了，不经常地去温习的话就很容易遗忘，所以上海java培训(sh.)专家和你一起回顾一下前面学过的知识：JRE和JVM有怎样的关系……
前面学的知识多了，不经常地去温习的话就很容易遗忘，所以上海java培训(sh.)专家和你一起回顾一下前面学过的知识：JRE和JVM有怎样的关系……
当时正在上班，人多口杂，好不容易找了个没人的地方开始面试。面试的方向是Java Web，面试官很nice，跟朋友一样……
Copyright (C)
All Rights Reserved
选择城市和中心
达内北京亦庄大学生实训基地
达内北京网络营销中心
达内北京会计中心我是学Java的，想尝试大数据和数据挖掘，该怎么规划学习？
时间： 13:44:22
&&&& 阅读：66
&&&& 评论：
&&&& 收藏：0
标签：著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。作者：谭欣链接：/question//answer/来源：知乎
大数据有两个方向，一个是偏计算机的，另一个是偏经济的。你学过Java，所以你可以偏将计算机基础1. 读书《Introduction to Data Mining》，这本书很浅显易懂，没有复杂高深的公式，很合适入门的人。另外可以用这本书做参考《Data Mining : Concepts and Techniques》。第二本比较厚，也多了一些数据仓库方面的知识。如果对算法比较喜欢，可以再阅读《Introduction to Machine Learning》。当然，还有《机器学习：实用案例解析》2. 实现经典算法。有几个部分：a. 关联规则挖掘 (Apriori, FPTree, etc.)b. 分类 (C4.5, KNN, Logistic Regression, SVM, etc.)c. 聚类 (Kmeans, DBScan, Spectral Clustering, etc.)d. 降维 (PCA, LDA, etc.)e. 推荐系统 (基于内容的推荐，协同过滤，如矩阵分解等)然后在公开数据集上测试，看实现的效果。可以在下面的网站找到大量的公开数据集：/3. 熟悉几个开源的工具: Weka (用于上手); LibSVM, scikit-learn, Shogun4. 到 / 上参加几个101的比赛，学会如何将一个问题抽象成模型，并从原始数据中构建有效的特征 (Feature Engineering). 到这一步的话基本几个国内的大公司都会给你面试的机会。进阶篇：1. 读书，下面几部都是大部头，但学完进步非常大。a.《Pattern Recognition and Machine Learning》b.《The Elements of Statistical Learning》c.《Machine Learning: A Probabilistic Perspective》第一本比较偏Bayesian；第二本比较偏Frequentist；第三本在两者之间，但我觉得跟第一本差不多，不过加了不少新内容。当然除了这几本大而全的，还有很多介绍不同领域的书，例如《Boosting Foundations and Algorithms》，《Probabilistic Graphical Models Principles and Techniques》；以及理论一些的《Foundations of Machine Learning》，《Optimization for Machine Learning》等等。这些书的课后习题也非常有用，做了才会在自己写Paper的时候推公式。2. 读论文。包括几个相关会议：KDD，ICML，NIPS，IJCAI，AAAI，WWW，SIGIR，ICDM；以及几个相关的期刊：TKDD，TKDE，JMLR，PAMI等。跟踪新技术跟新的热点问题。当然，如果做相关research，这一步是必须的。例如我们组的风格就是上半年读Paper，暑假找问题，秋天做实验，春节左右写/投论文。3. 跟踪热点问题。例如最近几年的Recommendation System，Social Network，Behavior Targeting等等，很多公司的业务都会涉及这些方面。以及一些热点技术，例如现在很火的Deep Learning。4. 学习大规模并行计算的技术，例如MapReduce、MPI，GPU Computing。基本每个大公司都会用到这些技术，因为现实的数据量非常大，基本都是在计算集群上实现的。5. 参加实际的数据挖掘的竞赛，例如KDDCUP，或 / 上面的竞赛。这个过程会训练你如何在一个短的时间内解决一个实际的问题，并熟悉整个数据挖掘项目的全过程。6. 参与一个开源项目，如上面提到的Shogun或scikit-learn还有Apache的Mahout，或为一些流行算法提供更加有效快速的实现，例如实现一个Map/Reduce平台下的SVM。这也是锻炼Coding的能力。（转）
&&国之画&&&& &&&&chrome插件
版权所有 京ICP备号-2
迷上了代码！后使用快捷导航没有帐号？
查看: 3180|回复: 6
作为一名JAVA程序员，该如何自学数据挖掘
金牌会员, 积分 1205, 距离下一级还需 1795 积分
论坛徽章:4
作为一名程序员，该如何自学数据挖掘呢？我前段时间开始在网上找了几个开源的数据挖掘软件，目前在看knime的源代码，想看看该数据挖掘工具是如何工作的，其中有哪些和处理步骤，想请教一下大家，这种方法是否可取。或者大家有没有更好的方法。谢谢大家!
论坛徽章:641
通过源代码看算法效率太低，还是直接看数学公式吧
金牌会员, 积分 1205, 距离下一级还需 1795 积分
论坛徽章:4
tigerfish 发表于
通过源代码看算法效率太低，还是直接看数学公式吧
有推荐的吗，比如那些数据公司对应那些算法和应用？
金牌会员, 积分 1580, 距离下一级还需 1420 积分
论坛徽章:24
参加Dataguru的相关课程，做好作业
中级会员, 积分 458, 距离下一级还需 42 积分
论坛徽章:7
学数据挖掘，必须要回java吗？
论坛徽章:21
先去看看基础的书，找个学习的路线图
扫一扫加入本版微信群本帖子已过去太久远了，不再提供回复功能。JAVA和数据挖掘哪个好？ - 知乎1被浏览146分享邀请回答还没有回答}