网站首页 程序人生 资源汇 学建站 源码 织梦模板 特效代码 技术手册 IT头条 电商 创业 运营 站长

特色栏目 视频下载 织梦模板 教程书籍 职业生涯 正能量 美图

当前位置: 主页 > 程序人生 > 感悟/杂谈 >

数据挖掘那些事收藏挑错

2018-09-28 15:45 采编:程序人生 阅读 投稿赚币
统计学、数据挖掘与机器学习是近年来经常一起出现的3个词语,尤其是数据挖掘与机器学习。有些人认为数据挖掘涵盖了机器学习,有些人认为机器学习应该包含数据挖掘,各种说法莫

统计学、数据挖掘与机器学习是近年来经常一起出现的3个词语,尤其是数据挖掘与机器学习。有些人认为数据挖掘涵盖了机器学习,有些人认为机器学习应该包含数据挖掘,各种说法莫衷一是。实际上,由于近年来信息科学的高速发展,这些概念虽然有了一定的定义和解释,但是边界都相对模糊。如果从业务场景、算法应用的角度理解、学习他们,可以归类为数据科学——一门从数据中提炼知识及洞察趋势的科学。

 
文/黄成甲

将这种科学应用到生活中就是各种指数。例如:裙边理论:女性的裙子长度可以反映经济的兴衰,裙子越短,经济发展情况越好,裙子越长,经济发展情况越艰险。另外,还有德国啤酒指数:每当气温上升1度,啤酒销量就平均增加230万瓶,这就是“德国啤酒指数”;空调指数:在日本夏季,温度每上升1度,空调的销量就平均增加30万台。

这些行业指数都是统计学在某一方面的应用。当然,现在的统计学已经大大超出了行业指数研究的范畴。例如IBM在医疗领域利用Watson技术解决了包括糖尿病、白内障、肿瘤等难题。但是,无论是在过去、现在还是未来,人们总是希望能够借助观察事物(获取数据),通过合适的手段(建立统计挖掘模型)来量化这些关系。例如,借助一个人的身高来预测他的体重,

 
身高预测模型

上图是一个统计挖掘模型的基本形式。简单来说,统计挖掘模型是指利用一个或多个输入变量(一般也被称为自变量)通过拟合适当的关系式来预测目标变量(也被称为因变量)的方法。其中,f(x)是我们探求的关系式,但是其一般是固定并且未知的。尽管f(x)未知,但是我们的目标是利用一系列的统计/挖掘方法来尽可能求出接近f(x)的模型,这种模型可以是一个简单的线性回归模型y=ax+b,也可能是一个曲线模型y=a+bx²,当然也有可能是一个神经网络模型或者一个决策树模型。

这些模型从预测任务的角度看,估计出f(x)的形式并不意味着任务结束,在实际的商业实践中,可以将数据挖掘任务简单分为预测任务与控制任务。

(1)预测任务:我们关心的是目标变量Y的预测。预测模型f(x)的形式有可能是一个黑箱模型(即对于模型本身,我们不能很好解释或者并不清楚其内部结构,而是更加关心模型的输入和输出),只要能够提高预测精度,我们就认为达到目的了。一般,神经网络模型属于典型的黑箱模型。例如:Google X实验室开发出具有自主学习能力的神经网络模型,它能够从1000万张图片中找出那些有小猫的照片,其中,这1000万张图片就是输入,对于这些图片的识别就是输出。

(2)控制任务:在控制任务中,我们希望能够尽可能地描述清楚X与Y的关系。例如在金融行业,要通过客户的个人信用信息来评价个人的信用风险,这就要求模型不但能够回答这个客户的信用风险是高还是低,还要能回答哪些因素直接影响客户的信用风险,每个因素的影响程度有多大。

进一步的,从预测场景的角度看,又可以把统计挖掘划分为两种类型:有监督的学习与无监督学习。

 
学习类型

有监督的学习即对每一组自变量X都有一个因变量Y一一对应,通过拟合预测模型,可以更好的理解输入变量与目标变量之间的关系,例如,分析客户的个人信用信息来评价其信用风险,分析企业营销费用投入与销量的关系等。对于有监督学习,如果目标变量属于定量变量(即连续型变量,例如GDP、企业年销售额),那么可以把它定义为回归问题;如果目标变量属于定性变量(即分类型变量,例如违约客户与不违约客户),那么将其定义为分类问题。

而对于无监督学习,则只有自变量X,而没有明确的Y。例如,对于零售企业中每个会员的行为信息,通过无监督学习的方法(聚类)可以把会员划分为不同的客户细分群体,如粉丝客户群、性价比客户群等。



 

相关标签:
程序人生if98.com,专注IT人成长、所需、职场,欢迎参与撰稿、分享资源!

扫一扫关注程序人生公众号

免责声明:本文内容由[程序人生]用户自行发布或编辑转载,本站不拥有所有权、不承担相关法律责任。 如发现有涉嫌抄袭的内容,可邮件 web@if98.com 举报,并提供证据,一经查实,本站将立刻删除涉嫌侵权内容。

发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片

站长推荐文章

阅读排行

论坛信息推荐 更多 >>

关于我们

微信公众号

扫码关注官方微信

返回顶部