大数据数据挖掘案例

大数据数据挖掘案例【篇一大数据数据挖掘案例】本文为系列文，该篇为第一篇下面是正文:简而言之，数据挖掘data mining是有组织有目的地搜集数据,通过度析数据使之成为信息，从而在大量数据中寻找潜在规律以形成规则或知识的技术在本文中，我们从数据挖掘的实例出发，并以数据挖掘中比较经典的分类算法入手，给读者简介我们怎样运用数据挖掘的技术处理现实中出现的问题数据挖掘是怎样处理问题时本节通过几种数据挖掘实际案例来诠释怎样通过数据挖掘处理商业中碰到的问题下面有关“啤酒和尿不湿”的故事是数据挖掘中最经典的案例而target企业通过“怀孕预测指数”来预测女顾客与否怀孕的案例也是近来为数据挖掘学者最津津乐道的一种话题的分类器应用到未经分类的新数据中，就可以对新数据的I类别做出预测了节选谭磊所著的自《大数据挖掘》一书未完待续……end.标签除非尤其注明，本站所有文章均不代表本站观点报道中出现时商标属于其合法持有人请遵守理性，宽容，换位思索的原则猜你喜欢-02-17-02-11-02-06-01-21-01-19-12-23-12-15-11-25-11-02-10-26【篇二大数据数据挖掘案例】马云说互联网还没弄清晰的时候，移动互联就来了，移动互联还没弄清晰的时候，大数据就来了近两年，“大数据”这个词越来越为大众所熟悉，“大数据”一直是以高冷的形象出目前大众面前，面对大数据，相信许多人都一头雾水下面我们通过十个经典案例，让大家实打实触摸一把“大数据”O你会发现它其实就在身边而且也是很有趣的啤酒与尿布全球零售业巨头沃尔玛在对消费者购物行为分析时发现,男性顾客在购置婴儿尿片时，常常会顺便搭配几瓶啤酒来犒劳自己,于是尝试推出了将啤酒和尿布摆在一起的促销手段没想到这个举措居然使尿布和啤酒的销量都大幅增加了如今，“啤酒+尿布”时数据分析成果早已成了大数据技术应用的经典案例，被人津津乐道数据新闻让英国撤军10月23日《卫报》运用维基解密的数据做了一篇“数据新闻”将伊拉克战争中所有的人员伤亡状况均标注于地图之上地图上一种红点便代表一次死伤事件，鼠标点击红点后弹出的窗口则有详细的阐明伤亡人数、时间，导致伤亡时详细原因密布的红点多达39万，显得格外触目惊心一经刊出立即引起朝野震动，推动英国最终做出撤出驻伊拉克军队的决定意料之外胸部最大的是新疆妹子淘宝数据平台显示，购置最多的文胸尺码为b罩杯b罩杯占比达

41.45%,其中又以75b的销量最佳其次是a罩杯，购置占比达

25.26%,c罩杯只有

8.96%在文胸颜色中，黑色最为畅销以省市排名，胸部最大的是新疆妹子qq圈子把前女友推荐给未婚妻3月腾讯推出qq圈子，按共同好友时连锁反应摊开顾客的人际关系网，把顾客的前女友推荐给未婚妻,把同学同事朋友圈子分门别类，运用大数据处理能力给人带来“震撼”“魔镜”预知石油市场走向假如你对“魔镜”还停留在“魔镜魔镜，告诉我谁是世界上最美的女人，那你就真的out了“魔镜”不仅仅是童话中王后的宝贝，而且是真实世界中的一款神器其实，“魔镜”是苏州国云数据科技企业的一款牛逼的大数据可视化产品，而且是国内首款喔在目前，“魔镜”可以通过数据的整合分析可视化不仅可以得出谁是世界上最美的女人，还能通过价量关系得出市场的走向在不久前,“魔镜”协助中石等企业分析数据，将数据可视化，使企业科学的判断、决策，节省成本，合理配置资源，提高了收益google成功预测冬季流感，google通过度析5000万条美国人最频繁检索的I词汇，将之和美国疾病中心在到间季节性流感传播时期的数据进行比较，并建立一种特定的数学模型最终google成功预测了冬季流感的传播甚至可以详细到特定的地区和州大数据与乔布斯癌症治疗乔布斯是世界上第一种对自身所有dna和肿瘤dna进行排序的I人为此，他支付了高达几十万美元的费用他得到的不是样本，而是包括整个基因的数据文档医生按照所有基因按需下药，最终这种方式协助乔布斯延长了好几年的生命奥巴马大选连任成功11月奥巴马大选连任成功的胜利果实也被归功于大数据，因为他的竞选团队进行了大规模与深入的数据挖掘时代杂志更是断言，依托直觉与经验进行决策的优势急剧下降，在政治领域，大数据的时代已经到来；各色媒体、论坛、专家铺天盖地的宣传让人们对大数据时代时来临兴奋不已，无数企业和创业者都纷纷跳进了这个狂欢队伍微软大数据成功预测奥斯卡21项大奖，微软纽约研究院的经济学家大卫？？罗斯柴尔德david rothschild运用大数据成功预测24个奥斯卡奖项中的19个，成为人们津津乐道的话题今年罗斯柴尔德再接再厉，成功预测第86届奥斯卡金像奖颁奖典礼24个奖项中的21个，继续向人们展示现代科技的神奇魔力超市预知高中生顾客怀孕明尼苏达州一家塔吉特门店被客户投诉，一位中年男子指控塔吉特将婴儿产品优惠券寄给他的女儿一一种高中生但没多久他却来电道歉，因为女儿经他逼问后坦承自己真时怀孕了塔吉特百货就是靠着分析顾客所有的购物数据，然后通过有关关系分析得出事情的真实状况精选自速途网，原文地址/content/

523734.shtml本文tags:数据挖掘数据分析那些事数据分析【篇三大数据数据挖掘案例】摘要如下内容整顿自6月4日由数据分析网举行的《大嘴巴漫谈数据挖掘经典案例赏析》分享活动中，易向军老师的发言内容数据分析网的朋友们，大家晚上好，首先很感谢数据分析网的支持,提供这样一种平台，可以和大家一起分享、交流作为《大嘴巴漫谈数据挖掘（第2季）》的新书公布会，今天重要给大家带来3个数据挖掘的经典案例

一、产品精细化运行之道运行的关键在于持续性改善，运行分析需要保证数据的精确与一致性;可以容忍一定程度上精确性的偏差那么，精确和精确有什么区别呢？精确是指现象或者测量值相对事实之间的离散程度小，也就是我们口语的靠近事实、符合事实等;精确是指在条件不变的状况下，现象或者测量值可以低离散程度的反复再现，也就是我们口语说的次次如此、回回一样等下面的crisp-dm代表了数据挖掘的原则过程在这个原则过程中最重要的是哪一种环节呢？（讨论ing）©mountain所有的业务都是围绕需求来的@数据哥需求分析，想清晰怎么干，否则南辕北辙@fs只有懂得客户需求，才能满足客户的需要因此最重要的是商业理解购物篮模型，用一句话来说，就是在合适的时间、合适时地点，通过合适的方式，向合适的人群推荐合适的产品那么当我们确定了购物篮分析模型的I第一目标后，即我们的第一步商业理解结束之后,第二步便是数据理解这一步需要将我们的业务模型映射到数据模型，或者换句话说，我们需要什么样的数据来支撑我们的分析目标？我们需要什么样的数据一定要基于我们的分析目标，那么我们来分析下我们的目标第一种目标是研究我们的商品，找到商品与商品之间的某种联络研究商品需要什么样的数据呢？消费购物单，就是我们需要超市机构反馈给我们的票单据（小单子），这是我们商品的购置数据除了商品的购置数据，还需要什么数据？我们除了要研究商品，还要研究消费者研究消费者需要消费者个人属性数据（在实际的工作中，根据实际需要，不限于这里列出的数据）接下来是第三步是数据准备在这个过程中需要理解数据，会用到清理、集成、变换、归约的措施，因为原始数据来自于我们的多种业务平台清理补充缺失值、平滑噪声数据、识别或删除离群点并处理数据不一致性集成将多种数据源中的数据整合起来并同意存储变换将数据转换为合用于挖掘的形式，例如属性规范化归约通过压缩、汇集、离散化等措施减少数据存储空间，并保持模型成果与归约前几乎相似数据准备之后，是数据建模，也就是通过数学的措施来处理业务问题那么怎样把业务问题转化成数据措施呢？我们的分析目标是找到商品之间的某种联络，这里要用到什么数学措施（业务语言），这句话转化为数学角度来理解，就是找到商品之间某种联络的一种可能性（数据语言）可能性问题就是概率，概率就是用来量化可能性的问题例如在购置a商品的条件下购置b商品的概率是条件概率，a、b两个商品一起购置的概率是联合概率0我们最终发现商品之间存在某种联络，就是几种可能性，而这几种可能性就是概率一种是联合概率，有购置a商品和购置b商品的概率，这个联合概率我们给它定义一种关联规则算法，叫做支持度一种是条件概率，在购置a商品的条件下，又购置了b商品的概率,这个条件概率，我们称之为置信度支持度越高，置信度越高，那么a、b商品之前的有关性就越强在咱们这个概率中或者在数学中，研究有关性还有那些指标？大家要把置信度理解为一种条件概率，严格来说跟置信区间没什么太大关系研究有关性还有一种有关系数，有关系数的范围是到1,绝对值越靠近于1,阐明有关性越强;绝对值越靠近于0,阐明有关性越弱0,1之间为正有关，之间为负有关正有关和负有关是数学名词，负有关在业务上怎么理解呢？负有关阐明a、b这两个商品是互相排斥的，买了a就不会再买b,可以替代假设a、b这两个商品是互相排斥的，给出两个概率，一种概率是在购置了a商品的前提下购置b商品的概率，一种是没有任何前提条件下直接购置b商品的概率这两个概率谁大谁小？直接购置的概率大，因为a、b排斥，购置了a会影响购置b,极端状况下，购置了a就不再购置b支持度和置信度，只能衡量两个商品的正有关，无法衡量负有关为此我们引入第三个指标，提高度假如提高度不不小于1,阐明这个两个商品是互相排斥的;假如提高度不小于1,阐明这个两个商品是互相增进的I提高度等于1,阐明a、b相互独立,不存在任何关系通过以上的分析，最终通过关联规则算法，我们但愿支持度和置信度大某些，这里一般会定义一种最小值，这个最小值需要通过业务经验来确定通过关联规则找到了2类强关联的商品组合之后，接下来需要做什么？看我们的分析目标，我们第一种分析目标就是研究商品，找到商尿不湿和啤酒诸多人会问，究竟数据挖掘可认为企业做些什么？下面我们通过一种在数据挖掘中最经典的案例来解释这个问题种有关尿不湿与啤酒的故事超级商业零售连锁巨无霸沃尔玛企业wal mart拥有世上最大的数据仓库系统之一为了可以精确了解顾客在其门店的购置习惯，沃尔玛对其顾客的购物行为进行了购物篮关联规则分析，从而懂得顾客常常一起购置的商品有哪些在沃尔玛庞大的数据仓库里集合了其所有门店的详细原始交易数据,在这些原始交易数据的基础上，沃尔玛运用数据挖掘工具对这些数据进行分析和挖掘一种令人惊奇和意外的成果出现了“跟尿不湿起购置最多的I商品竟是啤酒”！这是数据挖掘技术对历史数据进行分析的成果，反应时是数据的内在规律那么这个成果符合现实状况吗？与否是一种有用的知识？与否有运用价值为了验证这一成果，沃尔玛派出市场调查人员和分析师对这一成果进行调查分析通过大量实际调查和分析，他们揭示了一种隐藏在“尿不湿与啤酒”背后的I美国消费者的I一种行为模式:品之间的关联组合第二个分析目标，研究消费者什么样的消费者会购置此类商品组合，这是我们接下来要完成的任务研究消费者，我们用决策树模型树重要有3部分构成根，分支，叶子其中根是最重要的什么是决策呢？简朴来说，就是做决定，是一种选择，从若干个方案中找到最优的方案决策首先会有一种决策目标，或者叫决策结论决策结论不是拍脑袋的，一定要有一种决策根据，通过决策根据做判断决策由决策根据和决策结论构成决策结论就是树的叶子，决策根据是树的根，这样决策就和树建立联络了哪些消费者会购置强关联的商品组合对老板来说，这就是一种决策问题在这个决策问题中，决策根据就是人的特性老板要根据顾客的基本属性来判断决策是一种判断题买还是不买决策流程包括决策根据和决策结论从根到叶子的途径都是一种决策流程一种决策树上有若干个决策途径，我们就是要从若干个决策途径中找到最优的途径我们根据什么来判断这个途径的好坏？概率大小，看哪一种途径在样本中出现的次数最多，就认为是最优的出现次数最多是一种概率问题，频率和概率有什么关系？频率是概率时试验值，概率是频率的理论值有同学说头大了，其实，我们学习数据挖掘，最终研究的业务问题以及模型构建，就是数学上的记录问题，因此记录学一定要学好，否则学习模型会比较吃力也就是说数据挖掘也是有一定门槛的，对数学是有规定的我们通过决策树模型最终得到两类人群可以清晰地定位哪些消费者会购置我们的商品组合，而不是漫无目的的推荐以上内容是第一种案例可能今天不能把3个案例都讲完，不过我想的是不用图快，把某些知识点给大家讲清晰，讲透彻下面我们来看顾客体验中的数据挖掘案例

二、顾客体验中的数据挖掘顾客体验怎样跟数据挖掘结合起来呢？什么是顾客体验顾客是使用产品的人，体验是感受，是主观的，而我们进行数据分析或者数据挖掘是基于客观的对象第一步就需要量化，把主观的体验量化成客观的数据怎样量化顾客体验呢？例如形容一种食品尤其好吃，食品的体验尤其好可以用色香味俱全来形容，这就是量化的东西色，指颜色，好看，通过视觉来测量香，通过嗅觉来测量味,通过味觉，尝一尝来测量形容一种食品尤其好吃，是很主观的,不过可以通过色香味这3个可以测量的方面来形容我们再举一种详细的产品，例如一种网站，就是一种产品，我们怎么来形容和描述某一种网站的顾客体验好登录或者打开一种网站,最直接的体验就是界面好看例如，我们拿数据分析网来说，打开数据分析网觉得界面很美观，视觉效果好除了界面，我们还要看内容，更新与否及时，与否有价值;还有打开速度对于一种购物网站，最重要的体验是什么？安全性总结下，界面、内容、性能、效率、安全等是衡量一种网站发展的体验方面通过食品和网站这两个例子，假如让你来量化某一种产品的顾客体验，你首先应该怎么办？顾客体验是一种主观的东西，主观的东西不能被直接测量，因此需要定指标定指标，分解到指标为何强调分解这个词呢因为顾客体验自身是个很主观的东西，不能被直接测量，就需要把它分解成若干个可直接测量的指标，这是很关键的第一步通过这些间接的指标组合，衡量整个产品的顾客体验我们第一步,要构建我们的顾客体验评测指标体系这个评测指标体系就是把我们的产品分解为若干个可以直接测量的指标我们通过顾客体验评测指标体系，衡量产品顾客体验的好坏，目的是协助产品经剪发现产品的短板，产品的短板就是顾客体验不好的地方，需要改善的地方在改善的过程中，要确定这些短板的优先级（排序）优先修改最重要的部分这就是我们的商业理解第一步构建了我们的模型，第二步要构建数据模型需要什么样的数据来支撑我们的分析目标？我们的数据是通过调查问卷，获得那些指标数据通过问卷调研的题目，对应我们的指标获得数据支撑后来，构建模型通过数学的措施，来处理我们的业务问题我们的业务问题，回到分析目标，第一种目标构建顾客体验时指标评测体系，将我们的产品顾客体验分解成若干个可以被直接测量的部分这一种目标隐藏了一种什么样的数学问题例如一种食品尤其好吃,色香味俱全，你为何认为通过色香味俱全可以描述这个食品好吃这个凭的是经验经验是什么？凭经验得到的模型有可能对，也有可能错在数学中就是假设检验的过程，需要用数据来验证确定了第一种数学问题之后，再看第二个，找到产品的I短板所在以及改善这是个什么数学问题产品的短板所在，就是每一种指标的评分;改善问题的优先级，就是权重，指标的权重第2个问题就是找到每一种指标的得分和权重这里的模型应用就是指找到产品的短板所在以及改善有关顾客体验的数据挖掘重点已经都讲的差不多了，由于时间关系，下面我们迅速浏览一下整个流程最终，假如大家作为一名产品经理，我们得到了产品的所有体验指标得分和权重后，你首先要把满足什么条件的指标筛选出来呢？得分低、权重大得分低，阐明产品体验不好，即产品短板所在;权重大,是顾客关注的比较重要的I部分用一种象限来阐明，横轴是指标得分，纵轴是指标重要性第一象限，得分高、权重高;第二象限，得分低、权重高，这就是我们急需要改善的地方;第三象限，得分低、权重低，对于落在这个象限的指标，作为一种产品经理，你会怎样处理这部分需要砍掉，不能做的大而全，要抓刚需;第四象限，得分高、权重低，这是体验不错的不过顾客关注度低的部分综合来看,我们的产品顾客体验要分阶段、分目标时来开展我们的优化工作，逐渐提高我们的顾客体验水平今天很感谢大家，耽误了大家两个小时时间，但愿大家能把知识点理解透彻数据哥:在美国，到超市去买婴儿尿不湿是某些年轻的父亲下班后的平常工作，而他们中有30%40%的人同步也会为自己买某些啤酒产生这一现象的原因〜是美国的太太们常叮嘱她们的丈夫不要忘了下班后为小孩买尿不湿，而丈夫们在买尿不湿后又随手带回了他们喜欢时啤酒另一种状况是丈夫们在买啤酒时忽然记起他们的责任，又去买了尿不湿既然尿不湿与啤酒一起被购置时机会诸多，那么沃尔玛就在他们所有的门店里将尿不湿与啤酒并排摆放在一起，成果是得到了尿不湿与啤酒的销售量双双增长按常规思维，尿不湿与啤酒风马牛不相及，若不是借助数据挖掘技术对大量交易数据进行挖掘分析，沃尔玛是不可能发现数据内这一有价值的规律的target和怀孕预测指数有关数据挖掘时应用，近来还有这样一种真实案例在数据挖掘和营销挖掘领域广为流传美国一名男子闯入他家附近的一家美国零售连锁超市target店铺（美国第三大零售商塔吉特）进行抗议“你们居然给我17岁的女儿发婴儿尿片和童车的优惠券”店铺经理立即向来者承认错误，不过其实该经理并不懂得这一行为是总企业运行数据挖掘的成果如图所示一种月后，这位父亲来道歉，因为这时他才懂得他的女儿确实怀孕了target比这位父亲懂得他女儿怀孕的时间足足早了一种月target怀孕预测指数target可以通过度析女性客户购置记录，“猜出”哪些是孕妇他们从target的数据仓库中挖掘出25项与怀孕高度有关的商品，制作“怀孕预测”指数例如他们发现女性会在怀孕四个月左右，大量购置无香味乳液以此为根据推算出预产期后，就抢先一步将孕妇装、婴儿床等折扣券寄给客户来吸引客户购置假如不是在拥有海量的顾客交易数据基础上实施数据挖掘，target不可能做到如此精确的营销电子商务网站流量分析网站流量分析，是指在获得网站访问量基本数据的状况下对有关数据进行的记录和分析，其常用手段就是web挖掘web挖掘可以通过对流量的分析，协助我们了解web上的顾客访问模式那么了解顾客访问模式有哪些好处呢在技术架构上，我们可以合理修改网站构造及适度分派资源，构建后台服务器群组，例如辅助改善网络的拓扑设计，提高性能，在有高度有关性的节点之间安排迅速有效的访问途径等协助企业更好地设计网站主页和安排网页内容协助企业改善市场营销决策，如把广告放在合适的web页面上协助企业更好地根据客户的爱好来安排内容协助企业对客户群进行细分，针对不一样客户制定个性化的促销方略等人们在访问某网站的同步，便提供了个人对网站内容的反馈信息点击了哪一种链接，在哪个网页停留时间最多,采用了哪个搜索项、总体浏览时间等而所有这些信息都被保留在网站日志中从保留的I信息来看，网站虽然拥有了大量欧I网站访客及其访问内容的信息，但拥有了这些信息却不等于可以充分运用这些信息那么假如将这些数据转换到数据仓库中呢？这些带有大量信息的数据借助数据仓库汇报系统（一般称作在线分析处理系统），虽然能给出可直接观测到附和相对简朴直接的信息，却也不能告诉网站其信息模式及怎样对其进行处理，而且它一般不能分析复杂信息因此对于这些相对复杂的信息或是不那么直观的问题，我们就只能通过数据挖掘技术来处理，即通过机器学习算法，找到数据库中的隐含模式，汇报成果或按照成果执行为了让电子商务网站可以充分应用数据挖掘技术，我们需要采集愈加全面的数据，采集的数据越全面，分析就能越精确在实际操作中，有如下几种方面的数据可以被采集访客的系统属性特性例如所采用的操作系统、浏览器、域名和访问速度等访问特性包括停留时间、点击的url等条款特性包括网络内容信息类型、内容分类和来访url等产品特性包括所访问的产品编号、产品目录、产品颜色、产品价格、产品利润、产品数量和特价等级等当访客访问该网站时，以上有关此访客的数据信息便会逐渐被积累起来，那么我们就可以通过这些积累而成的数据信息整顿出与这个访客有关的信息以供网站使用可以整顿成型的信息大体可以分为如下几种方面访客时购置历史以及广告点击历史访客点击时超链接的历史信息访客的总链接机会（提供应访客的超级链接）访客总的访问时间访客所浏览的全部网页访客每次会话的产出利润访客每个月的访问次数及上一次的访问时间等访客对于商标总体正面或负面的评价分类从人脸识别系统说起美国电视剧《反恐24小时》中有一集，当一种恐怖分子用手机拨打了一种电话，从ctu（反恐部队）的计算机系统中便立即发出恐怖分子出现的预警诸多好莱坞的大片中此类智能系统的应用也比比皆是，它能从茫茫人群中实时找出正在苦苦追踪的恐怖分子或间谍而在北京奥运会上，最引人注意的it热点莫过于“实时人脸识别技术”在奥运会安检系统中的应用,这种技术通过对人脸关键部位的数据采集，让系统可以精确地识别出所有进出奥运场馆的I观众身份目前人脸识别技术正广泛的应用于多种安检系统中，警方只需将犯罪分子的脸部数据采集到安检数据库，那么只要犯罪分子一出现,系统就能精确地将其识别出来现如今人脸识别技术已经相对成熟,google在picasa照片分享软件的工具中就已经加入了人脸识别功能当然，人脸识别技术牵涉到隐私，是把双刃剑，google在google街景地图中故意将人脸模糊化，变得无法识别就是这个原因如图所示为人脸识别示意图人脸识别示意图虽然需要借力于其他技术，不过人脸识别中的I重要技术还是来自于数据挖掘中的分类算法classification让我们从一种最简朴的o事实来解释分类的I思想设想一下，一天中午，你第一次到三里屯,站在几家此前从未去过时餐厅门前，目前的问题是该选择哪家餐厅用餐应该怎样选择呢？假设您没有带手机，无法上网查询，那么可能会出现如下两种状况一种，你记起某位朋友去过其中一家，并且仿佛他对这家的评价还不错，这时，你很有可能就直接去这家了第二种，没有类似朋友推荐此类先验知识，你就只能从自己以往的用餐经历中来选择了，例如你可能会比较餐厅的品牌和用餐环境，因为似乎此前的经历告诉自己，品牌响、用餐环境好的I餐厅可能味道也会好不管与否意识得到，在最终决定去哪家吃的时候，我们已经根据自己的判断原则把候选时这几家餐厅分类了，可能提成好、中、差三类或者值得去、不值得去两类而最终去了自己选择的那家餐厅，吃完过后我们自然也会根据自己的真实体验来鉴定我们的判断准则与否对时，同步根据这次的体验来修正或改善自己的判断准则，决定下次与否还会来这家餐厅或者与否把它推荐给朋友选择餐厅的过程其实就是一种分类的I过程，此类分类例子是屡见不鲜时在古时，司天监会依赖长时间积累的信息，通过观测天象对与否会有天灾做出分类预测古人则通过对四季气候雨水时常年观测，总结出农作物最佳播种时间在伯乐的《相马经》中，就通过简朴分类辨别出羸马的三条原则“大头小颈，弱脊大腹，小颈大蹄”其实在数据挖掘领域，有大量基于海量数据的分类问题一般，我们先把数据提成训练集training set和测试集testing set,通过对历史训练集的训练，生成一种或多种分类器classifier,将这些分类器应用到测试集中，就可以对分类器的性能和精确性做出评判假如效果不佳，那么我们或者重新选择训练集，或者调整训练模式，直到分类器的性能和精确性到达规定为止最终将选出。