大数据分析及其建模应用

  在数字经济时代,互联网、物联网、5G、大数据、智慧城市等各类形式的信息技术呈爆炸式增长,使得数据以令人难以想象的速度不断增长,企业经营的各个阶段都可以被记录下来,产品销售的各个环节也被记录下来,客户的消费行为和网上行为,智能设备的信息都被采集下来。数据已成为一种重要的生产要素,通过对数据的收集、存储、再组织和分析建模,隐藏在数据中的重要价值及规律被客观的挖掘展现出来,成为企业和社会升级及可持续发展的重要推动力量。而然这些技术应用的发展,基础是数据治理和大数据分析建模,大数据分析建模也成为了大数据应用的核心和关键环节,也成为科技界和企业界关注的热点话题。如何进行大数据的建模分析呢,本文带领大家,了解大数据分析建模的思路。

  大数据分析建模的背景

  随着企业信息化的逐步深入,大量信息系统在企业中广泛应用,物联网、云计算、工业互联网等技术与企业经营生产紧密结合,设备运行、生产加工、测试试验等数据采集过程更加自动化,企业积累了大量的数据,包括产品销售数据、客户消费数据、客户行为数据、企业运营数据等,企业经营生产的各个阶段都可以被记录下来,产品销售的各个环节也被记录下来,客户的消费行为和网上行为都被采集下来,这些数据隐藏着大量的有价值的规律和信息,是企业的重要资产。

  另一方面,传统的数据报表、即席查询等简单分析手段已无法满足企业对于深层次信息的挖掘需求,大数据融合、大数据分析、大数据挖掘等技术不断发展,漏斗分析、事件分析、行为分析、留存分析、属性分析等模型不断完善,神经网络、决策树、关联规则等挖掘算法不断成熟,基于Hadoop、HDFS的分布式存储技术以及基于Storm、Spark、MapReduce等分布式计算技术迅猛发展,为大数据分析处理及分析建模提供了坚实的技术支撑。

  大数据分析建模步骤

  企业开展大数据分析,首先应开展业务调研和数据调研工作,明确分析需求,其次应开展数据准备工作,即选择数据源、进行数据抽样选择、数据类型选择、缺失值处理、异常值检测和处理、数据标准化、数据簇分类、变量选择等,再次应进行数据处理工作,即进行数据采集、数据清洗、数据转换等工作,最后开展数据分析建模及展现工作。大数据分析建模需要进行5个步骤,即选择模型、训练模型、评估模型、应用模型、优化模型结构。

  选择模型----训练模型-----评估模型----应用模型----优化模型

  1. 选择分析模型:基于收集到的业务需求、数据需求等信息,研究决定选择具体的模型,如行为事件分析、漏斗分析、留存分析、分布分析、点击分析、用户行为分析、分群分析、属性分析等模型,以便更好地切合具体的应用场景和分析需求。

  2. 训练分析模型:每个数据分析模型的模式基本是固定的,但其中存在一些不确定的参数变量或要素在里面,通过其中的变量或要素适应变化多端的应用需求,这样模型才会有通用性。企业需要通过训练模型找到最合适的参数或变量要素,并基于真实的业务数据来确定最合适的模型参数。

  3. 评估分析模型:需要将具体的数据分析模型放在其特定的业务应用场景下(如物资采购、产品销售、生产制造等)对数据分析模型进行评估,评价模型质量的常用指标包括平均误差率、判定系数,评估分类预测模型质量的常用指标包括正确率、查全率、查准率、ROC曲线和AUC值等。

  4. 应用分析模型:对数据分析模型评估测量完成后,需要将此模型应用于业务基础的实践中去,从分布式数据仓库中加载主数据、主题数据等,通过数据展现等方式将各类结构化和非结构化数据中隐含的信息显示出来,用于解决工作中的业务问题的,比如预测客户行为、科学划分客户群等。

  5. 优化分析模型:企业在评估数据分析模型中,如果发现模型欠拟合或过拟合,说明这个模型有待优化;在真实应用场景中,定期进行优化,或者当发现模型在真实的业务场景中效果不好时,也要启动优化,具体优化的措施可考虑重新选择模型、调整模型参数、增加变量因子等。

  大数据分析建模建议

  数据分析建模是企业大数据应用的重要基础,通过建模不仅有效地组织了原始数据,而且为数据展现提供了重要支撑,企业在开展数据分析建模过程中应注意以下几点:

  1. 重视需求牵引作用,深化业务问题解决

  企业应结合业务发展目标,梳理经营生产过程中的瓶颈问题,以问题为导向,重视业务需求调研工作,清理业务流程和业务数据,研究数据来源、采集通道和映射关系,深入梳理数据基础,不断推进业务问题的解决并构建合理的业务架构。

  2. 加大数据积累力度,夯实数据体系基础

  企业应深化信息系统应用,提升业务流程和业务数据上线力度,深化物联网、云计算等新兴技术应用,提高数据采集效率,丰富数据积累力度;完善主数据、主题数据、数据建模等标准规范,构建包含业务、指标、报表等的数据体系,夯实数据体系基础。

  3. 加大人员队伍建设,提高技术支撑能力

  大数据分析建模是数据到信息转变的重要支撑,也是凸显数据价值实现的重要环节,企业应加强业务需求调研与业务架构优化,夯实数据基础和应用基础,不断选择、训练、评估、应用和优化模型,不断推进大数据分析建模的应用,为转型升级奠定坚实基础。

  企业应加大技术专家、业务专家、数据分析师、数据管理员、运营专家等专业人员的培养,调动业务部门参与数据分析的积极性和主动性。同时加大数据分析、数据建模、数据挖掘技术储备、技术工具库和模型库建设,提高技术支撑能力。

用户喜欢...

大数据对投资和金融世界的影响

大数据对投资的影响是巨大的,并将改变金融世界和人们的投资习惯。 传统上,投资世界是平淡无奇的,并且具有排他性。投资工具彼此之间差别不大,最低资本要求意味着投资也只能供给少...


大兴机场亮相科技感十足 千锋教育培养科技时代精英

作为20年内全球范围规划新建设的最大机场之一,大兴国际机场从开工建设到9月25日正式投入使用,每一步都吸引着全球的目光。借助5G、人脸识别、VR体验等前沿科技,大兴国际机场,值机、...


英特尔助力阿里云创造世界纪录 加速大数据计算创新突破

在2019年云栖大会上,英特尔与阿里巴巴共同宣布,在国际大数据性能基准测试TPCx-BB[1]中,由英特尔支持的阿里云MaxCompute以100TB的数据规模创造世界纪录。TPCx-BB是目前业界最全面的端到端大数...


大数据如何改变社交媒体营销

如今,大数据在市场营销中发挥重要作用,并以许多方式正在改变社交媒体营销。 大数据是近年来促进营销领域的最令人印象深刻的技术进步之一。虽然在某些圈子里,大数据已经成为一个流...


区块链如何改变大数据行业?

很多人都听到过大数据这个术语,它可能出现在与科技行业相关的视频中,也可能出现在人们的办公室里。大数据是2019年的热门话题之一,每个技术爱好者都在讨论它带来的变化和影响。 大数...


应该在云中存储大数据的5个理由

如果不确定如何正确存储大数据,则应该将大数据存储在云中。 信息存储只能通过位于隐蔽位置的传统远程服务器来完成的日子已经一去不复返了。如今采用云端存储数据,其中信息和数据以...


从云计算大数据等方面建立评价体系

中国生产力学会承办的第十九届世界生产力大会将于2019年11月16日至18日在中国成都召开。来自世界不同的国家或地区的工商界领袖、政界人物、行业管理者、生产力科学领域专家学者等相关人...


人工智能和大数据存在什么隐患?

从数据稀缺到现在有大量的数据,近年来,可用的数据量呈指数级增长,大数据变得无处不在。这是由于数据记录设备数量的巨大增长,以及这些设备之间通过物联网连接。似乎每个人都有收...


全球女性智慧共享平台——全球魅力女性学院盛大揭幕

2019年9月14日,全球女性智慧共享平台全球魅力女性学院在中美建交40周年庆典上正式揭幕。美国前总统卡特儿子奇普卡特、全国职业教育教学改革创新指导委员会副主任委员刘延申等各界嘉宾应...


谷歌将追加投资30亿欧元扩大欧洲数据中心

谷歌公司CEO皮查伊今天在芬兰举行的新闻发布会上宣布,谷歌将追加投资30亿欧元扩大欧洲数据中心。 谷歌的这一投资计划包括对芬兰哈米纳数据中心追加投资6亿欧元,使得该公司在哈米纳数...


百度视频8月影视大数据报告 国产片势头强劲

8月,影视剧延续暑期的热度。国产片势头强劲,《哪吒之魔童降世》、《烈火英雄》等影片热度持续飙升;电视剧也很丰富多彩,都市家庭、古装、奇幻等题材的多部高口碑、高热度剧相继登场...


上海市大数据中心与顺丰速运上海公司昨日签署合作框架协议

上海市大数据中心与顺丰速运上海公司昨日签署合作框架协议,今后一网通办服务中,用户在物流寄送方面除了现有的邮政EMS,还可以选择顺丰。上海市委常委、常务副市长陈寅等见证签约仪...


中国电信在宁夏建大型数据中心 总投资额达10亿元

据悉,9月19日上午,在中卫市西部云基地内,中卫市2019年第三季度重大项目集中开工现场推进会正式召开。本次集中开工的项目共有38个,投资总额在55亿元。其中有22.8亿元投资将计划在年度...


促进电子邮件营销转换的5个大数据策略

采用大数据可以显著改进和增加电子邮件营销转换率。企业在电子邮件营销方面可以尝试大数据策略。 大数据几乎在数字营销领域的每个方面都发挥着至关重要的作用,企业可以使用大数据来...


中国大数据市场保持稳定增长

咨询机构IDC最新发布的报告预测,2019年,大数据与商业分析解决方案全球市场的整体收益将达到1896.6亿美元(约合人民币13495.1亿元),这一数字相比2018年增长12.1%。在2019年~2023年的预测期内,全...


贵州大学迎新首次使用大数据

拍张全家福 9月16日,贵州大学迎来了来自全国各地的9436名本科新生,其中包括了7600余名00后小萌新,1800余名90后萌新。迎新现场,由学长学姐们组成的迎新志愿者,从接车、报到、办理入住手...