大数据高手修炼之路

1

作者:大数据专家

首先声明一点,千万不要以为看了这篇文章就能成为大数据高手了,不然就不会用“修炼”这个词了,要修炼成大数据高手决不是件容易的事,可以说是非常难的一件事。要不也不会连大数据发源地——美国也不超出10个人(也许就5、6个)能达到这个层次,在中国……算了,就不说了。

这篇文章实际是给你指一条过程异常艰辛,但前途异常光明的路。没有毅力的人,看看就好了,千万别认真。(说实在的,就算要看明白这篇文章,也都不是件容易的事。)

言归正传。要想成为大数据高手,首先要从理念上彻底转变,彻底理解大数据思维,并渗透到血液和骨髓中,否则是不可能成为高手的。换句话说,你的世界观要彻底转变!(我知道,你一定会在心里说:有没有这么严重啊?)

而要实现这个转变,必须经过初级、中级和高级三个阶段的学习。

那三个阶段要怎么学习呢?下面我就会告诉你每个阶段所要用的教材,把这些书读透,你就会实现上面的转变了。

初级阶段:《大数据时代》

作者:[英]维克托·迈尔-舍恩伯格,[英]肯尼思·库克耶

翻译:盛杨燕,周涛

浙江人民出版社

1

不用说了,肯定是这本书。读完这本书,要求你形成大数据的概念,即知道这么几点:

1、绝不是有很多数据就叫大数据;

2、大数据是一种数据分析方式,与传统数据分析方式有着本质上的不同;

3、大数据的特点是“关注相关性,不关注因果”,这是大数据最核心的东西,一定要真正理解,并牢牢记住,不然你就很容易被别人忽悠;

4、大数据采用的是统计的方法;

5、大数据主要是结合人工智能进行机器的自动数据挖掘;

6、大数据主要是用来作预测的。而不是像一般的数据分析,只是分析出历史情况和现状,未来还是要靠人去预测,大数据则是直接告诉你未来的结果。

中级阶段:《失控》

作者:凯文·凯利(KEVIN KELLY),很多人都亲切地叫他KK

翻译:东西文库

新星出版社

时空

为什么是这本书呢?学完初级阶段要记住的几件事还没忘吧?对,用统计的方法,而不是因果的方法,预测未来。ok,下面我们就来看看这本书说了些啥:

第二十二章 预言机

……

在对预测机制进行剖析的时候,法默最喜欢用这个例子来进行说明:「来,接着!」他说着就朝你扔过来一个棒球。你抓住了球。「你知道你是怎么接住这个球的吗?」,他问道。「通过预测。」

法默坚信你的脑子里有一个关于棒球是如何飞行的模型。你可以采用牛顿的经典力学算式f=ma 来预测一个高飞物体的运动轨迹,但是你的大脑本身却并没有存储这样的基本物理学算式。更确切地说,它直接依照经验数据建立起一个模型。一个棒球手,成千次观察球棒击飞棒球的情景,成千次举起戴着棒球手套的手,成千次利用戴手套的手调整他的预测。不知怎么的,他的大脑就逐渐编制出一个棒球落点的模型——一个几乎跟f=ma 不相上下的模型,只不过适用范围没有那么广而已。这个模型完全建立在过去接球过程中产生的一系列手/眼数据的基础上。在逻辑学领域中,这样的过程统称为归纳,它与导出f=ma 的推演过程截然不同。

……

一个棒球外野手基于经验形成的空中飞行物的「理论」,很像托勒密行星模型的后期阶段。如果我们解析外野手的「理论」的话,就会发现它是不连贯的,即兴的,复杂的,而且是近似的。但是,它也是可以发展的。这是一个紊乱的理论,但它不仅有效,而且还能提高。如果非要等到每个人都能弄明白f=ma 这个算式(况且,弄明白半个f=ma 还不如什么都不懂)再行动的话,就根本没有人能接住任何东西。就算你现在了解了这个算式,也没什么用。「你可以用f=ma 来求解飞行中的棒球问题,但你不能在外场实时解决问题。」法默说。

……

几乎可以明确地说,「活系统」——狮群、股票市场、进化中的种群、智能——都是不可预测的。它们所具有的那种混乱的、递归式的因果关系,各个部分之间互为因果的关系,使得系统中的任何一个部分都难以用常规的线性外推法推断未来。不过,整个系统却能够充当分布式装置,对未来做近似的推测。

……

而世界上绝大多数的复杂系统——包括所有的市场——都是非线性的。

……

在现实中,影响股票的二维图形轨迹的因素不是几个,而是数千个。

……

用户喜欢...

大数据时代:十大最热门的大数据技术

随着大数据分析市场快速渗透到各行各业,哪些大数据技术是刚需?哪些技术有极大的潜在价值?根据弗雷斯特研究公司发布的指数,这里给出最热的十个大数据技术。 1、预测分析 预测分析是...


IDC发布《IDC MarketScape:中国大数据管理平台厂商评估,2017》

中国大数据市场整体热度逐步降低,数据应用开始落地,而应用的前提是建设统一的大数据管理平台。IDC调研了几十...


技术牛逼也要懂点社交:数据科学家公司生存指南TOP30秘诀

作者:SeattleDataGuy 数据科学家老司机的30个经验之谈,教你如何在公司内获得认同,带你绕过他们曾经踩过的坑。 作...


20个数据可视化工具点评

第一部分:入门级工具 1.Excel Excel的图形化功能并不强大,但Excel是分析数据的理想工具,上图是Excel生成的热力地图...


大数据让人开始怀疑人生

《 大数据时代》,维克托·迈尔·舍恩伯格、肯尼思·库克耶著,盛杨燕、周涛译,浙江人民出版社 一年多前听说了...


「数据爆炸」预示着网络舆情分析也正式步入大数据时代

随着计算机技术和人工智能的不断发展,大数据时代的网络舆情分析备受关注。目前,在网民数量直奔8亿的大环境下...


营销转数据,两年半到P7,我都做了哪些事儿?

作者:李宁 缘起 标题含义:传统行业的三年管培后,2014.12转型做数据,先后经历艾瑞、携程,于2017.9入职eleme的新零...


Python 的数学仙境之旅

作者:Aceyclee 数学中有很多有趣的东西都可以用代码来显示,这是一个 Python 集合,用代码把数学算法渲染成一幅幅美...


大数据时代下的隐私保护

作者:孙茗珅 韦韬 前言  本文介绍了学术界和工业界对于用户隐私保护的努力成果,其中主要讲到了k-anonymity(k-匿...


如何理解马云演讲「十年后没有数据分析师的职业」

作者:lichald 缘起 结缘:我个人很喜欢研究马云的研究,一是认为他把事情做到了不可思议的高度,二是他很爱对未...


数据挖掘,正从从线上生活伸向线下

作者:车品觉 天气一热,冷饮会不会立马涨价? 英国消费者很快就能知道答案。近日有报道称,英国三大连锁超市将...


大数据院雷吉成:当大数据成为思维习惯时 产业发展才算成熟

作者:汤正 导读:近年来,全球大数据产业磅礴发展,经过多年的探索,我国大数据产业发展取得不小的成果,同时...


解读:大数据分析及其数据来源

导读:当我们谈到大数据分析,首先需要确定数据分析的方向和拟解决的问题,然后才能确定需要的数据和分析范围...


迪斯尼非法获取儿童隐私信息,个人隐私数据安全由谁负责?

作者:Redline 相信大家对迪斯尼都不会陌生,不管是电影还是游戏都可以看到他的身影。而对于儿童更是深受他们喜爱...


Go 在万亿级大数据平台开发中的实战

作者:孙健波 导语 迅猛发展的互联网将我们带入了大数据时代,大数据已经成为发展中不可或缺的力量支撑,大数据...


10 行 Python 代码创建可视化地图

作者:renwofei423 import vincent world_countries = r...