如何简单粗暴快速入坑数据分析

-回复 -浏览
楼主 2018-11-28 23:16:44
举报 只看此人 收藏本贴 楼主
大数据是什么

从海量的数据里进行撷取、管理、处理、并整理之后,获得你需要的资讯。大数据的特征归纳为4个“V”(量Volume,多样Variety,价值Value,速Velocity),或者说特点有四个层面:第一,数据体量巨大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T);第二,数据类型繁多。比如,网络日志、视频、图片、地理位置信息等等。第三,价值密度低,商业价值高。第四,处理速度快。最后这一点也是和传统的数据挖掘技术有着本质的不同。


大数据有哪些职位和就业机会

大数据主要有以下职位:


1)数据分析师Data analyst:指熟悉相关业务,熟练搭建数据分析框架,掌握和使用相关的分析常用工具和基本的分析方法,进行数据搜集、整理、分析,针对数据分析结论给管理销售运营提供指导意义的分析意见。

2)数据架构师Data architect:对Hadoop解决方案的整个生命周期进行引导,包括需求分析,平台选择,技术架构设计,应用设计和开发,测试和部署。深入掌握如何编写MapReduce的作业及作业流的管理完成对数据的计算,并能够使用Hadoop提供的通用算法, 熟练掌握Hadoop整个生态系统的组件如: Yarn,HBase、Hive、Pig等重要组件,能够实现对平台监控、辅助运维系统的开发。

3)大数据工程师Big Data Engineer:收集和处理大规模的原始数据(包括脚本编写,网页获取,调用APIs,编写SQL查询等);将非结构化数据处理成适合分析的一种形式,然后进行分析;根据所需要的和专案分析商业决策。

4)数据仓库管理员Data warehouse manager:指定并实施信息管理策略;协调和管理的信息管理解决方案;多个项目的范围,计划和优先顺序安排;管理仓库的各个方面,比如数据外包,移动,质量,设计和实施。

5)数据库管理员Database manager:提高数据库工具和服务的有效性;确保所有的数据符合法律规定;确保信息得到保护和备份;做定期报告;监控数据库性能;改善使用的技术;建立新的数据库;检测数据录入程序;故障排除。

6)商业智能分析员Business intelligence analyst:就工具,报告或者元数据增强来进行传播信息;进行或协调测试,以确保情报的定义与需求相一致;使用商业智能工具来识别或监测现有和潜在的客户;综合目前的商业只能和趋势数据,来支持采取行动的建议;维护或更新的商业智能工具,数据库,仪表板,系统或方法;及时的管理用户流量的商业情报。

7)数据库开发员Database developer: 设计,开发和实施基于客户需求的数据库系统;优化数据库系统的性能效率;准备设计规范和功能单证的分配数据库的项目;对数据库系统进行空间管理和容量规划;建立数据库表和字典;参与数据库设计和架构,以支持应用程序开发项目;执行数据备份和档案上定期;测试数据库,并进行错误修正;及时解决数据库相关的问题;制定安全程序,以保护数据库免受未经授权的使用;评估现有的数据库,并提出改进建议的执行效率;开发用于数据库设计和开发活动的最佳实践。


不同公司对数据分析职位的需求如何
第一类:互联网公司

特征:用户喜欢什么?
需求:用户洞察、数据提取、实时数据分析


你的工作可能包括从MySQL数据库中提取数据,成为Excel数据透视表的高手以及生成最基本的数据可视化(如线和条形图)。你可能偶尔分析一下A/ B测试的结果或负责公司的谷歌分析(Google Analytics) 账户。这样的公司是一个有抱负的数据科学家学习入门技术的好地方。一旦你熟悉你的日常事务,这样的公司可以为你创造一个尝试新事物和扩大新技能的环境。

需求职位:统计分析员、数据分析师

第二类:金融公司
特征:请把我们的数据打包整理!
需求:发展数据基础设施、离线数据分析


目前很多公司所处的状态是,他们有大量的流量(日益庞大的数据量),他们在找人建立能帮他们向前发展的数据基础设施,他们也找人来提供数据分析。你会看到这一类型的职位被列在“数据科学家”和“数据工程师”的职位列表里。因为你是第一个(或第一批之一)数据员工,可能比较容易出成果,所以你是一个统计专家或机器学习专家并不那么重要。一个拥有软件工程背景的数据科学家可能更容易在这样的公司有突出的表现,因为对这样的公司来说,更重要的是一个数据科学家能对产品代码做出更有意义的数据类的贡献并提供基本的见解和分析。在这样的公司,对初级数据科学家指导的机会可能更少。因此,你就会有很大的机会大放异彩,并且在磨练中成长,但是由于缺乏指导,你可能会面临更大的跌倒或停滞的风险。

需求职位:大数据工程师、数据分析师

第三类:BAT等数据平台企业
特征:我们就是数据,数据就是我们
需求:生产大数据驱动的产品、机器学习


还有许多公司,他们的数据(或他们的数据分析平台)就是他们的产品。在这种情况下,数据分析或机器学习的任务就会非常繁重。这可能对一个有正式的数学,统计学或物理学背景并希望继续走一条更学术的道路的人来说是更理想的环境。数据科学家在这样的环境中可能更专注于生产大数据驱动的产品,而不是回答公司业务问题。这一类的公司可能是面向消费者的拥有海量数据的公司或者以提供数据为基础的服务的公司。

需求职位:大数据工程师、数据分析师、数据挖掘工程师

第四类:其他数据驱动的非数据公司
特征:通过数据分析优化产品,提升产品竞争力
需求:数据处理、数据分析、数据可视化


很多公司都属于这一类。在这类公司中,你会加入一个由数据科学家组成的团队。你面试的公司关心数据,但可能不是一个数据公司。因此,进行数据分析,了解产品代码,将数据可视化等等,这些能力是同等重要的。一般来说,这些公司要么寻求通才,要么寻找一个能填补他们团队空缺的专才,比如数据可视化或机器学习方面的。面试这一类的公司的时候,比较重要的技能是熟悉“大数据”的专用工具(例如,Hive或Pig)以及有处理杂乱无章的真实数据集的经验。

职位需求:大数据工程师、数据分析师


大数据行业薪资

大数据行业的薪资比一般行业薪资普遍较高,因为这个行业的人才供不应求。


数据分析师的入门及学习周期

可以看一下国内知名互联网数据分析师的招聘要求,进行自我对照,即可知道需要做哪些准备。


数据分析师职位要求 :


1. 计算机、统计学、数学等相关专业本科及以上学历; 
2. 具有深厚的统计学、数据挖掘知识,熟悉数据仓库和数据挖掘的相关技术,能够熟练地使用SQL;
3. 三年以上具有海量数据挖掘、分析相关项目实施的工作经验,参与过较完整的数据采集、整理、分析和建模工作;
4. 对商业和业务逻辑敏感,熟悉传统行业数据挖掘背景、了解市场特点及用户需求,有互联网相关行业背景,有网站用户行为研究和文本挖掘经验尤佳;
5. 具备良好的逻辑分析能力、组织沟通能力和团队精神; 
6. 富有创新精神,充满激情,乐于接受挑战

业务方向学习路线:


1. 没有专业基础(统计学、金融、数学、计算机专业)的可以从统计学、SQL开始学习:

2. 对数学过敏的也可以先跳过统计学从Excel、SPSS开始,先熟练应用工具,再去理解背后的算法:

技术方向学习路线:


计算机专业背景的的、走技术线的可以从hadoop技术和R语言开始


非专业背景的入门找工作一般需要3-6个月学习周期
专业背景的1-2月


数据分析师入门书籍
数据分析师入门书籍,首先得了解数据分析师的工作职责。概括来说就是需要知识:


理论类:统计学、概率论、大数据背景

《漫画统计学入门》涵盖了现代统计学的所有精髓:数据的汇总、整理;随机变量;伯努利实验;中心极限定理;假设检验;估计置信区间;林林总总,所有这一切都在书中用简洁、明了的文字和妙趣横生的插图加以了解释。


《概率论与数理统计》该课程是高等理工院校工科、经济、管理各专业的一门重要基础课程。通过本课程的学习,使学生掌握《概率论与数理统计》的基本概念、基本理论和方法,从而使学生初步掌握处理随机现象的基本思想和方法,培养学生运用概率统计方法分析和解决实际问题的能力。


语言类:SQL、R、Pathon (SQL基础一、SQL基础二)

工具类:excel、spss、sas

实践类:数据挖掘和数据分析案例和应用


数据分析师有国家认可的考试吗

这个问题也经常有人问道,但是大家都陷入了一个误区。有国内认可的证书吧?没有!既然数据分析在国内刚起步,很多企业都是在自己摸索前进,所以目前国内并没有类似CFA,注会等国家认可的证书。


证书的作用或许可以做一个敲门砖,但是大家不要陷入了这样的一个依赖,更不要被社会上靠打着唯一认证证书名义的机构所误导。了解自己最需要充电的内容,加强学习,方为上计。


目前国内比较有影响的是CDA和CPDA两个行业协会的认证标准。CDA是美国数据分析师行业协会,CPDA是北京商业协会的;CPDA偏战略投资、金融、项目管理这块,CDA偏统计基础,数据挖掘算法方面,互联网应用。二者讲的数据分析工具差不多,差别主要在于教学思路,CDA更侧重应用和实践。

获取CDA数据分析师等级认证证书,则需要参加全国统考,一年两次,此认证证书为CDA数据分析师唯一认证证书,可以作为企业事业单位选拔和聘用专业人才的任职参考依据。


如何培养对数据分析的兴趣

建议如下:


1、先了解数据分析是神马?
2、了解数据分析有何用?可解决什么问题?
3、可以看看啤酒与尿布等成功数据分析案例;
4、关注数据分析牛人微博,听牛人谈数据分析;
5、多思考,亲自动手分析实践,体验查找、解决问题的成就感;
6、用好搜索引擎等工具,有问题就搜索,你会有惊喜发现;
7、可以看看李开复老师写的《培养兴趣:开拓视野,立定志向》;

有网友说:让数据分析变的有趣的方法是,把自己想象成福尔摩斯,数据背后一定是真相!


数据分析需要精通统计软件吗

不同公司不同职位要求都不一样,虽然大部分公司的招聘要求有提到要求会SPSS、SAS之类的统计软件,但是实际工作中还是以EXCEL居多,只有少数公司在工作中才常用到SPSS、SAS。


其实对绝大多数财务人员和管理人员而言,excel用到透视表已经可以解决95%的问题了吧,宏什么的属于炫技式用法。重要的是数据设置时的逻辑关系。还有一个重要的是分析结果的展示方法。


想做数据分析应该找怎样的公司和实习

建议是互联网、移动互联网、游戏、通信类的企业,因为这些类型的公司是数据都较为庞大,并且也较为重视数据分析工作的公司。


不过先想清楚自己以后所要从事的行业,然后在有针对性的实习,这样可以累积行业经验,加深对行业及业务的理解,因为毕竟数据分析的前提是要熟悉行业及业务。如果你熟悉了业务,你看到的不再是简简单单的数据,而是看到数据后面所隐含的信息。


如何写一份好的数据分析报告

一份好的数据分析报告,首先需要有一个好的分析框架,并且图文并茂,层次明晰,能够让阅读者一目了然。结构清晰、主次分明可以使阅读者正确理解报告内容;图文并茂,可以令数据更加生动活泼,提高视觉冲击力,有助于阅读者更形象、直观地看清楚问题和结论,从而产生思考。


如何学习数据分析

数据分析三字经:


  • 学习:先了解,后深入;先记录,后记忆;先理论,后实践;先模仿,后创新;

  • 方法:先思路,后方法;先框架,后细化;先方法,后工具;先思考,后动手;

  • 分析:先业务,后数据;先假设,后验证;先总体,后局部;先总结,后建议;

统计专业毕业可找什么工作
没有限制,基本上什么工作都可以做,只要你愿意去,对方公司也愿意要你即可。本科统计知识学好了,知道怎么用,会用统计分析软件,知道各结果参数的意义,会从业务的角度解释和使用统计分析结果,解决业务问题。找什么样的工作,用网友一个公式来说,就是:学习力+执行力+热情,即学习+能力+兴趣。


找工作关键要与自己兴趣相结合,并且能快速学习、有能力完成。这样就如网上的段子所说:不管你学什么专业,找工作一定要找个你喜欢的,这样你每天早晨六点到晚上八点都是高兴的。再找个喜欢的人在一起,这样晚上八点到早晨六点就是开心的,这就是生活。

当然如果说比较对口的工作,只要有数据的地方就需要用到数据分析,但目前不是所有公司都重视数据分析,目前国内IT、互联网、移动互联网、游戏、通信、金融、医药类等行业较为重视数据分析,并且这些类型的公司的数据都较为庞大,发挥空间大。当然其他行业也逐渐开始重视数据分析,如服装行业等,上招聘网搜索“数据分析”、“统计”等关键词就可知道哪些公司,哪些行业再招相关人才。 


这里稍微整理了下统计学专业对口的职业(不同行业、不同公司职位名称叫法不一,仅作参考):


1、 市场研究员
2、 咨询分析师
3、 数据分析师
4、 数据挖掘分析师
5、 统计分析师
6、 市场分析师
7、 行业分析师
8、 经营分析师
9、 运营分析师
10、 业务分析师
11、 商品分析师
12、 精算师(证书据说比较难考)
13、大学统计老师
14、 BI(偏统计分析方向)

相关行业:咨询、IT、互联网、移动互联网、游戏、通信、金融、医药类。

所以找工作前,先明确自己的兴趣以及能力,知道自己几斤几两,然后再有正对性的积累理论知识、相关经验,以便快速找到合适自己的工作。


如何知道自己是否适合做数据分析

第一、兴趣


无论什么工作兴趣最重要,要做数据分析师最基本的就是不讨厌数字,如果你跟他讲那个指标是通过怎么样的乘除加减得到的,他会觉得不耐烦,那么显然他不适合做数据分析;如果对数据较敏感,能够一眼发现异常值,数据分布情况,当然是最好的。

第二、逻辑清晰

再则就是逻辑性,可以让他试试爱因斯坦的那道经典的逻辑题,看看能否解出来,需要多久;逻辑思维对数据分析尤其重要,不然会被各种指标的定义规则、与业务的联系纠结死,逻辑思维好的人写SQL等数据处理脚本也会更加高效。

第三、业务理解

接着是业务理解能力,最简单的就是让他定义下网站的目标是什么,哪些指标可以作为KPI,用户从进入网站到达成网站目标的整个过程是怎么实现转化的,能否画出业务流程图。(宏观层面,不要深入细节)

如果偏技术则需要懂一些数据库结构和SQL,如果偏展现需要考验下对图表的掌控能力,什么时候用什么图表合适,甚至如何配色。

第四、细心、耐心和沟通

最后就是细心、耐心和交流能力,做数据分析有时会很纠结,细心和耐心是必需的,好的交流能力可以让数据分析师更好地阐述清楚各类问题。

这些都是比较基础的东西,也是短期难以培养起来的技能。至于另外业务相关的一些知识,可以通过培训获取,问一个未接触过你的网站业务的人一些业务知识其实有些不公平,其实如果具备上面几点,一旦熟悉网站和业务之后,一定会成为优秀的数据分析师。


数据分析师会遇到哪些困难

可以参考下最伤数据分析师的几句话:


1、你这个数据不对吧;
2、数据换个口径重新跑一遍;
3、你们做的一大堆数据,有啥用呢?无法落地;
4、怎么数据还没跑出来;
5、报告一点逻辑都没有;
6、报告一点业务深度都没有;
7、报告看不懂;
8、报告看懂了但没用;
9、报告再改改;
10、全是基础数据堆彻,没有重点,没有分析和结论!

以上问题在工作中可能会遇到,要尽量避免及做好心理准备!

来源:PPV课

Pivot中枢教育整理,版权归原作者所有

What Make Us Stand Out

Pivot中枢教育,是一家站在学术/职业发展高度为学员提升专业背景的学术型留学咨询机构。我们做最专业的留学申请教练,当面亲授,在懂学术的基础上辅导学员完成最优化的申请。

因为学术,所以专业

专注于欧美名校高端硕士/博士申请

预约电话:400-601-9700  

短信预约:18500971380

咨询地址:北京市海淀区文津国际公寓写字楼10层(近清华南门)

如欲更多了解Pivot中枢教育,请关注公众号“PivotEdu”,获取更多干货

我要推荐
转发到