
我虽然是技术出身,其实在跳槽到腾讯之后,一开始数据分析的事情做的并不多。
反而是因为碰到了一些真实的问题,所以想到要用爬虫和数据分析的方法找到答案,所以开始会学习更多爬虫和数据分析相关的知识。
一般来说数据分析的流程:
定义问题-->数据采集--->数据清理-->数据建模--->分析并输出结论
在我看来,业余时间学习爬虫或者是数据分析并不容易,有一定的学习曲线。真正能够帮助你克服困难的是先完成一些有成就感的事情,也就是找到一些你愿意去解决的问题:
-看到一张美女图片,想到如何用爬虫批量获取妹子图
-尝试学习一个新领域,可以先爬取和分析一下知乎上这个领域的精华回答都讲了些什么
-发生了一个热点事件,爬取用户们的不同看法,并且进行可视化的数据分析
业余时间学习数据分析往往面临三大挑战:
1)动机不足,碰到困难浅尝则止
2)缺少像学生一样整块的学习时间
3)缺少专业反馈,不知道努力方向是否正确
所以,在业余时间学习数据分析第一是要你面对的问题够有趣,第二是学习单元足够小,能够在3-5分钟学完一个小知识点,当然如果有导师的督促和review就更好了。
以下提供一个我自己实践过由浅入深的数据分析学习路径。
1.用造数saas类的爬虫工具,不需要编程,点几下鼠标就可以获取到自己想要的源数据(电商价格数据,新闻网站舆情数等)。
好处是上手比较快,很容易帮助我们解决数没有数据可分析的问题。
缺点是对于数据分析的新手虽然可以比较简单快速的拿到自己想要的数据,但是有一部分人停留于用这种saas工具去获取数据和分析数据,缺少对于数据分析的深刻理解。
2.学习python,装好环境,调用现成的python库,爬知乎这类开放的社区。
我知道有一位开发者7sDream 在github上有一个库 zhihu-oauth 7sDream 在github上有一个库 zhihu-oauth,是可以方便我们快速获取知乎相关的一些数据接口。
我的成品:知乎简史1:为了理解知乎,我分析了创始人的2699个回答和200位种子用户
知乎简史1:为了理解知乎,我分析了创始人的2699个回答和200位种子用户
这种方式的好处是可以定制化的获取自己想要的数据,数据的来源和格式我们都可以编程实现定制。
缺点是我们需要根据每一个数据源的数据结构针对性的做一些分析,同时由于这一阶段我们用的数据呈现工具PPT、excel等还比较简单,很难对数据进行多维度的分析 或者是进行一种更加直观的呈现。
3.真正的想要让你的数据发挥价值,就要用到tableu等数据分析进阶工具。
Tableau有免费试用,如果你学生的话可以在 Tableau 学生版 他们的官网下载到学生版本,上传学生证认证即可免费使用。
Tableau支持对于数据进行不同维度的分析,而且提供了近百种不同的数据呈现方式。Tableau的操作还是有一点复杂,光是自己尝试想要摸清楚并不容易,我现在是结合udacity(优达学城)数据分析师课程一起看,里面除了课程视频还有一些数据集、案例、练习帮助我们快速上手类似 Tableau这类数据分析工具
Udacity的课程本身是和Tableau官方合作的,同时的进阶数据分析课程还带6个月的Tableau的付费license。
数据分析进阶学习材料:
1)python编程:@路人甲的 知乎专栏“学习编程” ,里面有很多他自己做python开发和数据分析的心得。
2)爬虫这块:崔庆才的Python爬虫学习系列教程-进阶部分,会讲解Pyspider等爬虫框架
3)tableu等数据分析/可视化工具:我最近在学习数据分析师这一节
准备把自己比较丑的数据可视化和数据透视这两块加强一下。
优达在线课程是一个知识点一个视频录制的,可以高度保持注意力,单个知识点只需要3-5分钟就可以学完,同时也有导师督促和审阅项目,这点还是挺吸引我的。
udacity的数据分析课程中有一张图,特别直观的体现了针对不同的数据分析任务,我们可以用怎样的数据图来体现不同的关系:时间序列,对比,相关性分析,构成关系。
--时间序列:时序图,折线图
--对比:柱状图
--相关性分析:气泡图
--构成关系:成分图、饼图
数据分析大多数时候也就是在分析时序、相关性、对比、构成这四类关系,数据分析这件事本身就可以用数据图表的方式被如此精炼的表达出来。
我觉得很直观的总结了数据分析的本质,学习数据分析,本质上是在帮助我们从数据的维度更好的理解不同行业,和我们现在所处的这个世界。
我想,这就是数据分析之美吧....
