1.大数据时代应该具备什么专业知识
通过对海量数据的交换、整合和分析,发现新的知识,创造新的价值,带来新的发现,大数据时代正在向我们走来。“谁拥有了大数据,谁就占有了制高点。就政府而言,大数据必将成为宏观调控、国家治理、社会管理的信息基础”。
一如往常,11月宏观经济数据一出来,即引来各方专家解读。略有不同的是,来自统计业内的动向显示,包括CPI在内的统计数据正面临一场变革。这场变革是大数据时代的一种必然。
国家统计局刚刚与11家涉足大数据的领军企业签署关于大数据的战略合作协议,共同探讨如何在政府统计上应用大数据。
什么是大数据?大数据在哪儿?有什么用?怎么用?与政府部门有什么关系?现在提大数据是不是有些哗众取宠、“危言耸听”?
举两个例子。在甲型H1N1流感爆发前几周,谷歌公司通过观察5000万条美国人最频繁检索的词条数据,发现“哪些是治疗咳嗽和发热的药物”这一主题的检索频率大增,进而准确预测了流感的发生及传播范围。美国地铁警察跟踪地铁抢劫案发生的时间和地点,分析原因和规律,制作出预测图表,使地铁抢劫案大为下降。除了商界的成功案例,大数据在政府管理上的非凡“身手”正在显现。
通过对海量数据的交换、整合和分析,发现新的知识,创造新的价值,带来新的发现,大数据时代正在向我们走来。
与不少发达国家已把大数据的开发应用提高到国家战略高度相比,我国的大数据管理还处萌芽状态。重定性、轻定量,重观点、轻数据的思维惯性,使得我们在数据收集、使用和管理上不太灵敏。比如,雾霾污染物的比例各是多少?城市机动车饱和量是多少?缺乏精确数据都让相关决策难以精准发力。
大数据不是“唬人”的标签,没必要对其夸大其词,也不能充耳不闻、敬而远之。
今年全国两会就有人大代表提出,可以通过分析春节期间移动用户漫游情况,掌握人口的流动规模与迁徙规律,为交通管理、铁路运输、公共安全管理等提供决策参考。这是挖掘大数据价值的现实建议。
大数据的能量往往超出我们的想象。在房地产价格统计上,银行的贷款信息及住建部门的网签数据能让房价数据更真实可靠;在就业领域,搜索引擎大数据可以帮助监测预警失业率和劳动力市场供求状况;道路上拍摄的交通影像数据可以帮助推算公路运输的货运量,等等。这些不是异想天开,它们一旦落地,将大大提高政府管理的精细化,提高决策的科学性。在医疗健康、食品卫生、地质灾害、社会舆情、信息安全、国土安全等领域,大数据的分析研究可以有效实现对于重大安全、危机、风险的防范和预警,大大提升国家治理水平。
“谁拥有了大数据,谁就占有了制高点。就政府而言,大数据必将成为宏观调控、国家治理、社会管理的信息基础”——国家统计局局长马建堂的话可谓高屋建瓴。
跟上新技术发展的脚步,从国家层面通盘考虑我国大数据发展的战略,在立法层面规范用户隐私保护、政府信息收集及发布、公共数据的开放等——我们做好准备了吗?
千万不可低估互联网等新技术的能量。运用这些技术,国家治理的能力与效率将大为提高。正可谓“用智慧的分析洞察,构建智慧的地球”。
2.大数据专业主要学什么课程
大数据技术专业属于交叉学科:以统计学、数学、计算机为三大支撑性学科;生物、医学、环境科学、经济学、社会学、管理学为应用拓展性学科。
此外还需学习数据采集、分析、处理软件,学习数学建模软件及计算机编程语言等,知识结构是二专多能复合的跨界人才(有专业知识、有数据思维)。
以中国人民大学为例:
基础课程:数学分析、高等代数、普通物理数学与信息科学概论、数据结构、数据科学导论、程序设计导论、程序设计实践。
必修课:离散数学、概率与统计、算法分析与设计、数据计算智能、数据库系统概论、计算机系统基础、并行体系结构与编程、非结构化大数据分析。
选修课:数据科学算法导论、数据科学专题、数据科学实践、互联网实用开发技术、抽样技术、统计学习、回归分析、随机过程。
扩展资料:
大数据岗位7a686964616f31333431346362:
1、大数据系统架构师
大数据平台搭建、系统设计、基础设施。
技能:计算机体系结构、网络架构、编程范式、文件系统、分布并行处理等。
2、大数据系统分析师
面向实际行业领域,利用大数据技术进行数据安全生命周期管理、分析和应用。
技能:人工智能、机器学习、数理统计、矩阵计算、优化方法。
3、hadoop开发工程师。
解决大数据存储问题。
4、数据分析师
不同行业中,专门从事行业数据搜集、整理、分析,并依据数据做出行业研究、评估和预测的专业人员。在工作中通过运用工具,提取、分析、呈现数据,实现数据的商业意义。
5、数据挖掘工程师
做数据挖掘要从海量数据中发现规律,这就需要一定的数学知识,最基本的比如线性代数、高等代数、凸优化、概率论等。经常会用到的语言包括Python、Java、C或者C++,我自己用Python或者Java比较多。有时用MapReduce写程序,再用Hadoop或者Hyp来处理数据,如果用Python的话会和Spark相结合。
参考资料来源:中国人民大学信息学院-数据科学与大数据技术
参考资料来源:百度百科-大数据采集与管理专业
3.大数据要学习些什么方面的知识
1、学习大数据首先要学习Java基础
怎样进行大数据学习的快速入门?学大数据课程之前要先学习一种计算机编程语言。Java是大数据学习需要的编程语言基础,因为大数据的开发基于常用的高级语言。而且不论是学习hadoop,还是数据挖掘,都需要有编程语言作为基础。因此,如果想学习大数据开发,掌握Java基础是必不可少的。
2、学习大数据必须学习大数据核心知识
Hadoop生态系统;HDFS技术;HBASE技术;Sqoop使用流程;数据仓库工具HIVE;大数据离线分析Spark、Python语言;数据实时分析Storm;消息订阅分发系统Kafka等。
如果把大数据比作容器,那么这个容器的容量无限大,什么都能往里装,大数据离不开物联网,移动互联网,大数据还和人工智能、云计算和机器学习有着千丝万缕的关系,大数据海量数据存储要高扩展就离不开云计算,大数据计算分析采用传统的机器学习、数据挖掘技术会比较慢,需要做并行计算和分布式计算扩展。
3、学习大数据需要具备的能力
数学知识,数学知识是数据分析师的基础知识。对于数据分析师,了解一些描述统计相关的内容,需要有一定公式计算能力,了解常用统计模型算法。而对于数据挖掘工程师来说,各类算法也需要熟练使用,对数学的要求是最高的。
编程语言,对于想学大数据的同学,至少需要具备一门编程语言,比如SQL、hadoop、hive查询、Python等均可。
4、学习大数据可以应用的领域
大数据技术可以应用在各个领域,比如公安大数据、交通大数据、医疗大数据、就业大数据、环境大数据、图像大数据、视频大数据等等,应用范围非常广泛,大数据技术已经像空气一样渗透在生活的方方面面。大数据技术的出现将社会带入了一个高速发展的时代,这不仅是信息技术的终极目标,也是人类社会发展管理智能化的核心技术驱动力。
因此建议想学习大数据的同学,最好报班学习,可以系统的学习大数据理论知识,还会结合项目实践更熟练的掌握大数据技能。
4.大数据技术与应用专业怎么样,哪些大学这个专业好一点
大数据技术与应用专业,属于前沿科技专业。目前已经有不少学校开设了这个专业,但大都采用的是校企合作的方式办学,优势在于能够利用企业和高校的双师资为学生提供理论与实践相结合的教学指导,企业师资的加入弥补了高校教师对行业动态了解不及时、不全面的不足。该专业将大数据分析挖掘与处理、移动开发与架构、软件开发、云计算等前沿技术相结合,同时引入企业真实项目演练,依托产学界的雄厚师资,旨在培养适应新形势,具有最新思维和技能的”高层次、实用型、国际化”的复合型大数据专业人才。
目前,北京航空航天大学、贵州大学、对外经济贸易大学、华南理工大学、广东开放大学、宜春学院等都相继开设了大数据技术与应用专业,而这些学校也都是目前为止全国高校中大数据技术与应用专业比较牛的几所高校。
5.大数据技术与应用专业就业前景怎么样呢
这个不但要看行业的发展,还要看你自己的技术怎样,这几年大数据是非常火的,企业对大数据开发人员的要求也比较高,你不但要非常熟悉hadoop生态(HDFS,hive,hbase,spark等等),其次你的编程基础也要非常好,要会liunx,java、Scala或者python,熟悉常用的框架,还有最重要的就是工作经验,学历等。
《中华人民共和国国民经济和社会发展第十三个五年规划纲要》发布,把大数据作为基础性战略资源。据中国商委会统计,中国基础数据分析人才缺口达到一百五十万之巨,这是很大的一个人才缺口。大数据发展前景很不错,大数据人才比一般的软件开发人员平均薪资要高30%左右,并且在持续的增长。
6.大数据应该怎么学才能学好
可以先关注一些大数据领域的动态,找一些相关的学习资料,以及大数据入门的书籍,了解什么是大数据,有哪些岗位就业方向、基本的技术知识等。
大数据有各方面的工作,有需要用到高深的技术的,也有简单的工作,主要你愿意并且有决心从事大数据相关工作,不管你先前读什么专业,一定能找到适合你的切入点,进入大数据行业工作。
大数据应用到不同的行业侧重点会有不同,不同的岗位对技能要求的侧重也不同。零基础想要进入大数据行业,首先要搞清楚大数据产业链的情况,接下来要明确大数据技术栈也就是相关技术体系,选定一个自己想要从事的方向,了解所选岗位方向侧重的技能有哪些,定下学习目标和应用方向。