首页>>互联网>>大数据->多少年学术界开始关注大数据(2023年最新解答)

多少年学术界开始关注大数据(2023年最新解答)

时间:2023-12-14 本站 点击:0

导读:本篇文章首席CTO笔记来给大家介绍有关多少年学术界开始关注大数据的相关内容,希望对大家有所帮助,一起来看看吧。

大数据时代是什么

最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。 “大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日,却因为近年来互联网和信息行业的发展而引起关注。

一.产生背景

进入2012年,大数据(big data)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。它已经上过《纽约时报》《华尔街日报》的专栏封面,进入美国白宫官网的新闻,现身在国内一些互联网主题的讲座沙龙中,甚至被嗅觉灵敏的国金证券、国泰君安、银河证券等写进了投资推荐报告。

随着云时代的来临,大数据(Big data)也吸引了越来越多的关注。大数据(Big data)通常用来形容一个公司创造的大量非结构化和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

哈佛大学社会学教授加里·金说:“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。”

二. 特征

1.数据量大(Volume)

大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。

2.类型繁多(Variety)

包括网络日志、音频、视频、图片、地理位置信息等等,多类型的数据对数据的处理能力提出了更高的要求。

3.价值密度低(Value)

如随着物联网的广泛应用,信息感知无处不在,信息海量,但价值密度较低,如何通过强大的机器算法更迅速地完成数据的价值“提纯”,是大数据时代亟待解决的难题。

4.速度快、时效高(Velocity)

这是大数据区分于传统数据挖掘最显著的特征。既有的技术架构和路线,已经无法高效处理如此海量的数据,而对于相关组织来说,如果投入巨大采集的信息无法通过及时处理反馈有效信息,那将是得不偿失的。可以说,大数据时代对人类的数据驾驭能力提出了新的挑战,也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。

闲话国内大数据发展简史&产业化落地

文·blogchong

之所以想要说一说这个话题,是因为下午在技术群中不经意间,就类似话题进行了比较剧烈的脑暴讨论。

讨论范围包括了互联网公开数据的挖掘、价值变现、数据获取的合法性以及数据产业落地等相关方向。

当时就一直在思考这个问题,后续完了自己又想了几遍,发现确实有所得,也挺多东西想表达一下的。

大数据是在2009年开始相对比较正式引入国内的,基本上与Hadoop的“入侵”国内同步。

但在那时其实并没有实际落地的东西,除了一些大公司在试探性使用,直到2012-2013年,国外已经完成一轮“探险”,国内才陆续开始思考大数据如何落地的事了。

确实是这样的,国内在新技术领域上,一向落后于国外半拍,而我也恰恰也是在那个时候“入坑”的。

那个时候其实很多公司企业(除了当时BAT内部使用的案例),也是在尝试性的涉足大数据领域,一边追逐技术的完善,一边在探索大数据与实际业务的结合点。

直到2014年,算是大数据在国内的一个爆发点,正式的转折点。

首先,以Hadoop为代表的生态趋于成熟,甚至结合内存处理领域、数据实时处理领域,已经形成了一套完整的大数据平台技术解决方案。

其次,已经越来越公司结束了探索性实验,用实际的成果尝到了大数据这种处理模式的好处,已经形成了越来越多的实际可参考的良性案例。

当然,最重要的是确实存在实际的规模数据处理的需求。其实这个需求一直存在,只是很多时候没有找到合适的契机爆发出来。

也就是从2014开始,大数据的人才市场需求在急剧扩增,很多其他IT领域开发人员纷纷转型到数据行业,其中以逐渐没落的传统IT行业为代表。

有人才市场需求,进一步促进了大数据培训市场的发展,各种大数据培训机构如雨后春笋般的出现。

其实这也是没办法的事,因为当时还没有哪个高校开设有大数据相关的课程呢。

当然,这波浪潮同样卷到了学术界,部分高校也意识到了这个技术大势,陆续有不少高校开始开设大数据相关的专业课程。

2015年,随着互联网的发展,市场各种互联网应用需求的饱和,导致了流量红利的消失,让很多企业公司不得不考虑通过数据来提升效率以及推进用户体验,例如推荐系统、个性化服务等。

资本市场从2014-2015年逐渐介入,进一步促进各大互联网企业公司向数据化转型,使得大数据这个领域进一步达到高潮。

我们知道,资本市场算是迎来半个寒冬,流量红利的消失,o2o在15年底都死的差不多了,16年让资本市场变得更谨慎。

但是,就算是这样,国内很多以大数据为技术驱动的公司依然拿了不少融资,包括神策、诸葛IO、GrowingIO等第三方数据分析公司,明略数据等这种针对于服务偏传统行业的数据公司,甚至如DataEye类似垂直领域的数据分析公司都活的好好的。

同时,在国家政策方面,2016年可谓是大数据的国家政策元年,各种国家政策开始偏向大数据。

这意味着,大数据已经从半个风口的状态,过渡到理性、稳健的状态,这是一个良性的状态。

正如上面所说,目前大数据已经逐渐从“潮流”这种略带风险性的标志状态,过渡到稳健、良性发展的状态。

提前“入坑”的童鞋,相信已经享受到“潮流”带来的部分福利,包括比其他普通IT同行们略高的薪酬待遇,以及更多、更自由的选择性等。

好吧,其中也包括我了~~ 哈哈

那么,后续会是一种什么样的情况呢?

首先,数据化依然会是一个不可逆的趋势,在资本以及政策的驱动下,更多的公司会逐渐的进行数据化,甚至包括很多传统IT产业,一样挡不住这个大势。

那么在人才市场需求上的情况呢?个人感觉需求还是在的,因为市场远没有达到饱和,但是福利待遇会有所下降。

这是为什么呢?

2016-2017年,各大高校逐渐会开始投放专业的“正规军”,是的,那些大数据专业的学生们将被正式投放到市场中了。

此外,从2014年到2016年,大数据的培训市场一直在增加的,不管是线上的还是线下的。

这意味着,每年,哦不,应该是每几个月都会有大量的大数据速成工投放到人才需求市场中。

最重要的一点,经过四五年的大浪淘沙,市场已经有一大批“自学成才”的“老司机”可以撑起场面了。

在人才需求以及人才的待遇上,而不是一才难求的现象了,也会逐渐的趋于良性,趋于理性(之前写过一篇大数据招聘乱象的文章,喜欢可以看看 《你们是不是真的很缺大数据工程师?》 )。

所以,如果你从大学刚毕业出来,发现大数据没有传说中那么“香馍馍”,也不要奇怪;而从大数据培训流水线上下来的童鞋们,也需要做好准备,薪水可能无法跟你想象中那样了,翻个几倍之类的。

不过“老司机们”到不用太过于担心,虽然大数据的人才市场趋于日渐饱和,但是“驾龄”足够,“车”开的足够溜的,依然只有那么一小戳人。

你依然是稀缺资源,所以不要怕怕。

你看我就不怕怕,哈哈~~

虽然,这一切看似良好,但是有些东西依然值得我们更进一步的深思。

正如之前在技术群中进行脑暴讨论的那样,这几年大数据虽然市场需求不少,但是依然难以达到产业化的状态。

这里贴一个产业化的概念:产业化是指某种产业在市场经济条件下,以行业需求为导向,以实现效益为目标,依靠专业服务和质量管理,形成的系列化和品牌化的经营方式和组织形式。

目前大数据的实际落地形式大部分都以辅助、加速其他业务为主,起一个催化剂,提升效率,加快速度的作用,鲜有看到以大数据作为独立产业而存在的。

当然也有,比如上面提到的第三方数据分析商、垂直领域的DataEye,以及为企业提供大数据解决方案的明略数据等,也算是以大数据为根深立命而存在的。

但是总体来说,真的不多,而且绝大部分都是以2B的形式存在。我们知道,从格局上来看,2B的产品永远是难以做到2C产品那种真正宏伟规模,改变产业格局的。

所以,从这点来说,虽然你市场需求放在这里,但想真正以大数据为切入点、为立足的根本做点事,其实也没有想象中那么容易。

纠结~~

不过作为大数据领域的半个“老司机”,依然是希望大数据这个技术领域、这个行业,有一天能够形成独立的、推动人类进程的一些东西。

亦如互联网、亦如社交网络、亦如电子商务、亦如移动互联网等!

最近一直有很多新手同行们向我请教大数据方向上的一些事,自己也一直在思考互联网开放数据落地变现、以及大数据产业格局相关的问题。

所以,想的多了,对一些东西还是有一些看法的,藏在心中不吐不快。

也希望,上面闲话里的一些东西能够引起你的一些共鸣,当然反驳也欢迎,欢迎一切与人格无关,与技术有关、与业态有关的探讨。

下次希望有时间,能和大家一起探讨一些关于互联网开放数据落地变现相关的话题,这也是我目前一直想探索的东西,下次如果有所收获再写点 东西吧。

(正文完)

大数据时代的产生背景

可按照时间点划分大数据的发展历程。

大数据时代发展的具体历程如下:

2005年Hadoop项目诞生。 Hadoop其最初只是雅虎公司用来解决网页搜索问题的一个项目,后来因其技术的高效性,被Apache Software Foundation公司引入并成为开源应用。

Hadoop本身不是一个产品,而是由多个软件产品组成的一个生态系统,这些软件产品共同实现全面功能和灵活的大数据分析。从技术上看,Hadoop由两项关键服务构成:采用Hadoop分布式文件系统(HDFS)的可靠数据存储服务,以及利用一种叫做MapReduce技术的高性能并行数据处理服务。这两项服务的共同目标是,提供一个使对结构化和复杂数据的快速、可靠分析变为现实的基础。

2008年末,“大数据”得到部分美国知名计算机科学研究人员的认可,业界组织计算社区联盟 (Computing Community Consortium),发表了一份有影响力的白皮书《大数据计算:在商务、科学和社会领域创建革命性突破》。它使人们的思维不仅局限于数据处理的机器,并提出:大数据真正重要的是新用途和新见解,而非数据本身。此组织可以说是最早提出大数据概念的机构。

2009年印度政府建立了用于身份识别管理的生物识别数据库,联合国全球脉冲项目已研究了对如何利用手机和社交网站的数据源来分析预测从螺旋价格到疾病爆发之类的问题。同年,美国政府通过启动网站的方式进一步开放了数据的大门,这个网站向公众提供各种各样的政府数据。该网站的超过4.45万量数据集被用于保证一些网站和智能手机应用程序来跟踪从航班到产品召回再到特定区域内失业率的信息,这一行动激发了从肯尼亚到英国范围内的政府们相继推出类似举措。

2009年,欧洲一些领先的研究型图书馆和科技信息研究机构建立了伙伴关系致力于改善在互联网上获取科学数据的简易性。

2010年2月,肯尼斯ž库克尔在《经济学人》上发表了长达14页的大数据专题报告《数据,无所不在的数据》。库克尔在报告中提到:“世界上有着无法想象的巨量数字信息,并以极快的速度增长。从经济界到科学界,从政府部门到艺术领域,很多方面都已经感受到了这种巨量信息的影响。科学家和计算机工程师已经为这个现象创造了一个新词汇:“大数据”。库克尔也因此成为最早洞见大数据时代趋势的数据科学家之一。

2011年2月,IBM的沃森超级计算机每秒可扫描并分析4TB(约2亿页文字量)的数据量,并在美国著名智力竞赛电视节目《危险边缘》“Jeopardy”上击败两名人类选手而夺冠。后来纽约时报认为这一刻为一个“大数据计算的胜利。” 相继在同年5月,全球知名咨询公司麦肯锡(McKinseyCompany)肯锡全球研究院(MGI)发布了一份报告——《大数据:创新、竞争和生产力的下一个新领域》,大数据开始备受关注,这也是专业机构第一次全方面的介绍和展望大数据。报告指出,大数据已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。报告还提到,“大数据”源于数据生产和收集的能力和速度的大幅提升——由于越来越多的人、设备和传感器通过数字网络连接起来,产生、传送、分享和访问数据的能力也得到彻底变革。

2011年12 月,工信部发布的物联网十二五规划上,把信息处理技术作为4 项关键技术创新工程之一被提出来,其中包括了海量数据存储、数据挖掘、图像视频智能分析,这都是大数据的重要组成部分。

2012年1月份,瑞士达沃斯召开的世界经济论坛上,大数据是主题之一,会上发布的报告《大数据,大影响》(Big Data, Big Impact) 宣称,数据已经成为一种新的经济资产类别,就像货币或黄金一样。

2012年3月,美国奥巴马政府在白宫网站发布了《大数据研究和发展倡议》,这一倡议标志着大数据已经成为重要的时代特征。2012年3月22日,奥巴马政府宣布2亿美元投资大数据领域,是大数据技术从商业行为上升到国家科技战略的分水岭,在次日的电话会议中,政府对数据的定义“未来的新石油”,大数据技术领域的竞争,事关国家安全和未来。并表示,国家层面的竞争力将部分体现为一国拥有数据的规模、活性以及解释、运用的能力;国家数字主权体现对数据的占有和控制。数字主权将是继边防、海防、空防之后,另一个大国博弈的空间。

2012年4月,美国软件公司Splunk于19日在纳斯达克成功上市,成为第一家上市的大数据处理公司。鉴于美国经济持续低靡、股市持续震荡的大背景,Splunk首日的突出交易表现尤其令人们印象深刻,首日即暴涨了一倍多。Splunk是一家领先的提供大数据监测和分析服务的软件提供商,成立于2003年。Splunk成功上市促进了资本市场对大数据的关注,同时也促使IT厂商加快大数据布局。2012年7月,联合国在纽约发布了一份关于大数据政务的白皮书,总结了各国政府如何利用大数据更好地服务和保护人民。这份白皮书举例说明在一个数据生态系统中,个人、公共部门和私人部门各自的角色、动机和需求:例如通过对价格关注和更好服务的渴望,个人提供数据和众包信息,并对隐私和退出权力提出需求;公共部门出于改善服务,提升效益的目的,提供了诸如统计数据、设备信息,健康指标,及税务和消费信息等,并对隐私和退出权力提出需求;私人部门出于提升客户认知和预测趋势目的,提供汇总数据、消费和使用信息,并对敏感数据所有权和商业模式更加关注。白皮书还指出,人们如今可以使用的极大丰富的数据资源,包括旧数据和新数据,来对社会人口进行前所未有的实时分析。联合国还以爱尔兰和美国的社交网络活跃度增长可以作为失业率上升的早期征兆为例,表明政府如果能合理分析所掌握的数据资源,将能“与数俱进”,快速应变。在这一年的7月,为挖掘大数据的价值,阿里巴巴集团在管理层设立“首席数据官”一职,负责全面推进“数据分享平台”战略,并推出大型的数据分享平台——“聚石塔”,为天猫、淘宝平台上的电商及电商服务商等提供数据云服务。随后,阿里巴巴董事局主席马云在2012年网商大会上发表演讲,称从2013年1月1日起将转型重塑平台、金融和数据三大业务。马云强调:“假如我们有一个数据预报台,就像为企业装上了一个GPS和雷达,你们出海将会更有把握。”因此,阿里巴巴集团希望通过分享和挖掘海量数据,为国家和中小企业提供价值。此举是国内企业最早把大数据提升到企业管理层高度的一次重大里程碑。阿里巴巴也是最早提出通过数据进行企业数据化运营的企业。

2014年4月,世界经济论坛以“大数据的回报与风险”主题发布了《全球信息技术报告(第13版)》。报告认为,在未来几年中针对各种信息通信技术的政策甚至会显得更加重要。在接下来将对数据保密和网络管制等议题展开积极讨论。全球大数据产业的日趋活跃,技术演进和应用创新的加速发展,使各国政府逐渐认识到大数据在推动经济发展、改善公共服务,增进人民福祉,乃至保障国家安全方面的重大意义。5月份,美国白宫发布了2014年全球“大数据”白皮书的研究报告《大数据:抓住机遇、守护价值》。报告鼓励使用数据以推动社会进步,特别是在市场与现有的机构并未以其他方式来支持这种进步的领域;同时,也需要相应的框架、结构与研究,来帮助保护美国人对于保护个人隐私、确保公平或是防止歧视的坚定信仰。2014年,“大数据”首次出现在当年的《政府工作报告》中。《报告》中指出,要设立新兴产业创业创新平台,在大数据等方面赶超先进,引领未来产业发展。“大数据”旋即成为国内热议词汇。

2015年,国务正式印发《促进大数据发展行动纲要》,《纲要》明确,推动大数据发展和应用,在未来5至10年打造精准治理、多方协作的社会治理新模式,建立运行平稳、安全高效的经济运行新机制,构建以人为本、惠及全民的民生服务新体系,开启大众创业、万众创新的创新驱动新格局,培育高端智能、新兴繁荣的产业发展新生态。标志着大数据正式上升这国家战略。

2016年,大数据“十三五”规划将出台,《规划》已征求了专家意见,并进行了集中讨论和修改。《规划》涉及的内容包括,推动大数据在工业研发、制造、产业链全流程各环节的应用;支持服务业利用大数据建立品牌、精准营销和定制服务等。

大数据的技术:

1. Hadoop

Hadoop诞生于2005年,其最初只是雅虎公司用来解决网页搜索问题的一个项目,后来因其技术的高效性,被Apache Software Foundation公司引入并成为开源应用。Hadoop本身不是一个产品,而是由多个软件产品组成的一个生态系统, 这些软件产品共同实现全面功能和灵活的大数据分析。从技术上看,Hadoop由两项关键服务构成:采用Hadoop分布式文件系统(HDFS)的可靠数据 存储服务,以及利用一种叫做MapReduce技术的高性能并行数据处理服务。

2. Hive

Hive是一种建立在Hadoop文件系统上的数据仓库架构,并能对存储在HDFS中的数据进行分析和管理。它最初是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的需求而产生和发展的。后来其他公司也开始使用和开发Apache Hive,例如Netflix、亚马逊等。

3. Storm:

Storm是一个分布式计算框架,主要由Clojure编程语言编写。最初是由Nathan Marz及其团队创建于BackType,这家市场营销情报企业于2011年被Twitter收购。之后Twitter将该项目转为开源并推向GitHub平台,最终Storm加入Apache孵化器计划并于2014年9月正式成为Apache旗下的顶级项目之一。

2011年什么公司发布报告,大数据开始被收关注

麦肯锡公司。大数据(big data),IT行业术语,是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。2011年麦肯锡公司发布《大数据:创新、竞争和生产力的下一个新领域》报告,大数据开始备受关注。麦肯锡咨询公司?麦肯锡公司是世界级领先的全球管理咨询公司。

大数据时代是什么意思?大数据是在什么背景下提出的?

大数据(Big data)通常用来形容一个公司创造的大量非结构化和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

大数据产生背景:

进入2012年,大数据(big data)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。

它已经上过《纽约时报》《华尔街日报》的专栏封面,进入美国白宫官网的新闻,现身在国内一些互联网主题的讲座沙龙中,甚至被嗅觉灵敏的国金证券、国泰君安、银河证券等写进了投资推荐报告。

数据正在迅速膨胀并变大,它决定着企业的未来发展,虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患,但是随着时间的推移,人们将越来越多的意识到数据对企业的重要性。

正如《纽约时报》2012年2月的一篇专栏中所称,“大数据”时代已经降临,在商业、经济及其他领域中,决策将日益基于数据和分析而作出,而并非基于经验和直觉。

哈佛大学社会学教授加里·金说:“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。

扩展资料

大数据时代的特征

1、数据量大(Volume)

第一个特征是数据量大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。

2、类型繁多(Variety)

第二个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等,多类型的数据对数据的处理能力提出了更高的要求。

3、价值密度低(Value)

第三个特征是数据价值密度相对较低。如随着物联网的广泛应用,信息感知无处不在,信息海量,但价值密度较低,如何通过强大的机器算法更迅速地完成数据的价值“提纯”,是大数据时代亟待解决的难题。

参考资料来源:百度百科-大数据时代

大数据的起源是哪里?

大数据起源于美国,大约从2009年开始,大数据成为互联网信息技术行业的流行词汇,事实上,大数据产生是指建立在对互联网、物联网、云计算等渠道广泛、大量数据资源收集基础上的数据存储、价值提炼、智能处理和分发的信息服务业,大数据企业大多致力于让所有用户几乎能够从任何数据中获的可转化为业务执行的洞察力,包括之前隐藏在非结构化数据化的洞察力。

结语:以上就是首席CTO笔记为大家整理的关于多少年学术界开始关注大数据的相关内容解答汇总了,希望对您有所帮助!如果解决了您的问题欢迎分享给更多关注此问题的朋友喔~


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:/BigData/32065.html