网上有关“大数据发展时代的7个挑战和8大趋势”话题很是火热，小编也是针对大数据发展时代的7个挑战和8大趋势寻找了一些与之相关的一些信息进行分析，如果能碰巧解决你现在面临的问题，希望能够帮助到您。
大数据发展时代的7个挑战和8大趋势
大数据挑战和机遇并存，大数据在未来几年的发展将从前几年的预期膨胀阶段、炒作阶段转入理性发展阶段、落地应用阶段，大数据在未来几年将逐渐步入理性发展期。未来的大数据发展依然存在诸多挑战，但前景依然非常乐观。
大数据发展的挑战
目前大数据的发展依然存在诸多挑战，包括七大方面的挑战：业务部门没有清晰的大数据需求导致数据资产逐渐流失；企业内部数据孤岛严重，导致数据价值不能充分挖掘；数据可用性低，数据质量差，导致数据无法利用；数据相关管理技术和架构落后，导致不具备大数据处理能力；数据安全能力和防范意识差，导致数据泄露；大数据人才缺乏导致大数据工作难以开展；大数据越开放越有价值，但缺乏大数据相关的政策法规，导致数据开放和隐私之间难以平衡，也难以更好的开放。
>>>>挑战一：业务部门没有清晰的大数据需求
很多企业业务部门不了解大数据，也不了解大数据的应用场景和价值，因此难以提出大数据的准确需求。由于业务部门需求不清晰，大数据部门又是非盈利部门，企业决策层担心投入比较多的成本，导致了很多企业在搭建大数据部门时犹豫不决，或者很多企业都处于观望尝试的态度，从根本上影响了企业在大数据方向的发展，也阻碍了企业积累和挖掘自身的数据资产，甚至由于数据没有应用场景，删除很多有价值历史数据，导致企业数据资产流失。因此，这方面需要大数据从业者和专家一起，推动和分享大数据应用场景，让更多的业务人员了解大数据的价值。
>>>>挑战二：企业内部数据孤岛严重
企业启动大数据最重要的挑战是数据的碎片化。在很多企业中尤其是大型的企业，数据常常散落在不同部门，而且这些数据存在不同的数据仓库中，不同部门的数据技术也有可能不一样，这导致企业内部自己的数据都没法打通。如果不打通这些数据，大数据的价值则非常难挖掘。大数据需要不同数据的关联和整合才能更好的发挥理解客户和理解业务的优势。如何将不同部门的数据打通，并且实现技术和工具共享，才能更好的发挥企业大数据的价值。
>>>>挑战三：数据可用性低，数据质量差
很多中型以及大型企业，每时每刻也都在产生大量的数据，但很多企业在大数据的预处理阶段很不重视，导致数据处理很不规范。大数据预处理阶段需要抽取数据把数据转化为方便处理的数据类型，对数据进行清洗和去噪，以提取有效的数据等操作。甚至很多企业在数据的上报就出现很多不规范不合理的情况。以上种种原因，导致企业的数据的可用性差，数据质量差，数据不准确。而大数据的意义不仅仅是要收集规模庞大的数据信息，还有对收集到的数据进行很好的预处理处理，才有可能让数据分析和数据挖掘人员从可用性高的大数据中提取有价值的信息。Sybase的数据表明，高质量的数据的数据应用可以显著提升企业的商业表现，数据可用性提高10%，企业的业绩至少提升在10%以上。
>>>>挑战四：数据相关管理技术和架构
技术架构的挑战包含以下几方面：(1)传统的数据库部署不能处理TB级别的数据，快速增长的数据量超越了传统数据库的管理能力。如何构建分布式的数据仓库，并可以方便扩展大量的服务器成为很多传统企业的挑战；(2)很多企业采用传统的数据库技术，在设计的开始就没有考虑数据类别的多样性，尤其是对结构化数据、半结构化和非结构化数据的兼容；(3)传统企业的数据库，对数据处理时间要求不高，这些数据的统计结果往往滞后一天或两天才能统计出来。但大数据需要实时处理数据，进行分钟级甚至是秒级计算。传统的数据库架构师缺乏实时数据处理的能力；(4)海量的数据需要很好的网络架构，需要强大的数据中心来支撑，数据中心的运维工作也将成为挑战。如何在保证数据稳定、支持高并发的同时，减少服务器的低负载情况，成为海量数据中心运维的一个重点工作。
>>>>挑战五：数据安全
网络化生活使得犯罪分子更容易获得关于人的信息，也有了更多不易被追踪和防范的犯罪手段，可能会出现更高明的骗局。如何保证用户的信息安全成为大数据时代非常重要的课题。在线数据越来越多，黑客犯罪的动机比以往都来的强烈，一些知名网站密码泄露、系统漏洞导致用户资料被盗等个人敏感信息泄露事件已经警醒我们，要加强大数据网络安全的建设。另外，大数据的不断增加，对数据存储的物理安全性要求会越来越高，从而对数据的多副本与容灾机制也提出更高的要求。目前很多传统企业的数据安全令人担忧。
>>>>挑战六：大数据人才缺乏
大数据建设的每个环节都需要依靠专业人员完成，因此，必须培养和造就一支掌握大数据技术、懂管理、有大数据应用经验的大数据建设专业队伍。目前大数据相关人才的欠缺将阻碍大数据市场发展。据Gartner预测，到2015年，全球将新增440万个与大数据相关的工作岗位，且会有25%的组织设立首席数据官职位。大数据的相关职位需要的是复合型人才，能够对数学、统计学、数据分析、机器学习和自然语言处理等多方面知识综合掌控。未来，大数据将会出现约100万的人才缺口，在各个行业大数据中高端人才都会成为最炙手可热的人才，涵盖了大数据的数据开发工程师、大数据分析师、数据架构师、大数据后台开发工程师、算法工程师等多个方向。因此需要高校和企业共同努力去培养和挖掘。目前最大的问题是很多高校缺乏大数据，所以拥有大数据的企业应该与学校联合培养人才。
>>>>挑战七：数据开放与隐私的权衡
在大数据应用日益重要的今天，数据资源的开放共享已经成为在数据大战中保持优势的关键。商业数据和个人数据的共享应用，不仅能促进相关产业的发展，也能给我们的生活带来巨大的便利。由于政府、企业和行业信息化系统建设往往缺少统一规划，系统之间缺乏统一的标准，形成了众多“信息孤岛”，而且受行政垄断和商业利益所限，数据开放程度较低，这给数据利用造成极大障碍。另外一个制约我国数据资源开放和共享的一个重要因素是政策法规不完善，大数据挖掘缺乏相应的立法。无法既保证共享又防止滥用。因此，建立一个良性发展的数据共享生态系统，是我国大数据发展需要迈过去的一道砍。同时，开放与隐私如何平衡，也是大数据开放过程中面临的最大难题。如何在推动数据全面开放、应用和共享的同时有效地保护公民、企业隐私，逐步加强隐私立法，将是大数据时代的一个重大挑战。
大数据发展趋势
虽然大数据仍在起步阶段，存在诸多挑战，但未来的发展依然非常乐观。大数据的发展呈现八大趋势：数据资源化，将成为最有价值的资产；大数据在更多的传统行业的企业管理落地；大数据和传统商业智能融合，行业定制化解决方案将涌现；数据将越来越开放，数据共享联盟将出现；大数据安全越来越受重视，大数据安全市场将愈发重要；大数据促进智慧城市发展，为智慧城市的引擎；大数据将催生一批新的工作岗位和相应的专业；大数据在多方位改善我们的生活。
>>>>趋势一：数据资源化，将成为最有价值的资产
随着大数据应用的发展，大数据价值得以充分的体现，大数据在企业和社会层面成为重要的战略资源，数据成为新的战略制高点，是大家抢夺的新焦点。《华尔街日报》在一份题为《大数据，大影响》的报告宣传，数据已经成为一种新的资产类别，就像货币或黄金一样。Google、Facebook、亚马逊、腾讯、百度、阿里巴巴和360等企业正在运用大数据力量获得商业上更大的成功，并且金融和电信企业也在运用大数据来提升自己的竞争力。我们有理由相信大数据将不断成为机构和企业的资产，成为提升机构和企业竞争力的有力武器。
>>>>趋势二：大数据在更多的传统行业的企业管理落地
一种新的技术往往在少数行业应用取得了好的效果，对其他行业就有强烈的示范效应。目前大数据在大型互联网企业已经得到较好的应用，其他行业的大数据尤其是电信和金融也逐渐在多种应用场景取得效果。因此，我们有理由相信，大数据作为一种从数据中创造新价值的工具，将会在许多行业的企业得到应用，带来广泛的社会价值。大数据将在帮助企业更好的理解和满足客户需求和潜在需求，更好的应用在业务运营智能监控、精细化企业运营、客户生命周期管理、精细化营销、经营分析和战略分析等方面。企业管理既有艺术也有科学，相信大数据在科学管理企业方面有更显著的促进，让更多拥抱大数据的企业实现智慧企业管理。
>>>>趋势三：大数据和传统商业智能融合，行业定制化解决方案将涌现
来自传统商业智能领域者将大数据当成一个新增的数据源，而大数据从业者则认为传统商业智能只是其领域中处理少量数据时的一种方法。大数据用户更希望能获得一种整体的解决方案，即不仅要能收集、处理和分析企业内部的业务数据，还希望能引入互联网上的网络浏览、微博、微信等非结构化数据。除此之外，还希望能结合移动设备的位置信息，这样企业就可以形成一个全面、完整的数据价值发展平台。毕竟，无论是大数据还是商业智能，目的都是为分析服务的，数据全面整合起来，更有利于发现新的商业机会，这就是大数据商业智能。同时，由于行业的差异性，很难研发出一套适用于各行业的大数据商业智能分析系统，因此，在一些规模较大的行业市场，大数据服务提供商将会以更加定制化的商业智能解决方案提供大数据服务。我们相信更多的大数据商业智能定制化解决方案将在电信、金融、零售等行业出现。
>>>>趋势四：数据将越来越开放，数据共享联盟将出现
大数据越关联越有价值，越开放越有价值。尤其是公共事业和互联网企业的数据开放数据将越来越多。我们看到，美国、英国、澳大利亚等国家的政府都在政府和公共事业上的数据做出努力。而国内的一些城市和部门也在逐渐开展数据开放的工作。比如北京市在2012年就开始试运行政务数据资源网，在2013年年底正式开放；上海在2012年启动了政府数据资源开放试点工作，数据涉及地理位置、交通、经济统计和资格资质等数据；2014年，贵州省也加入数据开放之列，10月份云上贵州正式上线。对于不同的行业，数据越共享也是越有价值。如果每一个医院想获得更多病情特征库以及药效信息，那么就需要全国，甚至全世界的医疗信息共享，从而可以通过平台进行分析，获取更大的价值。我们相信数据会呈现一种共享的趋势，不同领域的数据联盟将出现。
>>>>趋势五：大数据安全越来越受重视，大数据安全市场将愈发重要
随着数据的价值的越来越重要，大数据的安全稳定也将会逐渐被重视。网络和数字化生活也使得犯罪的分子更容易获取关于他人的信息，也有更多的骗术和犯罪手段出现，所以，在大数据时代，无论对于数据本身的保护，还是对于由数据而演变的一些信息的安全，对大数据分析有较高要求的企业将至关重要。大数据安全是跟大数据业务相对应的，与传统安全相比，大数据安全的最大区别是安全厂商在思考安全问题的时候首先要进行业务分析，并且找出针对大数据的业务的威胁，然后提出有针对性的解决方案。比如，对于数据存储这个场景，目前很多企业采用开源软件如Hadoop技术来解决大数据问题，由于其开源性，但是其安全问题也是突出的。因此，市场需要更多专业的安全厂商针对不同的大数据安全问题来提供专业的服务。
>>>>趋势六：大数据促进智慧城市发展，为智慧城市的引擎
随着大数据的发展，大数据在智慧城市将发挥着越来越重要的作用。由于人口聚集给城市带来了交通、医疗、建筑等各方面的压力，需要城市能够更合理地进行资源布局和调配，而智慧城市正是城市治理转型的最优解决方案。智慧城市是通过物与物、物与人、人与人的互联互通能力、全面感知能力和信息利用能力，通过物联网、移动互联网、云计算等新一代信息技术，实现城市高效的政府管理、便捷的民生服务、可持续的产业发展。智慧城市相对于之前数字城市概念，最大的区别在于对感知层获取的信息进行了智慧的处理。由城市数字化到城市智慧化，关键是要实现对数字信息的智慧处理，其核心是引入了大数据处理技术。大数据是智慧城市的核心智慧引擎。智慧安防、智慧交通、智慧医疗、智慧城管等，都是以大数据为基础的的智慧城市应用领域。
>>>>趋势七：大数据将催生一批新的工作岗位和相应的专业
一个新行业的出现，必将在工作职位方面有新的需求，大数据的出现也将推出一批新的就业岗位，例如，大数据分析师、数据管理专家、大数据算法工程师、数据产品经理等等。具有有丰富经验的数据分析人才将成为稀缺的资源，数据驱动型工作将呈现爆炸式的增长。而由于有强烈的市场需求，高校也将逐步开设大数据相关的专业，以培养相应的专业人才。企业也将和高校紧密合作，协助高校联合培养大数据人才。如2014年，IBM 全面推进与高校在大数据领域的合作，引入强大的研发团队和业务伙伴，推动“大数据平台”和“大数据分析”的面向行业产学研创新合作以及系统化知识体系建设和高价值人才培养，建设符合中国教学特色及人才需求的大数据相关学分课程，为未来建设特色专业方向做准备。
>>>>趋势八：大数据在多方位改善我们的生活
大数据不仅用于企业和政府，也应用于我们的生活。在健康方面：我们可以利用智能手环监测，对我们的睡眠模式来进行追踪，了解睡眠质量；我们可以利用智能血压计、智能心率仪远程的监控身在异地的家里老人的健康情况，让远在他方的外出工作者更加放心；在出行方面：我们可以利用智能导航出行GPS数据了解交通状况，并根据拥堵情况进行路线实时调优。在居家生活方面：大数据将成为智能家居的核心，智能家电实现了拟人智能，产品通过传感器和控制芯片来捕捉和处理信息，可以根据住宅空间环境和用户需求自动设置控制，甚至提出优化生活质量的建议，如我们的冰箱可能会在每天一大早建议我们当天的菜谱。
大数据来了 给政府统计带来了机遇与挑战
对于政府统计机构来说，没有什么比数据更重要的了。我们研究统计分类标准、统计调查方法、统计数据采集方式、统计数据加工处理方法、统计数据评估技术，都是为了获取真实准确、完整及时、代表性强、分类科学、经济适用的统计数据。
大数据时代的到来，既给政府统计带来重大发展机遇，也带来严峻挑战。
一、大数据在政府统计中的应用
国家统计局高度重视大数据在政府统计中的应用。到目前为止，已经与17家大数据企业签订了战略合作协议。当然，目前大数据在中国政府统计中的应用仍处于起步阶段，主要表现在两个方面：一是大数据成为政府统计数据的部分资料来源；二是大数据成为政府统计数据质量的部分评估依据。
（一）大数据成为政府统计数据的部分资料来源
目前，大数据已经成为中国政府统计数据的部分资料来源，以下是几个有代表性的方面：
1.利用重点网上零售交易平台数据测算网上零售额
为了掌握网上零售交易平台的交易规模和结构，综合测算网上零售数据，从今年1月份开始，国家统计局实施了月度网上零售交易平台调查，调查范围为42家重点网上零售交易平台，包括京东商城、亚马逊、当当网、淘宝网、天猫商城、酒仙网、美团网、中粮我买网、国美在线、大众点评网等。据对上述42家重点网上零售交易平台数据测算，今年1~8月份，全国网上零售额22400.9亿元，同比增长36.5%。其中，实物商品网上零售额18653.4亿元，增长35.6%，占全部网上零售额的83.3%；非实物商品网上零售额3747.5亿元，增长41.1%，占全部网上零售额的16.7%。这对于宏观管理部门和社会公众了解网上零售情况具有重要的参考作用。
2.利用房屋交易网签数据计算全国70个大中城市的新建住宅价格指数
房屋交易网签数据是指买卖双方签订购房合同后，房地产开发企业在房管部门进行备案，并在房产信息网上公布的相关信息，包含地址、楼层、价格、面积和金额等详细信息，基本涵盖了当月新建住宅的全部交易情况。从2011年1月份开始，国家统计局开始采用房屋交易网签数据计算全国70个大中城市的新建住宅价格指数。这对于提高70个大中城市新建住宅价格指数的数据质量起到了重要作用。
3.利用卓创资讯公司提供的价格信息，开展流通领域重要生产资料市场价格监测
国家统计局与卓创资讯公司开展合作，利用该企业提供的价格信息，开展流通领域重要生产资料市场价格监测。从2014年1月开始，按旬共同向社会发布流通领域9大类50种重要生产资料市场价格的检测结果。行业涵盖黑色金属、有色金属、化工产品、煤炭、石油天然气、非金属建材、农产品、农业生产资料、林产品等领域。地区监测范围覆盖北京、天津、河北、山西、内蒙古、辽宁、吉林、上海等24个省区市。这对于宏观管理部门和社会公众了解流通领域重要生产资料市场价格信息起到了重要作用。
（二）大数据成为政府统计数据质量的部分评估依据
国家统计局除了把大数据作为政府统计数据的部分资料来源外，也高度重视利用大数据评估政府统计数据质量。以下是目前比较有代表性的两个方面：一是利用中国银联跨行银行卡消费数据评估社会消费品零售总额数据质量；二是利用大型机械装备企业物联网数据评估固定资产投资数据质量。
二、大数据给政府统计带来的机遇与挑战
对于政府统计来说，大数据既带来了重大发展机遇，也带来严峻挑战。
（一）大数据给政府统计带来重大发展机遇
首先，大数据将不断提高政府统计服务宏观管理和社会公众的能力。随着大数据的不断发展和完善，随着政府统计机构开发应用大数据能力的不断提升，政府统计产品的种类将会不断丰富，政府统计数据的质量和时效性将会不断提升，从而政府统计服务宏观管理和社会公众的能力会不断提高。
其次，大数据将会推动政府统计发生革命性的变化。随着大数据的发展和完善，随着政府统计机构开发应用大数据技术的逐步成熟，政府统计将会发生革命性变化。一是现有的以周期性普查为基础，以抽样调查为主体，综合运用全面调查、重点调查等方法，并充分利用行政记录等资料的统计调查方法体系可能会发生重大变化。长期以来，抽样调查方法，即在总体中抽选样本、利用样本推算总体的方法；普查和全面调查方法，即对总体中所有单位逐一进行调查的方法，在我国政府统计中发挥了重要作用。今后，在较长的时期内这些方法仍然会被政府统计所广泛采用。但在大数据不断发展和完善的情况下，某些领域、某些方面的大数据可能会取代抽样调查、普查和全面调查方法，成为获取统计数据的重要方法，而且这种获取统计数据的方法将会变得越来越重要。二是政府统计中的数据采集方式可能会发生重大变化。长期以来，政府统计机构主要以企业填报、住户记账、调查员入户等方式采集原始数据。在大数据不断发展和完善的情况下，一部分原始数据将通过挖掘大数据的方式获取，而且这种新的数据采集方式将会变得越来越重要。三是政府统计的数据处理模式可能会发生重大变化。在大数据不断发展和完善的情况下，现行的对普查和全面调查数据进行直接审核、汇总、加工处理和对抽样调查数据进行推算放大的数据处理模式可能会发生重大变化。
（二）大数据给政府统计带来严峻挑战
首先，大数据对政府统计能力带来挑战。从大数据本身的产生到发展完善，从政府统计对大数据的初步运用到成熟运用，需要一个较长的时期。在这个过程中，一方面，政府统计中传统的统计调查方法、数据采集方式和数据处理模式将继续运行，否则满足不了宏观管理和社会公众的需求。另一方面，政府统计系统必须投入大量的人力和物力对大数据进行挖掘、加工处理和运用，否则也适应不了大数据时代宏观管理和社会公众的需求。这种双轨运行的模式，对政府统计能力将是一个巨大的挑战。
其次，大数据对传统政府统计理念带来挑战。传统的政府统计有一个约定俗成的理念：抽样调查方法可降低调查成本，提高效率和数据质量。因为抽样调查只对总体中部分抽中的样本进行调查，并非对总体中的每一个单位都进行调查，所以调查单位明显减少，可降低成本，节约时间，提高效率。同时，由于调查单位较少，政府统计机构有能力对基层统计调查人员进行较为扎实的培训和指导，有精力对统计调查数据进行较为严格的检查和审核，从而能够提高统计调查数据质量。随着大数据不断发展完善，政府统计机构将会越来越多地通过大数据企业间接地获取统计数据，不需要对总体中的具体单位进行直接调查，不需要调查员，从而也不需要对调查员进行培训，抽样调查所具有的调查成本低、能够提高统计调查数据质量的优点就不复存在了。
以上是小编为大家分享的关于大数据来了 给政府统计带来了机遇与挑战的相关内容，更多信息可以关注环球青藤分享更多干货
关于“大数据发展时代的7个挑战和8大趋势”这个话题的介绍，今天小编就给大家分享完了，如果对你有所帮助请保持对本站的关注！
本文来自作者[青釉]投稿，不代表育友号立场，如若转载，请注明出处：https://www.jxydedu.cn/zsfx/202603-32932.html
评论列表（3条）
我是育友号的签约作者“青釉”
本文概览：网上有关“大数据发展时代的7个挑战和8大趋势”话题很是火热，小编也是针对大数据发展时代的7个挑战和8大趋势寻找了一些与之相关的一些信息进行分析，如果能碰巧解决你现在面临的问题，...
文章不错《大数据发展时代的7个挑战和8大趋势》内容很有帮助