政府大数据资源管理与价值挖掘机制构建

计划。此外，湖北省宏观经济大数据仓库项目获得批准，数据仓库的整体设计参照了国家相关部门对同类信息化项目的建设规范与设计规范。湖北省政府大数据主要服务于以下几方面：一是按照国家政务信息资源共享要求上报数据，为国家级统一电子政务平台提供支撑;二是推动本省政务数字化建设，为社会治理、决策分析提供支撑;三是面向社会有选择地开放数据，建设智慧湖北，促进相关产业发展与转型升级，促进区域经济、社会、文化的健康发展。

2.1.2   项目定位与建设必要性

按照国家积极推动“数据大集中”，深入挖掘大数据价值，以促进实体经济发展为指导精神，湖北省宏观经济大数据仓库项目应运而生。湖北省宏观经济大数据仓库能够进一步完善政府大数据价值挖掘的专业化服务链条，有力推动全省大数据建设及相关产业发展，其中，建设的必要性体现在以下几个方面。一是数据汇聚与交换融合，能够实现对全省现有信息服务平台的无缝对接，推动政府数据、网络数据和社会数据汇聚融合，形成政府部门间信息共享、数据资源交换的通道和平台。二是数据存取与使用管理，快速扩展数据存储空间。三是分析计算与综合应用，在省电子政务内外与外网环境都可部署数据计算、存储和展现能力，为政府及各类社会主体提供数据支撑服务。

2.2   建设目标与功能规划

2.2.1   建设目标与总体架构

根据项目定位，湖北省宏观经济大数据仓库需要从整体规划开始，综合考虑政府大数据在资源管理、分析技术、系统运营与价值挖掘等方面的局限性，以数据分析应用需求为导向，构建一个注重实效、注重用户，具有良好可持续性与可扩展性的支撑服务平台。项目总体目标是建设一个大数据仓库，通过“数据管理、数据存储、数据计算和数据应用”四大核心功能，为现有各大平台信息交互、资源共享、价值挖掘提供重要支撑。

大数据仓库的总体架构由宏观经济数据主题、大数据仓库硬件环境、大数据仓库支撑软件、标准规范与管理制度4部分构成。项目建立了数据主题和若干子数据主题及数据模型。其中，宏观经济数据主题是数据存储分类的基本标准，也是数据管理、数据计算、数据交换、数据安全和数据应用的基础支撑。大数据仓库硬件环境作为基础设施层，包含服务器集群、网路系统和其他硬件设施等硬件。大数据仓库支撑软件层，按照功能划分为存储计算层，应用支撑层和业务交换层。大数据仓库建设总体架构见图1。

2.2.2   数据架构与核心功能

湖北省宏观经济大数据仓库的数据架构主要体现以下几方面。

（1）在政府大数据资源管理方面。湖北省宏观经济大数据仓库汇聚政府数据、互联网数据和社会数据，根据不同条件和不同场景，通过仓库数据接入层实现数据归集。针对异构系统数据、数据包、填报文件等不同类型不同来源，仓库数据接入层分别采用前置系统通道接入、实时采集、爬虫采集、离线上传等方式，使各种数据进入仓库数据管理层进行处理后，实现元数据存储和各原始数据分区存储。

（2）在数据处理与分析技术方面。湖北省宏观经济大数据仓库可根据指标分析、分析报告、形势预测等需求，通过多维分析服务，从原始数据分区读取并构建物化立方体，建立多维分析数据库;根据搜索需求，通过搜索服务，建立索引，构建搜索与多维分析数据库。

（3）在系统运营与价值挖掘方面。湖北省宏观经济大数据仓库结合业务功能和应用产品需求，规划构建经济、环境资源、社会民生、科技教育、基础建设和资讯等多领域、多类型的分析主题数据库。大数据仓库数据架构见图2。

湖北省宏观经济大数据仓库系统设计的核心功能主要包括以下几方面。

（1）数据管理支撑。根据宏观经济大数据平台数据资源体系的应用需求，汇聚政府、网络、社会三大来源的宏观经济数据资源，从数据来源、数据分类、数据质量要求、数据共享发布权限和数据安全保障等方面实施数据资源的全方位管理，保障数据资源的统一、规范、安全、优质，为宏观经济大数据平台等各大信息平台提供高效的数据服务。具体包括大数据主题体系设计，“元数据、数据目录、数据质量、数据共享发布和数据安全”等大数据管理子功能模块。

（2）数据存储支撑。搭建分布式大数据仓库集群，依据宏观经济数据主题设计相应数据模型，对数据资源进行存储;新建的宏观经济大数据资源专库可实现与各大信息平台的数据共享交换，支撑宏观经济大数据平台开展大数据应用创新。实现关系型数据库、非关系数据库和分布式文件系统二次封装开发。

（3）数据计算支撑。依据宏观经济大数据应用体系对数据挖掘进行功能分析，基于Spark计算框架，采用分布式计算架构开发部署查询计算、机器学习、深度学习、流计算、图计算和数据分析等大数据挖掘引擎，提高大数据计算处理能力，满足宏观经济大数据平台等各大平台的大数据处理和计算服务需求。

（4）数据应用支撑。依据宏观经济大数据平台大数据应用体系的开发需求，开发部署“数据服务、计算服务、算法服务、搜索服务和分析服务”五大服务接口，配置“智能搜索、数据资源分析、自助分析、多维分析、自助仪表板”等应用组件，打造灵活易用的数据探索与价值挖掘平台，为各大平台开展大数据应用提供支撑。

2.3   项目建设的預期成效

（1）面对未来海量的政府、网络与社会数据，提供更加高效、经济、可扩的存储方式与空间。宏观经济大数据仓库以经济适用的服务器构建分布式大数据存储资源，设置统一的数据资源目录标准，为各大信息平台提供统一、规范的数据交互通道和资源共享平台。打造可扩、弹性、适用的数据存储支撑，避免不同平台之间独立建设存储资源带来的重复投资。采取分布式存储，并配有流式计算和高速网络，确保数据存取的实时性要求。同时，基于分布式、可扩展的架构特性，未来在应对海量数据接入、存储等问题时，使资源投入更加经济。

（2）面向数据计算的应用和需求，提供灵活、经济、高效、适用的分析工具与解决方案。大数据仓库以经济适用的服务器构建分布式计算节点，可满足数据计算场景性能需求，避免采用集中式计算架构所带来的高投入。同时，大数据仓库强大的数据计算能力可便捷地共享给其他应用平台和经授权的社会用户，实现多平台计算资源的统一建设，避免独立建设造成的资源浪费。在应对未来不断增长的计算资源方面，该数据仓库同样可展现较好的可扩展性，后续投资成本较低。

（3）有效支撑宏观经济数据汇聚、分析技术和多场景应用的相互促进。大数据仓库基于丰富的宏观经济数据集和先进的大数据分析技术，建立大数据仓库应用开发环境，为多场景应用开发搭建了功能强大的系统性支撑。在严格的安全保障下，可面向湖北省各级政府部门、科研机构乃至社会各类合规主体逐步开放，协同挖掘数据价值、创新数据应用产品、推进需求成果转化，形成供给、需求、技术相互促进的良性循环，不断扩大共享数据规模，增加分析应用场景，提升分析技术效率与能力，促进各大信息平台挖掘价值。

（4）辅助提升政府宏观决策分析与政务管理的协同性、精准性、实时性。大数据仓库能够在持续运营中不断优化、升级，逐步建立健全数据目录、统一数据标准，形成基础统一、逻辑严密、种类多样的宏观经济大数据体系。在仓库内解决数据打架、口径混乱、粗细不匹配等问题，为宏观经济决策分析提供强有力的数据支撑，保障宏观决策管理的协同性和精准性。

（5）有力推动湖北政府大数据价值挖掘和大数据相关产业的发展。大数据仓库项目是湖北省开展大数据技术研究和宏观经济领域大数据应用创新的重要实践。项目规划采用业界主流的大数据技术和大数据思维，力求从多维度挖掘宏观经济数据价值，支撑政府宏观经济决策、辅助政务管理，促进全省大数据等相关产业发展，促进区域经济发展与转型升级。

3     资源管理与价值挖掘的长效机制构建

构建政府大数据资源管理及价值挖掘的长效机制，需要从硬环境和软环境两方面着手，有针对性地破解存在的困境。运用互联网思维，推动“养数据”与“用数据”的社会化参与及融合共享，打造数据汇聚与分析应用相互促进的软环境。

3.1   网络化融合的数据仓库运维

政府大数据仓库的运维首先要制订好资源管理与“养数据”规划，有效提高数据仓库的信息容量，加强数据仓库的统一、安全与标准化管理。一是数据汇聚。通过搭建数据仓库、共享平台，推动网络化信息资源共享，加速政府数据、网络数据和社会数据的汇聚融合，实现更大范围、多种来源的数据信息汇聚，保持数据来源的广泛性。二是数据存储与管理。采用标准、统一、安全、规范化管理，结合统一规划逐步破解各主体信息数据仓库的条块与壁垒等问题，推动各种数据的高效汇聚与融合。三是数据库设计的开放性与可扩展性。支持社会各类用户按照统一格式标准，快捷上传、存储合规的数据，扩展数据信息的深度与广度。

湖北宏观经济大数据仓库项目在可研阶段详细规划了政府数据、网络数据与社会数据的网络化融合问题。从规划的数据汇聚内容来说，政府数据主要包括国家数据、省内数据、相关省市数据三类，项目前期汇聚的政府数据主要来源于相关横向数据服务平台或系统;网络数据主要包括国内、外主要经济网站数据，包括移动互联信息、搜索数据、社交数据、电商数据、就业数据等内容，主要以网络爬虫方式获取;社会数据主要包括企业、社会机构等各类主体的综合性统计数据、重点企业数据、专业公司数据，主要通过无偿获得、共享交换或数据交易的方式获取。通过数据资源融合保证数据仓库的多样性、丰富化，从而显著提高决策分析的准确性，同时也通过数据信息社会化共享融合，推动分析应用的快速发展。

3.2   多元化参与的数据平台应用

政府大数据仓库的运维要做好“用数据”的整体规划，结合实际拓展研究应用场景，按照需求导向开发简单易用的自助式、可视化分析工具;通过向更多的用户提供数据分析服务，鼓励社会各界用户积极参与数据价值挖掘，以“用”促“养”持续优化数据运维，提升大数据仓库的服务能力，形成政府大数据价值挖掘的共享协作机制。美国政府在数据开放方面一直走在全球前列，是面向公众的数据网站开放API数据接口，通过举办开发大赛，鼓励社会用户自行开发APP等各类数据应用，积极参与数据应用创新。湖北宏观经济大数据仓库项目重视借鉴国内外的先进经验，建立了数据计算、分析技术与应用需求动态相适应的开发管理机制，通过开发配置的服务接口与应用组件，为各种分析应用提供支撑。项目将分期推出多类应用主题，通过应用主题开发，引导政府相关部门、各类社会主体积极参与“用数据”，带动全社会的大数据应用与价值挖掘。

4     结 语

随着互联网、大数据等信息技术的快速发展，政府大数据已经是政府提高执政能力、服务能力、创新发展能力的重要手段。针对政府大数据应用在数据资源管理、数据处理与分析、系统运营与价值挖掘等方面的局限性，政府等相关部门应做好政府大数据项目硬环境与软环境建设与运维。湖北宏观经济大数据仓库项目以政府部门和社会各界用户的需求为导向，鼓励多方参与和社会化互动，推动用数据与养数据的相互促进，有针对性地破解政府大数据应用的困境，一些实践经验具有较好的指导和借鉴意义。展望未来，政府大数据仓库可通过跨平台的信息资源共享推动多种专业分析应用的数据联动与挖掘分析，为政务管理、决策分析、专题研究等工作提供支撑。为社会各界授权用户提供数据服务，支持相关行业、产业经营，促进区域经济脱虚向实、健康发展。

主要参考文献

[1]金江军，徐靖，王伟玲.政府大数据发展对策研究[J].中国信息界，2013（9）.

[2]楚海龙.地方政府视角下数据开放的困境与发展对策研究[J].安徽文学，2017（8）.

[3]李宇.“互联网+政务”解决社会治理问题——贵州省政府大数据应用经验的启示[J].中国党政干部论坛，2015（6）.

[4]陆健英，郑磊，Sharon S Dawes.美国的政府数据开放：历史、进展与启示[J].电子政务，2013（6）.

[5]王芳，陈锋.国家治理进程中的政府大数据开放利用研究[J].中国行政管理，2015（11）.

[6]丁辉侠，地方政府大数据治理：行动、挑战与应对[J].郑州大学学报：哲学社会科学版，2018（1）.

[7]陈涛，李明阳.数据开放平台建设策略研究——以武汉市政府数据开放平台建设为例[J].电子政务，2015（7）.

[8]关浩宇.大数据背景下提升地方政府治理绩效的对策研究——以广东省佛山地区为例[J].当代经济，2016（34）.

[9]王萌萌.地方政府治理中的大数据技术运用研究[D].重庆：中共重庆市委党校，2017.

[10]田晨.大数据背景下循证决策的应用研究[D].长沙：湖南大学，2016.

[11]张爱舒.大数据环境下我国政府数据开放平台建设策略研究[D].湘潭：湘潭大学，2017.

[12]刘媛媛.大数据背景下我国政府治理创新机遇、挑战与对策研究[D].徐州：中国矿业大学，2016.

[13]季希.大数据时代服务型政府建设问题研究[D].哈尔滨：哈尔滨商业大学，2016.

[14]傅倩.政府大數据平台的建设策略研究[D].南昌：南昌大学，2014.

[15]王博.大数据时代网络舆情与社会治理研究[D].昆明：云南财经大学，2016.

[16]杨靖雯.大数据战略下边疆政府治理的技术变革研究[D].昆明：云南师范大学，2017.

[17]李威廉.大数据平台在社会治理中的应用问题研究[D].保定：河北大学 ，2019.

[18]王林川.开放政府数据平台绩效评估指标体系研究[D].合肥：合肥工业大学，2018.

推荐访问:资源管理 挖掘 构建 机制 价值