@2021- 版权所有:王斌会 ICP备案号:粤ICP备 2021111582 号


          数据科学及大数据技术专业规划教材

    数据分析及可视化 Excel+Python微课版

         王斌会 编著 人民邮电出版社 2022.6


内 容 提 要

  本书将 Excel 与 Python 相结合,详细讲述数据分析及可视化的实际应用。
全书共有 9 章,主要内容包括数据分析及可视化概述、Python 数据分析基础、
Python 数据可视化方法、数据挖掘基础、数据基本分析、数据综合评价、数据
统计推断、数据模型分析、文本数据挖掘及在线数据分析,以及附录等。本书
可作为普通高等院校数据科学与大数据专业、大数据应用与管理等专业的教材,
也可作为数据分析行业从业人员的参考书。

  • 第1章 数据分析及可视化概述
  • 第2章 Python 数据分析平台
  • 第3章 数据的基本可视化方法
  • 第4章 数据挖掘基础及可视化
  • 第5章 数据基本分析及可视化
  • 第6章 数据综合评价及可视化
  • 第7章 数据统计推断及可视化
  • 第8章 数据模型分析及可视化
  • 第9章 文本及在线数据的挖掘



本实验的指标体系

指标体系的构建原则

  数据集通常由一个或多个指标组成。在现实生活中,对一些事物的分析和评价常常涉及多个指标,评价是在多个指标相互作用下的一种综合判断。在多个变量分析中,指标体系的构建是最重要的问题,是综合评价能否准确反映全面情况的前提。构建多变量指标体系应遵循以下几项原则:

(1)系统全面性原则

  例如,在经济社会发展水平的评价中,综合评价指标体系必须能够较全面地反映经济社会发展的综合水平,指标体系应包括经济水平、科技进步、社会发展等各个主要方面的内容。

(2)稳定可比性原则

  评价指标体系中选用的指标既要有稳定的数据来源,又要适应实际状况,指标体系的统计口径(包括指标的时长、单位、含义)必须一致可比,才能保证评估结果的真实、客观和合理。

(3)简明科学性原则

  在系统全面性的基础上,尽量选择具有代表性的综合指标,要避免选择含义相近的指标。指标体系中指标的多少须适宜,指标体系的设置应具有一定的科学性,既简明又科学。

(4)灵活可操作性原则

  评价指标体系在实际应用中应具有一定的灵活性,以方便各地区不同发展水平、不同层次评价对象的操作使用。各个指标的数据来源渠道要畅通,具有较强的操作性。

zbtx

收集范围与类型

  本项目的研究区域是广东省21个地级市,时间跨度为2000~2019年。数据来主要来从《广东省统计年鉴》。

数据收集范围:

  • 按时间:20年(2000-2019)
  • 按地区:21个地区 广州,深圳,佛山,东莞,惠州,中山,茂名,湛江,珠海,江门,汕头, 肇庆,揭阳,清远,阳江,韶关,梅州,潮州,河源,汕尾,云浮

数据的类型与格式:

  • 类型:

    定性数据(计数数据):如地区、年份、性别等
    定量数据(计量数据):如GDP、进出口额、人均消费、身高和体重等

  • 格式:

    横向数据(也称横截面数据): 如由广东省21个地区8个指标构成的数据框
    纵向数据(也称时间序列数据): 如广州20年8个指标构成的数据框
    面板数据(横向和纵向数据组合):如由广东省珠三角9个地区2010年8个指标构成的数据框

数据的组成形式:

  • 向量(一维数组):分别由单个指标组成的一组数,如地区、GDP等。
  • 数据框(二维数组):由行和列组成的数据集,相当于矩阵,但其中的数据类型可不一样。

数据的存储形式

  传统数据通常以结构化形式保存,本系统以开放式电子表格形式保存数据(如Excel),比关系数据库操作容易和操作。

tab

数据选择


请选择数据和变量进行验证!注意不同的数据将采用不同分析方法~


                            

本透视表分析类似与Excel和WPS的透视表分析方法:

确定时间、指标作图;这类图型有:柱图、条图、圆图、玫瑰图、漏斗图、统计地图等

确定时间、指标作图;这类图型有:线图,线条图,面积图等

确定时间和读取、指标作图;这类图型有:条图和线图等

序列数据


变动序列

基本描述统计

时间:地区间统计描述

地区:时间间描述统计

地区:时间间描述统计

时间:地区间统计描述

数据选择

参数估计




假设检验——参数法



                            

数据选择



                            

待加......

通过设置不同的参数来模拟线性相关与回归:

这里模型为:y=a+bx+e

其中 x~U[0,1], 误差e~N(0,s^2)

*不同种子数将模拟不同随机序列*

                              

通过选取不同的变量来拟合线性相关与回归模型:

 直线回归方程:y = a + b x

                              

 直线回归模型:
 直线相关分析:

                              
 直线回归分析:

                              

数据选择

原始数据
相关系数矩阵
相关系数矩阵检验:下三角为系数,上三角为概率
相关系数矩阵散点图

数据选择

原始数据
回归模型建立及检验

                            
回归模型的拟合效果

根据参数模拟不同的模型

趋势预测模型

这里自变量(x)为时序



机器学习的最佳模型为:

可视化模型


                              

原始数据及排序

数据秩次及排名

规范化数据

箱式比较图

区域经济运行景气信号图

年度经济运行景气信号图

年度指数

指数空间分析

指数空间分析

历年综合指数的变动分析

通过比较历年综合指数进行景气监测

绝对差异统计量

绝对差异统计图

通过计算指数的变异系数和泰尔系数进行相对差异分析

《粤港澳大湾区发展规划纲要》

前 言

第一章 规划背景

第一节 发展基础 第二节 机遇挑战 第三节 重大意义

第二章 总体要求

第一节 指导思想 第二节 基本原则 第三节 战略定位 第四节 发展目标

第三章 空间布局

第一节 构建极点带动、轴带支撑网络化空间格局 第二节 完善城市群和城镇发展体系 第三节 辐射带动泛珠三角区域发展

第四章 建设国际科技创新中心

第一节 构建开放型区域协同创新共同体 第二节 打造高水平科技创新载体和平台 第三节 优化区域创新环境

第五章 加快基础设施互联互通

第一节 构建现代化的综合交通运输体系 第二节 优化提升信息基础设施 第三节 建设能源安全保障体系 第四节 强化水资源安全保障

第六章 构建具有国际竞争力的现代产业体系

第一节 加快发展先进制造业 第二节 培育壮大战略性新兴产业 第三节 加快发展现代服务业 第四节 大力发展海洋经济

第七章 推进生态文明建设

第一节 打造生态防护屏障 第二节 加强环境保护和治理 第三节 创新绿色低碳发展模式

第八章 建设宜居宜业宜游的优质生活圈

第一节 打造教育和人才高地 第二节 共建人文湾区 第三节 构筑休闲湾区 第四节 拓展就业创业空间 第五节 塑造健康湾区 第六节 促进社会保障和社会治理合作

第九章 紧密合作共同参与“一带一路”建设

第一节 打造具有全球竞争力的营商环境 第二节 提升市场一体化水平 第三节 携手扩大对外开放

第十章 共建粤港澳合作发展平台

第一节 优化提升深圳前海深港现代服务业合作区功能 第二节 打造广州南沙粤港澳全面合作示范区 第三节 推进珠海横琴粤港澳深度合作示范 第四节 发展特色合作平台

第十一章 规划实施

第一节 加强组织领导 第二节 推动重点工作 第三节 防范化解风险 第四节 扩大社会参与

前 言

  粤港澳大湾区包括香港特别行政区、澳门特别行政区和广东省广州市、深圳市、珠海市、佛山市、惠州市、东莞市、中山市、江门市、肇庆市(以下称珠三角九市),总面积5.6万平方公里,2017年末总人口约7000万人,是我国开放程度最高、经济活力最强的区域之一,在国家发展大局中具有重要战略地位。建设粤港澳大湾区,既是新时代推动形成全面开放新格局的新尝试,也是推动“一国两制”事业发展的新实践。为全面贯彻党的十九大精神,全面准确贯彻“一国两制”方针,充分发挥粤港澳综合优势,深化内地与港澳合作,进一步提升粤港澳大湾区在国家经济发展和对外开放中的支撑引领作用,支持香港、澳门融入国家发展大局,增进香港、澳门同胞福祉,保持香港、澳门长期繁荣稳定,让港澳同胞同祖国人民共担民族复兴的历史责任、共享祖国繁荣富强的伟大荣光,编制本规划。
  本规划是指导粤港澳大湾区当前和今后一个时期合作发展的纲领性文件。规划近期至2022年,远期展望到2035年。

第一章 规划背景

   改革开放以来,特别是香港、澳门回归祖国后,粤港澳合作不断深化实化,粤港澳大湾区经济实力、区域竞争力显著增强,已具备建成国际一流湾区和世界级城市群的基础条件。

第一节 发展基础 区位优势明显。粤港澳大湾区地处我国沿海开放前沿,以泛珠三角区域为广阔发展腹地,在“一带一路”建设中具有重要地位。交通条件便利,拥有香港国际航运中心和吞吐量位居世界前列的广州、深圳等重要港口,以及香港、广州、深圳等具有国际影响力的航空枢纽,便捷高效的现代综合交通运输体系正在加速形成。经济实力雄厚。经济发展水平全国领先,产业体系完备,集群优势明显,经济互补性强,香港、澳门服务业高度发达,珠三角九市已初步形成以战略性新兴产业为先导、先进制造业和现代服务业为主体的产业结构,2017年大湾区经济总量约10万亿元。 创新要素集聚。创新驱动发展战略深入实施,广东全面创新改革试验稳步推进,国家自主创新示范区加快建设。粤港澳三地科技研发、转化能力突出,拥有一批在全国乃至全球具有重要影响力的高校、科研院所、高新技术企业和国家大科学工程,创新要素吸引力强,具备建设国际科技创新中心的良好基础。
国际化水平领先。香港作为国际金融、航运、贸易中心和国际航空枢纽,拥有高度国际化、法治化的营商环境以及遍布全球的商业网络,是全球最自由经济体之一。澳门作为世界旅游休闲中心和中国与葡语国家商贸合作服务平台的作用不断强化,多元文化交流的功能日益彰显。珠三角九市是内地外向度最高的经济区域和对外开放的重要窗口,在全国加快构建开放型经济新体制中具有重要地位和作用。 合作基础良好。香港、澳门与珠三角九市文化同源、人缘相亲、民俗相近、优势互补。近年来,粤港澳合作不断深化,基础设施、投资贸易、金融服务、科技教育、休闲旅游、生态环保、社会服务等领域合作成效显著,已经形成了多层次、全方位的合作格局。 第二节 机遇挑战 当前,世界多极化、经济全球化、社会信息化、文化多样化深入发展,全球治理体系和国际秩序变革加速推进,各国相互联系和依存日益加深,和平发展大势不可逆转,新一轮科技革命和产业变革蓄势待发,“一带一路”建设深入推进,为提升粤港澳大湾区国际竞争力、更高水平参与国际合作和竞争拓展了新空间。在新发展理念引领下,我国深入推进供给侧结构性改革,推动经济发展质量变革、效率变革、动力变革,为大湾区转型发展、创新发展注入了新活力。全面深化改革取得重大突破,国家治理体系和治理能力现代化水平明显提高,为创新大湾区合作发展体制机制、破解合作发展中的突出问题提供了新契机。 同时,粤港澳大湾区发展也面临诸多挑战。当前,世界经济不确定不稳定因素增多,保护主义倾向抬头,大湾区经济运行仍存在产能过剩、供给与需求结构不平衡不匹配等突出矛盾和问题,经济增长内生动力有待增强。在“一国两制”下,粤港澳社会制度不同,法律制度不同,分属于不同关税区域,市场互联互通水平有待进一步提升,生产要素高效便捷流动的良好局面尚未形成。大湾区内部发展差距依然较大,协同性、包容性有待加强,部分地区和领域还存在同质化竞争和资源错配现象。香港经济增长缺乏持续稳固支撑,澳门经济结构相对单一、发展资源有限,珠三角九市市场经济体制有待完善。区域发展空间面临瓶颈制约,资源能源约束趋紧,生态环境压力日益增大,人口红利逐步减退。 第三节 重大意义 打造粤港澳大湾区,建设世界级城市群,有利于丰富“一国两制”实践内涵,进一步密切内地与港澳交流合作,为港澳经济社会发展以及港澳同胞到内地发展提供更多机会,保持港澳长期繁荣稳定;有利于贯彻落实新发展理念,深入推进供给侧结构性改革,加快培育发展新动能、实现创新驱动发展,为我国经济创新力和竞争力不断增强提供支撑;有利于进一步深化改革、扩大开放,建立与国际接轨的开放型经济新体制,建设高水平参与国际经济合作新平台;有利于推进“一带一路”建设,通过区域双向开放,构筑丝绸之路经济带和21世纪海上丝绸之路对接融汇的重要支撑区。…………………………….