《数据可视化》— 基于Python的应用

第2章 数据的收集与整理

2.1 数据的类型

　2.1.1 按度量尺度分

2.1.1.1 定性数据性别:女,男,男,女,男,男,女,男,女,男,女,男,女,女,男

性别=['女','男','男','女','男','男','女','男','女','男','女','男','女','女','男'];性别

['女', '男', '男', '女', '男', '男', '女', '男', '女', '男', '女', '男', '女', '女', '男']

sex=['女','男','男','女','男','男','女','男','女','男','女','男','女','女','男'];sex

['女', '男', '男', '女', '男', '男', '女', '男', '女', '男', '女', '男', '女', '女', '男']

2.1.1.2 定量数据体重:67,66,83,68,70,90,70,58,63,72,65,76,71,66,77

体重=[67,66,83,68,70,90,70,58,63,72,65,76,71,66];体重

[67, 66, 83, 68, 70, 90, 70, 58, 63, 72, 65, 76, 71, 66]

weight=[67,66,83,68,70,90,70,58,63,72,65,76,71,66];weight

[67, 66, 83, 68, 70, 90, 70, 58, 63, 72, 65, 76, 71, 66]

　2.1.2 按时间状况分

2.1.2.1 纵向数据2.1.2.2 面板数据

2.2 数据的收集

　2.2.1 横向数据的收集

使用问卷星设计网络化调查问卷，进入问卷星 https://www.wjx.cn 网站可快速设计。

import pandas as pd
pd.set_option('display.max_rows', 10)
pd.read_excel('DaPy_data.xlsx','BSdata')

	学号	性别	身高	体重	支出	开设	课程	软件
0	1510248008	女	167	71	46.0	不清楚	都未学过	No
1	1510229019	男	171	68	10.4	有必要	概率统计	Matlab
2	1512108019	女	175	73	21.0	有必要	统计方法	SPSS
3	1512332010	男	169	74	4.9	有必要	编程技术	Excel
4	1512331015	男	154	55	25.9	有必要	都学习过	Python
...	...	...	...	...	...	...	...	...
47	1538319004	男	175	68	44.4	不清楚	统计方法	SAS
48	1538254010	女	166	65	5.3	不清楚	编程技术	Python
49	1540294017	女	159	58	71.4	不清楚	都学习过	SPSS
50	1540365026	女	169	73	5.5	有必要	统计方法	Excel
51	1540388036	女	165	67	56.8	不必要	概率统计	SAS

52 rows × 8 columns

　2.2.2 纵向数据的收集

例2.2 季节数据：经济数据

pd.read_excel('DaPy_data.xlsx','YQdata') #横向表

	Year	Q1	Q2	Q3	Q4
0	2001	2.330	2.565	2.687	3.384
1	2002	2.536	2.797	2.972	3.728
2	2003	2.886	3.101	3.346	4.249
3	2004	3.342	3.699	3.956	4.991
4	2005	3.912	4.280	4.474	5.828
...	...	...	...	...	...
10	2011	9.748	10.901	11.586	15.076
11	2012	10.837	11.963	12.574	16.573
12	2013	11.886	12.916	13.908	20.092
13	2014	12.821	14.083	15.086	21.656
14	2015	14.067	17.351	17.316	18.937

15 rows × 5 columns

pd.read_excel('DaPy_data.xlsx','QTdata') #纵向表

	YQ	GDP
0	2001Q1	2.330
1	2001Q2	2.565
2	2001Q3	2.687
3	2001Q4	3.384
4	2002Q1	2.536
...	...	...
55	2014Q4	21.656
56	2015Q1	14.067
57	2015Q2	17.351
58	2015Q3	17.316
59	2015Q4	18.937

60 rows × 2 columns

例2.3 日期数据：股票数据

import pandas as pd
pd.read_excel('DaPy_data.xlsx','Stock')

	date	Open	High	Low	Close	Volume	Adjusted
0	2005-01-03	0.70247	0.71728	0.70247	0.71296	0.0	0.618499
1	2005-01-04	0.70988	0.72145	0.69414	0.69599	10958717.0	0.603777
2	2005-01-05	0.69506	0.70818	0.69506	0.70525	6165072.0	0.611810
3	2005-01-06	0.70231	0.70648	0.69614	0.69676	9845971.0	0.604445
4	2005-01-07	0.69599	0.70957	0.69460	0.70201	13667162.0	0.608999
...	...	...	...	...	...	...	...
3175	2017-12-25	12.73000	12.74000	12.25000	12.38000	65681626.0	12.380000
3176	2017-12-26	12.46000	12.54000	12.37000	12.52000	30913299.0	12.520000
3177	2017-12-27	12.54000	12.57000	12.10000	12.18000	53813380.0	12.180000
3178	2017-12-28	12.20000	12.28000	12.06000	12.18000	33692919.0	12.180000
3179	2017-12-29	12.18000	12.33000	12.14000	12.29000	25372331.0	12.290000

3180 rows × 7 columns

2.3 数据的管理

　2.3.1 表格管理数据

　2.3.2 数据库管理数据

　2.3.3 Python数据管理