《数据可视化》—— 基于Python的应用

第10章 数据在线分析及可视化

10.1 Tushare数据的可视化分析

　10.1.1 股市基本数据的获取与分析

#!pip install tushare --upgrade

#import tushare as ts    #调用 tushare 包

10.1.1.1 上市公司的基本信息

#s_b=ts.get_stock_basics()
#s_b=ts.get_stock_basics(); #在线获取股票信息，每次读取数据可能不一样
#s_b.info(); #sb

import pandas as pd        #读取已保存的本地股票信息
s_b=pd.read_excel('./data/tushare.xlsx','stock_basics',index_col=0); 
s_b.info()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 3951 entries, 688586 to 688519
Data columns (total 22 columns):
 #   Column            Non-Null Count  Dtype  
---  ------            --------------  -----  
 0   name              3951 non-null   object 
 1   industry          3947 non-null   object 
 2   area              3947 non-null   object 
 3   pe                3951 non-null   float64
 4   outstanding       3951 non-null   float64
 5   totals            3951 non-null   float64
 6   totalAssets       3951 non-null   float64
 7   liquidAssets      3951 non-null   float64
 8   fixedAssets       3951 non-null   float64
 9   reserved          3951 non-null   float64
 10  reservedPerShare  3951 non-null   float64
 11  esp               3951 non-null   float64
 12  bvps              3951 non-null   float64
 13  pb                3951 non-null   float64
 14  timeToMarket      3951 non-null   int64  
 15  undp              3951 non-null   float64
 16  perundp           3951 non-null   float64
 17  rev               3951 non-null   float64
 18  profit            3951 non-null   float64
 19  gpr               3951 non-null   float64
 20  npr               3951 non-null   float64
 21  holders           3951 non-null   int64  
dtypes: float64(17), int64(2), object(3)
memory usage: 709.9+ KB

s_b#.iloc[:6,:9]  #显示前6行7列数据

	name	industry	area	pe	outstanding	totals	totalAssets	liquidAssets	fixedAssets	reserved	...	bvps	pb	timeToMarket	undp	perundp	rev	profit	gpr	npr	holders
code
688586	N江航	航空	安徽	77.57	0.88	4.04	18.43	11.58	5.23	3.91	...	4.59	8.80	20200731	1.83	0.45	0.00	0.00	46.08	29.69	59169
688311	N盟升	元器件	四川	238.24	0.26	1.15	8.70	5.51	0.56	3.20	...	14.02	9.75	20200731	1.39	1.21	0.00	0.00	72.47	27.74	26472
605222	N起帆	电气设备	上海	35.53	0.50	4.01	47.26	39.48	5.80	2.81	...	6.38	4.16	20200731	9.74	2.43	0.00	0.00	10.08	4.23	52755
601456	N国联	证券	江苏	15.87	4.76	23.78	374.70	0.00	0.00	0.00	...	4.30	1.42	20200731	0.00	0.00	0.00	0.00	0.00	46.32	416247
2991	N甘源	食品	江西	35.54	0.23	0.93	8.18	3.82	2.75	1.45	...	14.78	3.78	20200731	2.84	3.05	0.00	0.00	39.32	15.04	49829
...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...
688335	复洁环保	环境保护	上海	0.00	0.00	0.00	4.05	3.71	0.10	0.83	...	0.00	0.00	0	1.04	0.00	0.00	0.00	34.42	6.97	0
688338	赛科希德	生物制药	北京	0.00	0.00	0.00	4.27	3.82	0.39	1.32	...	0.00	0.00	0	1.62	0.00	14.73	25.26	59.41	30.95	0
688339	亿华通	电气设备	北京	0.00	0.00	0.00	16.83	11.81	1.81	8.85	...	0.00	0.00	0	1.09	0.00	50.25	176.50	45.12	11.55	0
688379	华光新材	小金属	浙江	0.00	0.00	0.00	7.29	5.24	1.52	1.08	...	0.00	0.00	0	3.07	0.00	0.00	0.00	15.68	5.17	0
688519	南亚新材	元器件	上海	0.00	0.00	0.00	19.09	13.46	4.63	2.00	...	0.00	0.00	0	2.96	0.00	0.00	0.00	15.99	7.28	0

3951 rows × 22 columns

#s_b.to_csv('stock_basics.csv')                   #保存数据到csv表格中
#s_b=pd.read_csv('stock_basics.csv',index_col=0) #从csv文档中读取数据

10.1.1.2 股市基本数据的分析

s_b_c=s_b.industry.value_counts(); s_b_c

软件服务    215
元器件     196
电气设备    186
化工原料    175
专用机械    151
       ... 
铁路        5
林业        4
机场        4
商品城       3
电器连锁      2
Name: industry, Length: 110, dtype: int64

from pandas import DataFrame as DF  #设置结果以数据框形式输出
DF(s_b_c)   #pd.DataFrame(s_b_c)  

	industry
软件服务	215
元器件	196
电气设备	186
化工原料	175
专用机械	151
...	...
铁路	5
林业	4
机场	4
商品城	3
电器连锁	2

110 rows × 1 columns

%config InlineBackend.figure_format='retina' #提高图形显示的清晰度
import matplotlib.pyplot as plt            
plt.rcParams['font.sans-serif']=['SimHei'];  #中文字为黑体
s_b_c[:10].plot(kind='barh');                #前10个行业水平条图

#按行业(industry)计算平均收益率(esp)并排序
i_e=s_b.groupby(['industry'])['esp'].mean().sort_values();
DF(i_e)

	esp
industry
空运	-0.243875
旅游服务	-0.129538
公路	-0.111286
旅游景点	-0.101167
酒店餐饮	-0.090100
...	...
饲料	0.249765
银行	0.324250
船舶	0.331857
保险	0.695143
白酒	1.517105

110 rows × 1 columns

DF(i_e.head(10))  #收益率最差的10个行业

	esp
industry
空运	-0.243875
旅游服务	-0.129538
公路	-0.111286
旅游景点	-0.101167
酒店餐饮	-0.090100
石油加工	-0.085556
公共交通	-0.060375
林业	-0.045250
路桥	-0.039789
汽车整车	-0.025348

plt.rcParams['axes.unicode_minus']=False;          #正常显示图中负号
i_e.head(10).plot(kind='bar');

DF(i_e.tail(10))   #收益率最好的10个行业

	esp
industry
农药化肥	0.151171
园区开发	0.153625
食品	0.154523
医药商业	0.195538
农业综合	0.230633
饲料	0.249765
银行	0.324250
船舶	0.331857
保险	0.695143
白酒	1.517105

i_e.tail(10).plot(kind='barh');

#按地区(area)和行业(industry)计算平均收益率(esp)并排序
a_i_e=s_b.groupby(['area','industry'])['esp'].mean().sort_values();
DF(a_i_e)  

		esp
area	industry
江西	公共交通	-0.6700
新疆	服饰	-0.6300
湖北	旅游服务	-0.5660
辽宁	石油加工	-0.5550
湖南	小金属	-0.5270
...	...	...
山西	白酒	1.4100
深圳	保险	1.4700
江苏	白酒	1.5595
北京	家用电器	2.2600
贵州	白酒	17.9920

1359 rows × 1 columns

GD_e1=DF(a_i_e['广东'].head(10)); GD_e1  #广东省收益率最差的10个行业

	esp
industry
空运	-0.430000
家居用品	-0.145222
装修装饰	-0.109000
百货	-0.105000
酒店餐饮	-0.092000
玻璃	-0.087000
化纤	-0.082000
综合类	-0.067667
建筑工程	-0.065250
石油加工	-0.061000

GD_e2=DF(a_i_e['广东'].tail(10)); GD_e2 #广东省收益率最好的10个行业

	esp
industry
农业综合	0.17450
火力发电	0.17575
化学制药	0.18720
水泥	0.27100
电信运营	0.32100
乳制品	0.38200
医药商业	0.42700
多元金融	0.64650
饲料	0.69900
船舶	1.13850

GD_e12=pd.concat([GD_e1,GD_e2]); GD_e12  #广东省收益率最差和最好的10个行业合并

	esp
industry
空运	-0.430000
家居用品	-0.145222
装修装饰	-0.109000
百货	-0.105000
酒店餐饮	-0.092000
玻璃	-0.087000
化纤	-0.082000
综合类	-0.067667
建筑工程	-0.065250
石油加工	-0.061000
农业综合	0.174500
火力发电	0.175750
化学制药	0.187200
水泥	0.271000
电信运营	0.321000
乳制品	0.382000
医药商业	0.427000
多元金融	0.646500
饲料	0.699000
船舶	1.138500

GD_e12.plot(kind='bar').axhline(y=0);

10.1.1.3 新股发行数据的分析

#n_s=ts.new_stocks(); n_s.info()

n_s=pd.read_excel('./data/tushare.xlsx','new_stocks',index_col=0); n_s.info()

<class 'pandas.core.frame.DataFrame'>
Int64Index: 450 entries, 0 to 449
Data columns (total 12 columns):
 #   Column      Non-Null Count  Dtype  
---  ------      --------------  -----  
 0   code        450 non-null    int64  
 1   xcode       450 non-null    int64  
 2   name        450 non-null    object 
 3   ipo_date    450 non-null    object 
 4   issue_date  407 non-null    object 
 5   amount      450 non-null    int64  
 6   markets     450 non-null    int64  
 7   price       450 non-null    float64
 8   pe          450 non-null    float64
 9   limit       450 non-null    float64
 10  funds       450 non-null    float64
 11  ballot      450 non-null    float64
dtypes: float64(5), int64(4), object(3)
memory usage: 45.7+ KB

n_s#.iloc[:6,:7]  #显示前6行7列数据

	code	xcode	name	ipo_date	issue_date	amount	markets	price	pe	limit	funds	ballot
0	605008	707008	长鸿高科	2020-08-12	NaN	4600	1380	0.00	0.00	1.30	4.848	0.00
1	300872	300872	天阳科技	2020-08-12	NaN	5620	1602	0.00	0.00	1.60	6.656	0.00
2	300873	300873	海晨股份	2020-08-12	NaN	3333	950	0.00	0.00	0.95	7.301	0.00
3	300876	300876	蒙泰高新	2020-08-12	NaN	2400	684	0.00	0.00	0.65	4.353	0.00
4	300871	300871	回盛生物	2020-08-11	NaN	2770	789	0.00	0.00	0.75	6.548	0.00
...	...	...	...	...	...	...	...	...	...	...	...	...
445	2935	2935	天奥电子	2018-08-23	2018-09-03	2667	2400	19.38	22.99	0.80	5.169	0.03
446	601068	780068	中铝国际	2018-08-21	2018-08-31	29591	26632	3.45	31.86	8.80	10.209	0.15
447	603192	732192	汇得科技	2018-08-16	2018-08-28	2667	2400	19.60	22.99	1.00	5.227	0.03
448	2933	2933	新兴装备	2018-08-15	2018-08-28	2935	2642	22.45	22.99	1.15	6.589	0.03
449	603590	732590	康辰药业	2018-08-14	2018-08-27	4000	3600	24.34	22.99	1.60	9.736	0.04

450 rows × 12 columns

#n_s.to_csv('new_stocks.csv')                     #保存数据到csv表格中
#n_s=pd.read_csv('new_stocks.csv',index_col=0)   #从csv文件中读取数据

n_s20=n_s.loc[n_s.ipo_date>='2020-01-01',]; n_s20.iloc[:,:7]  #2020年发行的新股

	code	xcode	name	ipo_date	issue_date	amount	markets
0	605008	707008	长鸿高科	2020-08-12	NaN	4600	1380
1	300872	300872	天阳科技	2020-08-12	NaN	5620	1602
2	300873	300873	海晨股份	2020-08-12	NaN	3333	950
3	300876	300876	蒙泰高新	2020-08-12	NaN	2400	684
4	300871	300871	回盛生物	2020-08-11	NaN	2770	789
...	...	...	...	...	...	...	...
207	601816	780816	京沪高铁	2020-01-06	2020-01-16	628563	234379
208	300813	300813	泰林生物	2020-01-03	2020-01-14	1300	1300
209	2971	2971	和远气体	2020-01-02	2020-01-13	4000	3600
210	688178	787178	万德斯	2020-01-02	2020-01-14	2125	808
211	603551	732551	奥普家居	2020-01-02	2020-01-15	4001	3601

212 rows × 7 columns

#2020年发行量最大的10支新股
n_s20.sort_values(by='amount',ascending=False).iloc[:10,:7]

	code	xcode	name	ipo_date	issue_date	amount	markets
207	601816	780816	京沪高铁	2020-01-06	2020-01-16	628563	234379
74	688981	787981	中芯国际	2020-07-07	2020-07-16	193846	25284
121	600918	730918	中泰证券	2020-05-20	2020-06-03	69686	62718
152	688126	787126	沪硅产业	2020-04-09	2020-04-20	62007	13457
134	601778	780778	晶科科技	2020-05-06	2020-05-19	59459	53513
52	601456	780456	国联证券	2020-07-21	2020-07-31	47572	42815
120	601827	780827	三峰环境	2020-05-21	2020-06-05	37827	34044
181	688396	787396	华润微	2020-02-12	2020-02-27	33694	6153
21	688055	787055	龙腾光电	2020-08-06	NaN	33333	5667
113	688599	787599	天合光能	2020-05-29	2020-06-10	31020	8903

#2020年中签率最高的10支新股
n_s20.sort_values(by='ballot').iloc[-10:,[0,1,2,3,4,5,11]] 

	code	xcode	name	ipo_date	issue_date	amount	ballot
152	688126	787126	沪硅产业	2020-04-09	2020-04-20	62007	0.10
174	300821	300821	东岳硅材	2020-03-03	2020-03-12	30000	0.11
150	601609	780609	金田铜业	2020-04-10	2020-04-22	24200	0.12
179	601696	780696	中银证券	2020-02-13	2020-02-26	27800	0.13
120	601827	780827	三峰环境	2020-05-21	2020-06-05	37827	0.15
52	601456	780456	国联证券	2020-07-21	2020-07-31	47572	0.15
74	688981	787981	中芯国际	2020-07-07	2020-07-16	193846	0.21
134	601778	780778	晶科科技	2020-05-06	2020-05-19	59459	0.22
121	600918	730918	中泰证券	2020-05-20	2020-06-03	69686	0.24
207	601816	780816	京沪高铁	2020-01-06	2020-01-16	628563	0.79

plt.plot(n_s20.amount, n_s20.ballot,'o'); #发行量和中签率之间的散点图 

n_s20.amount.corr(n_s20.ballot) #发行量和中签率之间的相关系数

0.9320352728928714

　10.1.2 证券交易数据的获取与分析

10.1.2.1 历史行情数据分析

h_s=pd.read_excel('data/tushare.xlsx','hist_data',index_col=0); h_s.info()
#h_s=ts.get_hist_data('hs300'); h_s.info()  #在线获取沪深300指数数据

<class 'pandas.core.frame.DataFrame'>
Index: 605 entries, 2020-08-04 to 2018-02-05
Data columns (total 13 columns):
 #   Column        Non-Null Count  Dtype  
---  ------        --------------  -----  
 0   open          605 non-null    float64
 1   high          605 non-null    float64
 2   close         605 non-null    float64
 3   low           605 non-null    float64
 4   volume        605 non-null    float64
 5   price_change  605 non-null    float64
 6   p_change      605 non-null    float64
 7   ma5           605 non-null    float64
 8   ma10          605 non-null    float64
 9   ma20          605 non-null    float64
 10  v_ma5         605 non-null    float64
 11  v_ma10        605 non-null    float64
 12  v_ma20        605 non-null    float64
dtypes: float64(13)
memory usage: 66.2+ KB

h_s#.iloc[:6,:7]   #显示前6行7列数据

	open	high	close	low	volume	price_change	p_change	ma5	ma10	ma20	v_ma5	v_ma10	v_ma20
date
2020-08-04	4778.49	4807.08	4775.80	4747.77	2399749.75	4.49	0.09	4715.464	4660.651	4690.541	1986506.22	2029861.14	2437863.12
2020-08-03	4735.90	4771.37	4771.31	4720.03	2147762.50	76.26	1.62	4673.956	4652.175	4686.658	1832093.27	1990301.82	2520879.91
2020-07-31	4652.18	4741.81	4695.05	4621.96	1848390.25	38.90	0.83	4625.384	4643.074	4681.597	1745381.87	2021594.50	2616402.29
2020-07-30	4689.76	4704.63	4656.15	4649.77	1669675.62	-22.86	-0.49	4587.492	4628.039	4667.824	1863514.22	2044131.04	2669225.56
2020-07-29	4559.16	4680.56	4679.01	4548.85	1866953.00	110.75	2.42	4598.750	4614.049	4651.809	1998208.25	2161820.60	2712211.46
...	...	...	...	...	...	...	...	...	...	...	...	...	...
2018-02-09	3896.17	3911.29	3840.65	3759.15	2063498.25	-171.40	-4.27	4065.248	4065.248	4065.248	1890011.10	1890011.10	1890011.10
2018-02-08	4022.88	4071.67	4012.05	3974.68	1592699.88	-38.45	-0.95	4121.398	4121.398	4121.398	1846639.32	1846639.32	1846639.32
2018-02-07	4205.74	4212.57	4050.50	4048.42	2031274.88	-98.39	-2.37	4157.847	4157.847	4157.847	1931285.79	1931285.79	1931285.79
2018-02-06	4182.33	4211.52	4148.89	4131.56	2149104.50	-125.26	-2.93	4211.520	4211.520	4211.520	1881291.25	1881291.25	1881291.25
2018-02-05	4204.46	4274.15	4274.15	4200.14	1613478.00	2.92	0.07	4274.150	4274.150	4274.150	1613478.00	1613478.00	1613478.00

605 rows × 13 columns

h_s.sort_index(inplace=True); #按时间重新排序 
h_s#.iloc[:6,:7]      #显示排序后数据的前6行7列

	open	high	close	low	volume	price_change	p_change	ma5	ma10	ma20	v_ma5	v_ma10	v_ma20
date
2018-02-05	4204.46	4274.15	4274.15	4200.14	1613478.00	2.92	0.07	4274.150	4274.150	4274.150	1613478.00	1613478.00	1613478.00
2018-02-06	4182.33	4211.52	4148.89	4131.56	2149104.50	-125.26	-2.93	4211.520	4211.520	4211.520	1881291.25	1881291.25	1881291.25
2018-02-07	4205.74	4212.57	4050.50	4048.42	2031274.88	-98.39	-2.37	4157.847	4157.847	4157.847	1931285.79	1931285.79	1931285.79
2018-02-08	4022.88	4071.67	4012.05	3974.68	1592699.88	-38.45	-0.95	4121.398	4121.398	4121.398	1846639.32	1846639.32	1846639.32
2018-02-09	3896.17	3911.29	3840.65	3759.15	2063498.25	-171.40	-4.27	4065.248	4065.248	4065.248	1890011.10	1890011.10	1890011.10
...	...	...	...	...	...	...	...	...	...	...	...	...	...
2020-07-29	4559.16	4680.56	4679.01	4548.85	1866953.00	110.75	2.42	4598.750	4614.049	4651.809	1998208.25	2161820.60	2712211.46
2020-07-30	4689.76	4704.63	4656.15	4649.77	1669675.62	-22.86	-0.49	4587.492	4628.039	4667.824	1863514.22	2044131.04	2669225.56
2020-07-31	4652.18	4741.81	4695.05	4621.96	1848390.25	38.90	0.83	4625.384	4643.074	4681.597	1745381.87	2021594.50	2616402.29
2020-08-03	4735.90	4771.37	4771.31	4720.03	2147762.50	76.26	1.62	4673.956	4652.175	4686.658	1832093.27	1990301.82	2520879.91
2020-08-04	4778.49	4807.08	4775.80	4747.77	2399749.75	4.49	0.09	4715.464	4660.651	4690.541	1986506.22	2029861.14	2437863.12

605 rows × 13 columns

h_s['close'].plot(figsize=(10,6));

h_s['price_change'].plot(figsize=(10,6)).axhline(y=0,color='red');

h_s[['close','ma5','ma10','ma20']].plot(figsize=(10,6));

10.1.2.2 公司盈利能力分析

#获取本地2020年第1季度的盈利能力数据  
#p_d=ts.get_profit_data(2020,1); p_d.info() #在线获取2020年第1季度的盈利能力数据
p_d=pd.read_excel('data/tushare.xlsx','profit_data',index_col=0); p_d.info()  

<class 'pandas.core.frame.DataFrame'>
Int64Index: 3920 entries, 0 to 3919
Data columns (total 9 columns):
 #   Column             Non-Null Count  Dtype  
---  ------             --------------  -----  
 0   code               3920 non-null   int64  
 1   name               3920 non-null   object 
 2   roe                3881 non-null   float64
 3   net_profit_ratio   3914 non-null   float64
 4   gross_profit_rate  3888 non-null   float64
 5   net_profits        3920 non-null   float64
 6   eps                3664 non-null   float64
 7   business_income    3919 non-null   float64
 8   bips               3663 non-null   float64
dtypes: float64(7), int64(1), object(1)
memory usage: 306.2+ KB

p_d.columns=['代码','名称','净收益率','净利润率','毛利润率',
             '净利润额', '每股收益','营业收入','主营收入']
p_d['代码'] = p_d['代码'].astype(str) #强制代码列为字符串
p_d.head()

	代码	名称	净收益率	净利润率	毛利润率	净利润额	每股收益	营业收入	主营收入
0
0	2260	*ST德奥	58.16	68.55	20.6704	33.7153	NaN	49.1790	NaN
1	2069	獐子岛	52.87	0.93	8.7116	3.7139	0.0052	398.4875	0.5603
2	600961	株冶集团	40.07	1.21	4.6506	41.7089	0.0790	3422.5768	6.4888
3	2605	姚记科技	33.05	124.13	67.3586	663.4285	1.6588	534.4203	1.3362
4	2437	誉衡药业	30.17	113.35	67.9203	658.6003	NaN	581.0199	NaN

p_d.describe() #基本统计分析

	净收益率	净利润率	毛利润率	净利润额	每股收益	营业收入	主营收入
count	3881.000000	3914.000000	3888.000000	3920.000000	3664.000000	3919.000000	3663.000000
mean	-0.160925	-135.851091	27.095283	231.583835	0.071447	2737.076361	1.288017
std	24.390056	4323.334538	42.017779	2918.191181	0.270705	18093.421193	2.396955
min	-1304.670000	-183209.980000	-1588.817500	-19782.000000	-0.783000	0.000000	0.000000
25%	-0.590000	-4.027500	15.640475	-7.755225	-0.016900	127.088650	0.310550
50%	0.810000	3.970000	26.367100	14.218500	0.031800	333.993000	0.697500
75%	2.120000	12.267500	39.588375	63.354925	0.112125	1003.509400	1.386550
max	58.160000	858.670000	107.953300	84494.000000	10.423300	555502.000000	46.692000

p_d.corr()   #相关性分析

	净收益率	净利润率	毛利润率	净利润额	每股收益	营业收入	主营收入
净收益率	1.000000	0.015184	0.063490	0.018065	0.220348	0.009420	0.079012
净利润率	0.015184	1.000000	0.006839	0.004677	0.046043	0.005054	0.017930
毛利润率	0.063490	0.006839	1.000000	0.034764	0.195615	-0.021009	-0.061525
净利润额	0.018065	0.004677	0.034764	1.000000	0.156741	0.419270	0.048213
每股收益	0.220348	0.046043	0.195615	0.156741	1.000000	0.091409	0.339545
营业收入	0.009420	0.005054	-0.021009	0.419270	0.091409	1.000000	0.242651
主营收入	0.079012	0.017930	-0.061525	0.048213	0.339545	0.242651	1.000000

pd.plotting.scatter_matrix(p_d,figsize=(10,8));     #矩阵散点图

　10.1.3 Tushare数据的保存及扩展

10.1.3.1 Tushare数据的保存

#xlsx = pd.ExcelWriter('tushare.xlsx')
#s_b.to_excel(xlsx,'stock_basics')    #沪深上市公司的基本信息
#n_s.to_excel(xlsx,'new_stocks')      #新股发行数据
#h_s.to_excel(xlsx,'hist_data')       #沪深300近三年历史行情数据
#p_d.to_excel(xlsx,'profit_data')     #公司盈利能力数据
#xlsx.save()

10.1.3.2 Tushare平台的扩展

10.2 新浪财经数据的获取与分析

　10.2.1 国内生产总值的复制与分析

10.2.1.1 国内生产总值的复制与分析

from IPython.display import IFrame
IFrame("http://finance.sina.com.cn/mac",width=960,height=560)

import pandas as pd
#GDP=pd.read_clipboard(index_col=0);GDP 
GDP=pd.read_table('data/GDP.txt',index_col=0,encoding='GBK');GDP

	国内生产总值(亿元)	人均国内生产总值(元)
年份
2020	1015986.20	72000.00
2019	990865.11	70891.78
2018	919281.10	66005.70
2017	832035.90	60014.00
2016	746395.10	54139.00
2015	688858.20	50237.00
2014	643563.10	47173.00
2013	592963.20	43684.00
2012	538580.00	39874.00
2011	487940.20	36302.00

GDP.plot();

GDP.sort_index(inplace=True); GDP   #按年份排序

	国内生产总值(亿元)	人均国内生产总值(元)
年份
2011	487940.20	36302.00
2012	538580.00	39874.00
2013	592963.20	43684.00
2014	643563.10	47173.00
2015	688858.20	50237.00
2016	746395.10	54139.00
2017	832035.90	60014.00
2018	919281.10	66005.70
2019	990865.11	70891.78
2020	1015986.20	72000.00

import matplotlib.pyplot as plt            
plt.rcParams['font.sans-serif']=['SimHei'];  #中文字为黑体
GDP.plot(kind='bar',y=['国内生产总值(亿元)','人均国内生产总值(元)'],
         secondary_y=['人均国内生产总值(元)']);

from pyecharts.globals import CurrentConfig,NotebookType   #在NoteBook中设置pyecharts绘图
CurrentConfig.NOTEBOOK_TYPE = NotebookType.JUPYTER_LAB     #在Jupyterlab中显示pyecharts图
import pyecharts.options as opts                           #加载pyecharts全局参数
figsize=opts.InitOpts(width='600px',height='400px',bg_color='white') #设置图形大小和背景色 

from pyecharts.charts import Bar  #加载pyecharts绘制条图（Bar）函数
Bar().load_javascript()           #制图前需加载一次JavaScript函数！！

(Bar(figsize)
     .add_xaxis(list(GDP.index))
     .add_yaxis('国内生产总值(亿元)',list(GDP['国内生产总值(亿元)']))     
     .render_notebook()   
)

10.2.1.2 存贷款基准利率的走势分析

#Rate=pd.read_clipboard(index_col=0);Rate
Rate=pd.read_table('data/Rate.txt',index_col=0,encoding='GBK');Rate

	存款利率(%)	贷款利率(%)
调整时间
2015-10-24	1.50	4.35
2015-08-26	1.75	4.60
2015-06-28	2.00	4.85
2015-05-11	2.25	5.10
2015-03-01	2.50	5.35
2014-11-22	2.75	5.60
2012-07-06	3.00	6.00
2012-06-08	3.25	6.31
2011-07-07	3.50	6.56
2011-04-06	3.25	6.31
2011-02-09	3.00	6.06
2010-12-26	2.75	5.81

Rate.sort_index(inplace=True); Rate  #按日期排序

	存款利率(%)	贷款利率(%)
调整时间
2010-12-26	2.75	5.81
2011-02-09	3.00	6.06
2011-04-06	3.25	6.31
2011-07-07	3.50	6.56
2012-06-08	3.25	6.31
2012-07-06	3.00	6.00
2014-11-22	2.75	5.60
2015-03-01	2.50	5.35
2015-05-11	2.25	5.10
2015-06-28	2.00	4.85
2015-08-26	1.75	4.60
2015-10-24	1.50	4.35

from pyecharts.charts import Line  #加载pyecharts绘制线图（Line）函数
(Line(figsize)
     .add_xaxis(list(Rate.index))
     .add_yaxis('存款利率(%)',list(Rate['存款利率(%)']))
     .add_yaxis('贷款利率(%)',list(Rate['贷款利率(%)']))
     .render_notebook()
)

　10.2.2 板块行情数据的抓取与分析

10.2.2.1 次新股数据的复制方法

#new_stock=pd.read_clipboard(index_col=0);new_stock

10.2.2.2 次新股数据的基本分析

#new_stock.sort_values(by='涨跌额',ascending=False).head(10) #涨幅前十的新股

#new_stock.to_csv('new_stock.csv')                     #保存数据到csv表格中
#new_stock=pd.read_csv('new_stock.csv',index_col=0)   #从csv文档中读取数据

10.3 中商情报数据的可视化分析

　10.3.1 宏观经济数据爬取与分析

10.3.1.1 行政区划数据的抓取

import requests                                   #加载爬虫库
url='https://s.askci.com/data/year'               #综合数据之行政区划页
html = requests.get(url).content.decode('utf-8'); #获取网页信息
html[:10]                                        #显示网页信息，前300个字符

'\ufeff<!doctype'

#获取第1页表格数据：行政区划，依次类推 [0,1,2,3,4]
admin=pd.read_html(html,header=0,index_col=0)[0]; admin

	2018	2017	2016	2015	2014	2013	2012
指标
地级区划数(个)	333	334	334	334	333	333	333
地级市数(个)	293	294	293	291	288	286	285
县级区划数(个)	2851	2851	2851	2850	2854	2853	2852
市辖区数(个)	970	962	954	921	897	872	860
县级市数(个)	375	363	360	361	361	368	368
县数(个)	1335	1355	1366	1397	1425	1442	1453
自治县数(个)	117	117	117	117	117	117	117
乡镇级区划数(个)	39945	39888	39862	39789	40381	40497	40446
镇数(个)	21297	21116	20883	20515	20401	20117	19881
乡数(个)	10253	10529	10872	11315	12282	12812	13281
街道办事处(个)	8393	8241	8105	7957	7696	7566	7282

admin[:1].T.plot(kind='bar',ylim=[0,500]); #地级区划数图

10.3.1.2 国内生产总值数据的抓取

url='https://s.askci.com/data/year/a02/'   #国民经济核算之国内生产总值页
html = requests.get(url).content.decode('utf-8'); 
gdp=pd.read_html(html,header=0,index_col=0)[0]; gdp

	2018	2017	2016	2015	2014	2013	2012
指标
国民总收入(亿元)	896915.6	820099.5	737074.0	683390.5	642097.6	588141.2	537329.0
国内生产总值(亿元)	900309.5	820754.3	740060.8	685992.9	641280.6	592963.2	538580.0
第一产业增加值(亿元)	64734.0	62099.5	60139.2	57774.6	55626.3	53028.1	49084.5
第二产业增加值(亿元)	366000.9	332742.7	296547.7	282040.3	277571.8	261956.1	244643.3
第三产业增加值(亿元)	469574.6	425912.1	383373.9	346178.0	308082.5	277979.1	244852.2
人均国内生产总值(元)	64644.0	59201.0	53680.0	50028.0	47005.0	43684.0	39874.0

gdp[:2].T.plot(kind='bar'); #国民总收入和国内生产总值

　10.3.2 A股股票信息的爬取与分析

10.3.2.1 A股收益数据的抓取

import requests
url='https://s.askci.com/stock/a'  #A股信息
html = requests.get(url).content.decode('utf-8'); 

import pandas as pd
pd.read_html(html,header=0)[0] # 获取第1个表格数据：A股公司营业收入排行榜(2019年)

	排名	股票代码	企业简称	营业收入（亿元）
0	1	600028	中国石化	21059.84
1	2	601857	中国石油	19338.36
2	3	601668	中国建筑	16150.23
3	4	601318	中国平安	12183.15
4	5	601390	中国中铁	9714.05
5	6	601186	中国铁建	9103.25
6	7	601398	工商银行	8826.65
7	8	601628	中国人寿	8249.61
8	9	601939	建设银行	7558.58
9	10	600104	上汽集团	7230.43

#获取第2个表格数据：A股公司净利润排行榜(2019年)
pd.read_html(html,header=0)[1] 

	排名	股票代码	企业简称	净利润（亿元）
0	1	601398	工商银行	3176.85
1	2	601939	建设银行	2735.79
2	3	601288	农业银行	2164.00
3	4	601988	中国银行	2050.96
4	5	601318	中国平安	1593.59
5	6	600036	招商银行	979.59
6	7	601328	交通银行	795.70
7	8	601668	中国建筑	709.50
8	9	601166	兴业银行	676.81
9	10	601658	邮储银行	643.18

#获取第3个表格数据：A股公司利润总额排行榜(2019年)
pd.read_html(html,header=0)[2] 

	排名	股票代码	企业简称	利润总额（亿元）
0	1	601398	工商银行	3921.26
1	2	601939	建设银行	3366.16
2	3	601288	农业银行	2650.50
3	4	601988	中国银行	2463.78
4	5	601318	中国平安	1877.64
5	6	600036	招商银行	1224.40
6	7	601668	中国建筑	942.91
7	8	601328	交通银行	864.25
8	9	2	万科A	796.76
9	10	601166	兴业银行	766.37

10.3.2.2 A股股票信息的爬取

# 构建获取当前页的第4个表格数据的函数，其中i表示第i页，即取pageNum=i,以此类推！
def get_stock(i): 
    url='https://s.askci.com/stock/a/0-0?reportTime=2020-03-31&pageNum=' 
    html = requests.get(url+str(i)).content.decode('utf-8'); 
    data=pd.read_html(html,header=0)[3] 
    return data

stock1=get_stock(1);stock1      #第1页A股信息

	序号	股票代码	股票简称	公司名称	省份	城市	主营业务收入(202003)	净利润(202003)	员工人数	上市日期	招股书	公司财报	行业分类	产品类型	主营业务
0	1	1	平安银行	平安银行股份有限公司	广东	深圳市	379.26亿	85.48亿	36115	1991-04-03	--	NaN	银行	商业银行业务	经有关监管机构批准的各项商业银行业务
1	2	2	万科A	万科企业股份有限公司	广东	深圳市	477.74亿	24.30亿	140565	1991-01-29	--	NaN	房地产开发	房地产、物业管理、投资咨询	房地产开发和物业服务。
2	3	4	国华网安	深圳国华网安科技股份有限公司	广东	深圳市	2325.30万	357.53万	264	1991-01-14	--	NaN	生物医药	移动应用安全服务、移动互联网游戏	移动应用安全服务业务。
3	4	5	ST星源	深圳世纪星源股份有限公司	广东	深圳市	4570.29万	-2235.80万	629	1990-12-10	--	NaN	环保工程、物业管理	酒店经营、物业管理、环保业务	绿色低碳城市社区建设相关的服务业务
4	5	6	深振业A	深圳市振业(集团)股份有限公司	广东	深圳市	6.52亿	1.41亿	397	1992-04-27	--	NaN	房地产开发	房地产	从事房地产开发与销售。
5	6	7	*ST全新	深圳市全新好股份有限公司	广东	深圳市	876.49万	-2281.79万	76	1992-04-13	--	NaN	物业经营	物业管理及停车费、房屋租赁、一次性口罩、纳米胶囊、杀菌纸巾	物业管理和房屋租赁业等
6	7	8	神州高铁	神州高铁技术股份有限公司	北京	北京市	1.19亿	-1.08亿	2394	1992-05-07	--	NaN	轨道交通设备	轨道交通	专业致力于提供轨道交通运营检修装备与数据、线路运营、维保服务。
7	8	9	中国宝安	中国宝安集团股份有限公司	广东	深圳市	16.28亿	1.14亿	13345	1991-06-25	--	NaN	综合	高新技术产业、生物医药、房地产	新能源、新材料及其它高新技术产业、生物医药业、房地产业以及其他行业
8	9	10	美丽生态	深圳美丽生态股份有限公司	广东	深圳市	7026.79万	-1174.96万	278	1995-10-27	--	NaN	园林工程	燃气销售服务、园林建设、园林设计、苗木销售	从事苗木种植、园林绿化工程施工和养护为一体的综合性园林服务。
9	10	11	深物业A	深圳市物业发展(集团)股份有限公司	广东	深圳市	8.62亿	1.28亿	8035	1992-03-30	--	NaN	房地产开发	产城空间开发、物业管理服务、产业生态运营、餐饮业务、工程监理业务	从事房地产开发经营，兼营物业管理、房屋租赁、出租车客运、餐饮服务等。
10	11	12	南玻A	中国南玻集团股份有限公司	广东	深圳市	17.34亿	1.12亿	10558	1992-02-28	--	NaN	玻璃	玻璃业务、电子玻璃及显示器件业务、太阳能及其他业务	研发、生产制造和销售优质浮法玻璃和工程玻璃、太阳能玻璃和硅材料、光伏电池和组件等可再生能源产...
11	12	14	沙河股份	沙河实业股份有限公司	广东	深圳市	8687.30万	983.82万	153	1992-06-02	--	NaN	房地产开发	房地产销售	从事房地产开发与经营、现代服务型产业用房运营与管理。
12	13	16	深康佳A	康佳集团股份有限公司	广东	深圳市	78.07亿	-2.74亿	17216	1992-03-27	--	NaN	电视机	工贸业务、彩电业务、环保业务、白电业务、半导体业务	消费类电子业务、工贸业务、环保业务、半导体业务。
13	14	17	深中华A	深圳中华自行车(集团)股份有限公司	广东	深圳市	743.44万	-73.30万	65	1992-03-31	--	NaN	自行车	自行车及零配件销售、锂电池材料、珠宝黄金	自行车及锂电池材料业务、珠宝黄金业务。
14	15	19	深粮控股	深圳市深粮控股股份有限公司	广东	深圳市	16.94亿	8628.35万	1246	1992-10-12	--	NaN	软饮料	食品和饮料及茶加工、粮油贸易及加工、粮油仓储物流及服务	批发零售业务、食品加工制造业务、租赁及商务服务业务。
15	16	20	深华发A	深圳中恒华发股份有限公司	广东	深圳市	8780.06万	-40.07万	1132	1992-04-28	--	NaN	电子零部件	显示器、注塑件、EPS产品、物业租赁、废料收入、水电费及其他	精密注塑件的加工、销售;液晶显示器的加工、销售;轻型包装材料的加工、销售以及物业租赁业务。
16	17	21	深科技	深圳长城开发科技股份有限公司	广东	深圳市	33.23亿	1.04亿	27051	1994-02-02	--	NaN	PC、服务器及硬件	存储半导体业务、自有产品、高端制造	计算机硬件、通讯设备等。
17	18	23	深天地A	深圳市天地(集团)股份有限公司	广东	深圳市	1.67亿	-1308.50万	984	1993-04-29	--	NaN	商品混凝土	房地产、工业、租赁	商品混凝土的生产和销售、房地产的开发及物业管理等。
18	19	25	特力A	深圳市特力(集团)股份有限公司	广东	深圳市	8552.04万	496.65万	302	1993-06-21	--	NaN	汽车销售	汽车销售、汽车维修及检测、珠宝批发及零售、物业租赁及服务	汽车销售、汽车检测、维修及配件销售；资源性资产管理；珠宝服务业务。
19	20	26	飞亚达	飞亚达精密科技股份有限公司	广东	深圳市	5.88亿	-1297.48万	4901	1993-06-03	--	NaN	珠宝首饰	手表品牌业务、手表零售服务业务、精密科技业务、租赁业务	主要从事钟表及其零配件的设计、开发、制造、销售和维修业务，包括"飞亚达"表的产品经营和世界名...

stock1.to_csv('A股信息1.csv',index=False, encoding='utf-8') #保存第1页A股信息

stock = get_stock(1)    #获取第1页数据
for i in range(2,5):   #获取2到5页数据,共有202页数据，全部爬取需长时间
    stock = pd.concat([stock,get_stock(i)])   #拼接表格数据
stock

	序号	股票代码	股票简称	公司名称	省份	城市	主营业务收入(202003)	净利润(202003)	员工人数	上市日期	招股书	公司财报	行业分类	产品类型	主营业务
0	1	1	平安银行	平安银行股份有限公司	广东	深圳市	379.26亿	85.48亿	36115	1991-04-03	--	NaN	银行	商业银行业务	经有关监管机构批准的各项商业银行业务
1	2	2	万科A	万科企业股份有限公司	广东	深圳市	477.74亿	24.30亿	140565	1991-01-29	--	NaN	房地产开发	房地产、物业管理、投资咨询	房地产开发和物业服务。
2	3	4	国华网安	深圳国华网安科技股份有限公司	广东	深圳市	2325.30万	357.53万	264	1991-01-14	--	NaN	生物医药	移动应用安全服务、移动互联网游戏	移动应用安全服务业务。
3	4	5	ST星源	深圳世纪星源股份有限公司	广东	深圳市	4570.29万	-2235.80万	629	1990-12-10	--	NaN	环保工程、物业管理	酒店经营、物业管理、环保业务	绿色低碳城市社区建设相关的服务业务
4	5	6	深振业A	深圳市振业(集团)股份有限公司	广东	深圳市	6.52亿	1.41亿	397	1992-04-27	--	NaN	房地产开发	房地产	从事房地产开发与销售。
...	...	...	...	...	...	...	...	...	...	...	...	...	...	...	...
15	76	404	长虹华意	长虹华意压缩机股份有限公司	江西	景德镇市	20.96亿	2571.95万	7788	1996-06-19	--	NaN	压缩机	压缩机 、原材料及配件、智能扫地机 、电池	冰箱压缩机、商用压缩机的研发、生产和销售。
16	77	407	胜利股份	山东胜利股份有限公司	山东	济南市	8.63亿	2883.14万	2071	1996-07-03	--	NaN	燃气	天然气终端销售、天然气贸易、管道制造、油品贸易	清洁能源天然气业务推广和应用。
17	78	408	藏格控股	藏格控股股份有限公司	青海	海西蒙古族藏族自治州	2.72亿	-2.69亿	1603	1996-06-28	--	NaN	钾肥	生产农用复合肥料、贸易业务	钾肥(氯化钾)的生产和销售。
18	79	409	云鼎科技	云鼎科技股份有限公司	山东	济南市	6.03亿	-1501.08万	381	1996-06-27	--	NaN	综合	黄金、生物制药、特种轮胎、专利技术实施、中药材加工零售、商业贸易	信息化技术服务和煤气化技术推广业务。
19	80	410	ST沈机	沈阳机床股份有限公司	辽宁	沈阳市	2.06亿	-2.28亿	4597	1996-07-18	--	NaN	机床设备	机床、机床配套	金属切削机床制造。

80 rows × 15 columns

#stock.to_csv('上市公司信息.csv', index=False, encoding='utf-8')