《面板数据模型》PPT课件.ppt

第11章 面板数据模型,一、面板数据模型简介二、混合最小二乘回归三、固定效应模型四、随机效应模型五、模型设定检验六、动态面板数据模型,一、面板数据模型简介,（一）何谓“面板数据(panel data)”？时间维度+截面维度如在分析中国各省份经济增长的决定因素时，共有31个截面，每个截面都取1979-2008共30年的数据，则共有930个观察值，这就是一个典型的面板数据。上市公司财务数据，研究一段时期内（1998-2008）20家上市公司股利的发放数额与股票账面价值之间的关系，共有20 11=220个观测值。,表1 1996-2002年中国15个省的居民家庭人均消费数据（不变价格）,表2 上市公司的投资与股票账面价值,（二）面板数据模型的优点,面板数据模型（panel data model），即研究和分析面板数据的模型。它的变量取值都带有时间序列和横截面的两重性。一般线性模型只单独处理横截面数据或时间序列数据，而不能同时分析和对比它们。面板数据模型，相对于一般的线性回归模型，其长处在于它既考虑到了横截面数据存在的共性，又能分析模型中横截面因素的个体特殊效应。当然我们也可以将横截面数据简单堆积起来用OLS回归模型来处理，但这样做就丧失了分析个体特殊效应的机会。,面板数据模型的优点,第一，Panel Data Model通过对不同横截面单元不同时间观察值的结合，增加了自由度，减少了解释变量之间的共线性，从而得到更为有效的估计量；第二，Panel Data Model是对同一截面单元集的重复观察，能更好地研究经济行为变化的动态性；第三，Panel Data Model可以通过设置虚拟变量对个别差异（非观测效应）进行控制；即面板数据模型可以用来有效处理遗漏变量（omitted varaiable）的模型错误设定问题。,遗漏变量,使用面板数据的一个主要原因是，面板数据可以用来处理某些遗漏变量问题。例如，遗漏变量是不随时间而变化的表示个体异质性的一些变量，如国家的初始技术效率、城市的历史或个人的一些特征等。这些不可观测的不随时间变化的变量往往和模型的解释变量相关，从而产生内生性，导致OLS估计量有偏且不一致。面板数据对遗漏变量问题的解决得益于面板数据对同一个个体的重复观测。,何谓“非观测效应”？,非观测效应(unobserved effect)，是指在面板数据分析中，一个不可观测的、因截面个体而异、但不随时间变化的变量。非观测效应通常被解释为对截面个体特征的捕捉。比如研究：“交通死亡率与酒后驾车人数的关系”（样本为一段时间内浙江省11个地级市）非观测因素：汽车本身状况、道路质量、当地的饮酒文化、单位道路的车辆密度。非观测效应的存在导致OLS估计结果不准确，而面板数据可以控制和估计非观测效应。,（三）面板数据描述的Stata操作,（1）设定截面变量和时间变量tsset panelvar timevar（2）描述性统计sum var1 var2 可得到变量的基本统计量xtsum var1 var2 分组内(within)、组间(between)和样本整体(overall)计算各变量的基本统计量,（四）面板数据模型的一般描述,面板数据模型的一般描述(续1),面板数据模型的一般描述(续2),面板数据模型的一般描述(续3),（五）面板数据的估计方法,1、混合最小二乘回归（pooled OLS）2、固定效应模型（fixed effects model）3、随机效应模型（random effects model）4、动态面板模型（dynamic panel data）,二、混合普通最小二乘回归,Wooldridge第13章使用混合横截面数据（pooled cross section，将混合在一起的数据看作是横截面数据）的一个理由是要加大样本容量，把在不同时点从同一总体中抽取的多个随机样本混合起来，可以获得更精密的估计量和更有效的检验统计量。回归所得截距项在不同时期可以有不同的值。可以进行带有时期(年份)虚拟变量多元线性回归。,例1：不同时期的妇女生育率FERTIL1.RAW1972年和1984年社会总调查（General Social Survey）,例2：教育回报和工资中性别差异的变化,跨越1978年（基年）和1985年两期的一个混合对数工资方程。CP78-85.RAW。,两时期面板数据分析,比如有关个人、企业或城市、国家的横截面，现有两年的数据，称之为t=1，t=2。CRIME2.RAW包含1982和1987年若干城市的犯罪和失业的数据。如果用1987年为横截面数据做回归，得到可以得出增加失业率会降低犯罪率的结论吗？,两时期面板数据分析(续1),上述回归很可能存在遗漏变量问题。一个解决办法是，控制住更多的因素，如年龄、性别、教育、执法水平等。另一种方法是，把影响因变量的观测不到的因素分为两类：一类是恒常不变的；另一类则随时间而变。d2t表示当t=1时等于0而当t=2时等于1的一个虚拟变量，它不随i而变。ai概括了影响yit的全部观测不到的、在时间上恒定的因素，通常称作非观测效应，也称为固定效应，即ai在时间上是固定的。特质误差uit表示随时间变化的那些非观测因素。,两时期面板数据分析(续2),前述1982和1987年城市犯罪率的一个非观测效应模型是：ai代表了影响城市犯罪率的、不随时间而变的全部因素，诸如城市的地理位置、居民的某些人口特征（种族、教育）、城市居民对待犯罪的态度等。给定两年的面板数据，如何估计1？,两时期面板数据分析(续3),一种方法，将两年的数据混合起来，然后用OLS。为使混合OLS得到1的一致估计，就必须假定非观测效应ai与xit 不相关。其中，称为复合误差(composite error)。这一结果与1987年数据的横截面OLS回归结果不一样。注意，使用混合OLS并不解决遗漏变量问题。,两时期面板数据分析(续4),另一种方法，考虑了非观测效应与解释变量相关性。（面板数据模型主要就是为了考虑非观测效应与解释变量相关性的情形）例如在犯罪方程中，让ai中的未测出的却影响着犯罪率的因素也与失业率相关。处理方法就是一阶差分（first-differenced）。非观测效应被差分掉了，方程已满足OLS假定。,两时期面板数据分析(续5),上述犯罪率模型用一阶差分方程估计结果：差分后的估计结果与前面不同。,三、固定效应估计法,取一阶差分仅是消除固定效应ai的许多方法之一。更好的方法是固定效应变换。考虑仅有一个解释变量的模型：对每个i求方程在时间上的平均，得到两式相减，得到(是y的除去时间均值后的数据),固定效应估计量,固定效应变换，又称“组内变换(within transformation)”，非观测效应ai已随之消失，可以用混合OLS进行估计。基于除去时间均值变量的混合OLS估计量就是固定效应估计量(fixed effected estimator)或组内估计量(within estimator)。固定效应估计量=组内估计量,组间估计量,对横截面方程使用OLS估计时，就得到了组间估计量(between estimator)。,3个决定系数R2,面板数据模型回归结果可得到3个决定系数：R2(overall)，表示混合OLS(pooled OLS)回归的R2R2(within)，表示组内估计(或固定效应变换)的R2R2(between)，表示组间估计的R2,虚拟变量回归,固定效应模型也可以理解为，每一个横截面个体i都有自己不随时间变化的非观测效应ai。在估计时，可以为每一个i安排一个虚拟变量，得到各自的截距项，这就是虚拟变量回归(dummy variable regression)。,固定效应模型的虚拟变量回归,其中，i=1,2,3.N，为截面标示；t=1,2,.T，为时间标示；xit为k1解释变量，为k1系数列向量。对于特定的个体i 而言，ai表示那些不随时间改变的影响因素，而这些因素在多数情况下都是无法直接观测或难以量化的，称为“个体效应”(individual effects)。在固定效应模型中，解释变量的参数 对各经济主体都相同，属于共同部分，所以不同经济主体的差异完全体现在常数项参数ai的取值上。,图示,GDP,X(Invest、edu),北京,江苏省,山西省,基础设施更加完善，受教育程度较好、经济结构以服务业为主、法制更健全,固定效应模型的虚拟变量回归,1代表元素都为1的n维列向量。进一步，可以将与常数项参数ai相关的mnm维矩阵写成D，而将不包含常数项参数相关的mnk维矩阵写成X，则面板数据的固定效应模型又可以更简洁地表示为：由于上式的矩阵D的列向量可以理解为代表第i个经济主体的虚拟变量，通常也可将固定效应模型称为最小二乘虚拟变量模型(Least squares dummy variable model,LSDV)。,固定效应模型的虚拟变量回归,固定效应模型的Stata操作,（1）设定截面变量和时间变量tsset panelvar timevar（2）固定效应模型估计xtreg y x1 x2 x3,fe（3）导出固定效应回归的个体截距项predictv,ugen c=v+_b_cons 或者，直接进行LSDV估计xtreg y x1 x2 x3 i.panelvar,固定效应VS一阶差分,固定效应,固定效应VS一阶差分,一阶差分,四、随机效应模型,假定一个非观测效应模型为：固定效应法和一阶差分法的目的都是要把ai消去，因为ai被认为是与xitj中的一个或多个相关。但是，假如ai与任何一个解释变量在任何时期都不相关，那么通过变化把ai消去就会导致低效的估计量。如果假定非观测效应ai与每一个解释变量都不相关则上述模型就是一个随机效应(random effects)模型。,如何估计,如果我们相信ai与解释变量不相关，则可用单一横截面回归(pooled OLS)得到的一致估计，根本不需要面板数据！但是使用单一横截面显然忽视了其他时期许多有用的信息。实际上，混合OLS回归通常是有偏误的。定义复合误差项，则有由于ai在每个时期都是复合误差项的一部分，vit在不同时间上就应是时序相关的。,如何估计(续1),因为，所以，必须用GLS变换以消去误差项中的时序相关。,如何估计(续2),方程定义变换方程为：固定效应估计量是从相应的变量减去时间平均，而随机效应变换只减去其时间平均的一个分数，这个分数依赖于 和时期的个数T。,随机效应估计量的矩阵表达,复合误差项的方差协方差矩阵为随机效应估计量为：,四种估计方法之比较,这里的，即为前面的。,四种估计方法之比较(续),当=0，得到混合OLS估计量；当=1，得到固定效应估计量；如果接近于0，随机效应估计量就会接近混合OLS估计量；如果接近于1，随机效应估计量就会接近固定效应估计量。当T很大时，趋于1，随机效应估计量与固定效应估计量非常相似。,求theta,随机效应模型的Stata操作,（1）设定截面变量和时间变量tsset panelvar timevar（2）随机效应模型估计xtreg y x1 x2 x3,re（3）得到(或,theta)的值xtreg y x1 x2 x3,re theta,随机效应模型是否优于混合OLS,在STATA中实施随机效应回归之后，使用xttest0，可以检验随机效应模型是否优于混合OLS 模型。本例中，P 值为0.0000，表明RE优于混合OLS。,五、模型设定检验,在实证分析中，选择固定效应模型还是随机效应模型，一般通过Hausman检验来判断。随机效应模型把个体效应ai设定为随机扰动项的一部分，所以就要求解释变量与个体效应ai不相关，而固定效应模型并不需要这个假设条件。因此，可以通过检验该假设条件是否满足，来选择模型。如果满足，那么就应该采用随机效应模型，反之，就需要采用固定效应模型。,Hausman检验的原理,Hausman(1978)提出了一种基于随机效应估计量和固定效应估计量之间差异的检验。Hausman检验的基本思想是：在个体效应ai和其他解释变量不相关的原假设下，二者的参数估计应该不会有系统的差异。如果拒绝了原假设，则认为ai与解释变量出现了相关，此时固定效应模型是一致的，而随机效应模型是非一致的，我们就应该选择固定效应模型。,关于Hausman检验的说明,Hausman统计量为：H=(b-B)Var(b)-Var(B)-1(b-B)x2(k)b为固定效应估计结果，B为随机效应估计结果。Hausman统计量服从自由度为k的卡方分布。当H大于一定显著水平的临界值时，我们就认为模型中存在固定效应，从而选用固定效应模型，否则选用随机效应模型。如果Hausman检验值为负，说明的模型设定有问题，导致Hausman 检验的基本假设得不到满足，比如存在遗漏变量的问题，或者某些变量是非平稳等等。此时应改用hausman检验的其他形式：hausman fe,sigmaless,Hausman检验在Stata中的操作,第一步：估计固定效应模型，存储结果xtreg y x1 x2 x3.,fe estimates store fixed第二步：估计随机效应模型，存储结果xtreg y x1 x2 x3.,reestimates store random第三步：进行hausman检验hausman fixed random,面板数据的Stata操作实例,(1)随机效应模型,首先采用随机效应方法来估计模型。数据集中有135个公司的3年数据，所以有405个样本观测值。但由于有缺失数据，最后得到的观测值为390个。在STATA中输入：use JTRAINtsset fcode yearxtreg hrsemp d88 d89 grant grant_1 lemploy,re,随机效应估计结果,随机效应估计结果分析,职业培训补助金（grant），其估计系数为33.52，且标准差比较小，估计量在统计上非常显著。因此，如果公司在当年得到补助金，与没有得到补助金相比，在其他条件不变下，公司会给其职员更多的（平均）培训时间33.52小时，这是很大的效果。而上一年的职业培训补助金是不显著的，说明职业培训补助金没有滞后作用。大公司是否比小公司提供更多的职业培训，从上述回归结果看：如果职员数量增加10%，每个职员的培训时间大约减少0.422小时，此结果统计上显著。,随机效应还是混合OLS,在随机效应回归后，输入xttest0，可得表明，随机效应模型优于混合OLS 模型。,随机效应回归的序列相关检验,在随机效应回归后，输入xttest1，可得,检验结果表明，存在随机效应和序列相关，而且，对随机效应和序列相关的联合检验也非常显著。,STATA命令下载安装,在STATA中，有些命令需要下载安装后才能使用，比如本例中的xttest1。在STATA命令栏中输入search xttest1,net按照提示下载并安装，然后才能使用。该方法也适用于其他命令,如xttest2,xttest3,xtserial,等等。,(2)固定效应模型,然后采用固定效应方法来估计模型。观测值与前述相同。在STATA中输入：use JTRAINtsset fcode yearxtreg hrsemp d88 d89 grant grant_1 lemploy,fe,固定效应估计结果,固定效应估计结果分析,与随机效应估计相比，结果相差不大，仅ln(employ)的回归系数有所变化，由统计意义上的显著变为不显著。我们想了解的是大公司是否比小公司提供更多的职业培训，从上面回归结果中无法得到下面这个结论：如果职员数量增加10%，每个职员的培训时间大约减少0.176小时，因为估计结果在统计上非常不显著。,固定效应回归的异方差检验,在固定效应回归之后，输入xttest3，检验截面的异方差。本例中，检验结果意味着截面间存在异方差。,固定效应回归的序列相关检验,xtserial y x1 x2 x3本例的检验结果是意味着，误差项不存在一阶自相关。考虑到数据仅3年，这一结果是合理的。,(3)固定效应or随机效应,最后，我们在固定效应模型和随机效应模型中进行选择Hausman检验。如果检验统计量的P值不显著，用随机效应模型比较安全；而如果P值显著，则固定效应模型会更为合理。其STATA命令为：xtreg hrsemp d88 d89 grant grant_1 lemploy,feestimates store fixedxtreg hrsemp d88 d89 grant grant_1 lemploy,feestimates store randomhausman fixed random,Hausman检验结果,检验结果的P值为0.6366，不显著，所以我们最后选择随机效应模型。,P值在10%以下，选择固定效应,固定效应模型估计说明,固定效应模型中个体效应和随机干扰项的方差估计值分别为sigma_u 和sigma_e，二者之间的相关关系为rho。最后一行给出了检验固定效应u_i是否显著的F统计量和相应的P值（联合显著性检验，原假设：所有u_i都等于0），本例中固定效应非常显著。,六、动态面板数据模型,很多经济关系本质上具有动态性，面板数据的优势之一就是它有助于更好地理解动态调整过程。如Acemoglu等(2005)关于民主与教育之间动态关系的研究中(From Education to Democracy？)，就用到了动态面板数据模型。论文旨在反驳Lipset(1959)的现代化理论，后者认为，教育多半可以开阔人的视野，使他能理解宽容准则的必要性，阻止他皈依极端主义学说，提高他在选举时作出合理选择的能力，也就是说，教育能够促进民主。作者用1965-2000年5年间隔的面板数据回归发现，教育对民主没有显著的效应。,动态面板数据模型的一般形式,动态面板数据模型的一般形式：在(1)式中，ui为非观测截面个体效应。模型中含有滞后被解释变量，给估计带来难题。由于yit是ui的函数，显然yi,t-1也是ui的函数，因此(1)式右侧的回归解释变量yi,t-1就与误差项(ui+it)相关。此时，采用混合OLS，估计量是有偏且不一致。采取固定效应(FE)，组内变换后，仍无法解决内生性问题，结果同样是有偏且不一致。采取随机效应(RE)，结果也一样。,(1),1、差分GMM(DIF-GMM),Arellano和Bond(1991)提出了DIF-GMM估计方法，通过对(1)式进行差分，消除未观测到的截面个体效应ui。由(1)式知，yit-1是it-1的函数，因此(2)式中的 与 是相关的。在估计(2)式时，就需引入 的工具变量。,(2),DIF-GMM估计中的工具变量,从第3期开始，需要为yit-1设定工具变量。在DIF-GMM估计中，yit-1的工具变量是这样设定的：在第3期，yi1是yi2的工具变量，因为它与(yi2-yi1)高度相关，而与(i3-i2)无关；在第4期，yi1和yi2是yi3的工具变量；在第5期，yi1、yi2和yi3是yi4的工具变量；依次类推。外生解释变量同样作为工具变量。,DIF-GMM在stata中的操作,1、估计。在设定面板数据完毕后，输入xtabond y x1 x2 x32、检验。（1）过度识别约束检验（检验工具变量是否有效）estat sargan（2）检验误差项的序列相关(通常在做两步Arellano和Bond估计之后才能进行)estat abond,2、系统GMM(SYS-GMM),DIF-GMM存在着一些缺陷。比如，差分时，不仅消除了非观测截面个体效应，而且也消除了不随时间变化的其他变量。还有，DIF-GMM没有利用所有可用的矩条件，因而这种工具变量法可以得到模型参数的一致估计量，但很多时候并非有效估计量（方差最小）。Arellano和Bover(1995)以及Blundell和Bond(1998)在DIF-GMM估计的基础上，引入被解释变量差分的滞后项与随机误差项正交这个矩条件，得到SYS-GMM（系统GMM）。参见Baltagi-Econometric Analysis of Panel Data,SYS-GMM在stata中的操作,在对面板数据进行设定之后，输入xtdpdsys y x1 x2 x3过度识别约束检验estat sargan,面板数据模型的Stata操作,首先对面板数据进行声明：前面是截面单元，后面是时间标识：tsset company yeartsset industry year产生新的变量：gen newvar=human*lnrd产生滞后变量：gen fiscal(2)=L2.fiscal产生差分变量：gen fiscal(D)=D.fiscal,描述性统计,xtdes：对Panel Data截面个数、时间跨度的整体描述xtsum：分组内、组间和样本整体计算各个变量的基本统计量xttab 采用列表的方式显示某个变量的分布,回归xtreg,Stata中用于估计面板模型的主要命令：xtregxtreg depvar varlist if exp,model_type level(#)简单总结：xtreg y x1 x2 x3.,fe estimates store fixedxtreg y x1 x2 x3.,reestimates store randomhausman fixed random,模型 Model type,be Between-effects estimatorfe Fixed-effects estimatorre GLS Random-effects estimatorpa GEE population-averaged estimatormle Maximum-likelihood Random-effects estimator,主要估计方法,xtreg：Fixed-,between-and random-effects,and population-averaged linear modelsxtregar：Fixed-and random-effects linear models with an AR(1)disturbancextpcse：OLS or Prais-Winsten models with panel-corrected standard errorsxtrchh：Hildreth-Houck random coefficients modelsxtivreg：Instrumental variables and two-stage least squares for panel-data models,xtabond：Arellano-Bond linear,dynamic panel data estimatorxttobit：Random-effects tobit modelsxtlogit：Fixed-effects,random-effects,population-averaged logit modelsxtprobit：Random-effects and population-averaged probit modelsxtfrontier：Stochastic frontier models for panel-dataxtrc gdp invest culture edu sci health social admin,beta,固定效应模型de检验,对于固定效应模型的异方差检验和序列相关检验：序列相关检验：xtserial y x1 x2 x3 x4异方差检验：xtreg y x1 x2 x3 x4,fexttest3(Modified Wald statistic for groupwise heteroskedasticity in fixed effect model),随机效应模型de检验,随机效应模型的序列相关检验：xtreg y x1 x2 x3 x4,rexttest1xttest1用于检验随机效应(单尾和双尾)、一阶序列相关以及两者的联合显著性。,修正,可以使用广义线性模型xtgls对异方差和序列相关进行修正：xtgls y x1 x2 x3 x4(hetero)，修正异方差xtgls y x1 x2 x3 x4,panels(correlated)，修正依横截面而变化的异方差xtgls y x1 x2 x3 x4,panels(hetero)corr(ar1)，修正异方差和一阶序列相关ar(1),变系数模型,面板数据变系数模型应用价值不大。在变系数模型的估计中，一种方法是对每一个截面个体进行“分别回归”。更有效率的做法是，把所有个体回归方程叠放在一起(stack)，然后使用SUR(似不相关回归)对整个方程系统进行“系统回归”另一种方法称为“随机系数模型”，用FGLS进行估计，即利用OLS残差来估计协方差矩阵的参数，然后再使用GLS。STATA命令是：xtrc y x1 x2 x3,betas(选择项betas表示，显示对每组系数的估计值),