定量分析：理论、概念与测量

本周主题为假说与定量分析，关注定量方法中存在的概念界定/交叉/内在逻辑不一致、理论基础（全面/片面）、变量测量（类别、定距、定序、定比）、数据来源（包括数据库及数据库组合）、因素+机制（有些仍旧不强调机制）、多种研究方法共同使用（定量+定性）等问题。我按照论文发表时间顺序进行阅读，试图看看：1. 自Kurtz & Schrank 2007以来定量文章有何转变/进步（文章数量少，会有偏颇，但也能反映一些）？2. 学者们慢慢意识到了定量研究中哪些严重的问题（概念、测量、数据库合并使用）？3. 从实证角度，学者对族群冲突定量研究（从Wimmer et al 2009到Li & Tang 2017） 的发展特征、方向及新意。

一、Kurtz & Schrank 2007：对于非常难测量的概念，我们应该怎么办？

1. 研究问题：

Good governance (quality of public administration) 与economic development的因果关系：which factor is the independent factor? Is there any unmeasured, omitted variable? Cross-nation valid empirical test?

2. 既有研究不足：

因果关系界定上，学界普遍认为 “good governance is in all likelihood a consequence, rather than a cause, of economic growth”，但这与部分定性研究结论不符(Kang 2002, Glaser and Shleifer 2001)，他们并未区分经济发展/善治是否是内生性变量，或有其他因素影响。

在测量指标上，不能客观反映quality of public administration (KKM 2003 & 2005)：

Conception bias

Corresponding tendency to embed policy preferences within concept

具体：governance本身包含了经济发展程度的差别

Sample bias

Sample a very unrepresentative group of firms, like systematically censor the opinions of former investors who did not succeed in the marketplace.

Perception bias

Different people in different countries has different definitions and opinions of corruption.

Adverse selection

Colored by recent economic performance

Systematic bias based on policy preferences of vested interests.

Indicator inaccuracy

Six indicators cannot reflect the governance quality preciously

Alternative indicator

Public policy alternative rather than public quality per se, like public or quasi-public goods like infrastructure and schools.

3. 检验/修正尝试

•先进行简单的区分效度和聚合效度检验，进一步确认KKM data set的效度问题

•从纵向时间线检验：KKM measure itself must itself predict future growth （检验出来发现不行）

•继续检验可能的遗漏变量：investment level与human capital stock

•控制变量：inertial effects of growth

4. 给我的启示

•难以测量的概念少碰

•不盲目迷信大牛数据库。即使有大牛声称自己测量出了一些概念，但要记住data set可能存在很大的问题。”Although for we are at beginning of out effort to unpack the complicated relationship between growth and governance, data and conclusions found on the (even) World Bank site are at best partial and at worst misleading.”

•基于数据提出政策建议的时候，想想数据的可信度。“potential flawed indicators of governance quality are being utilized by policy makers to condition development aid and shape development efforts. But until we know more about what is (and it not) malgovernance, and the process by which it can be cured, such conditionality may do more harm than good”. p. 552.

•即使这篇文章的标题中有机制一词（Models, Measures, and Mechanisms），但实际上对机制的理解完全是中间变量。如今，十年过去，社会科学界对机制的强调与理解已截然不同。

二、Ahram 2011: Concept misformation and conceptual stretching in MMR

Ahram 2011 写作时，社会科学界（至少是有影响力的学者）已对KKV的评价、定性定量之争与方法论达成基本一致：定性定量无高下之分，如果能从研究问题出发，或将两者结合起来甚好。基于此，Ahram意识到，MMR具体运用中存在两大问题：概念建立与发展、测量方法内部逻辑不一致导致定性定量研究在实际操作层面不可通约、或虚假通约：mechanism muddling and conceptual slipping. 具体而言，两大问题中包含一些小问题：定类/定距/定序/定比层次不同导致测量差异；概念不同层次/方面/类别/本体论的不同导致研究对象实际不一致。

有四点思考：

第一，conceptual misformation不仅存在于MMR中，同时也存在于单独的定性/定量研究、比较研究、范式之争中。例如，关于“全球治理”概念的讨论，部分学者从“国家社会关系”出发，研究公民群体的反抗；部分学者从“政府市场关系”理解，提倡私有化、自由化、放松政府管制为特征的“去政府化”运动；还有学者认为全球治理代表一种民主价值体系。如果我们不去理解各个学者的出发点，那么我们所有基于“全球治理”的讨论就是鸡同鸭讲、不可通约；这也是我认为Kertzer 2011真正闪光的点。

第二，定性定量研究的张力(trade-off)是一直存在的，这种思考问题的逻辑与cross-case/within case、depth/ breath、stretching/straining、standardization/flexibility一样的。所以我们要做的绝非排斥两者，而是leverage such a multidimensional account to increase validity and multi-dimensional causal account.

第三，mechanism一定比factor更广泛吗？下图中（p. 4），mechanism仅存在于Xd与Yd中而非Xq与Xy中（也有可能mechanism还没被发现）。显然，从面积来看，mechanism（中下部分）的面积宣传小于Xq & Yq。

第四，Ahram很好的一点是，他并未只停留在指出MMR问题，而是进一步提出解决方案（即使还是很模糊，更像是给各位提醒：在今后MMR方法运用中时刻记住这些可能出错的点）：“standardization of concepts across the quantitative and qualitative domain…… addressing mechanism mudding requires greater conceptual flexibility to capture the variety of equifinite mechanisms leading to the same ultimate result.”-谨记transparency and consistency not only in refining concept but also in data using.

三、Wilson 2013：相同主题的不同数据库的精度与选择

Ahram 2011比较定性/定量不同方法结合使用中存在的概念及测量差异；Wilson 2013则是将目光进一步集中在了定量方法的数据库内部，强调：相同主题/研究对象的不同数据库定义不同，在数据库交互使用中要注意概念定义、分类、测量方法、理论框架、样本选择、指标选择、评估等。三个关于政权分类的数据库内部就存在着concept stretching and misuses，从而威胁测量信度。要解决这一问题，需要在定量的基础上同时引入案例分析，具体检验每一案例。

核心观点”the problem, however, is that the data sets on authoritarian regime type do not measure the same things; they are conceptually distinct and thus are not equally suitable for testing particular causal mechanisms. More commonly, scholars test their theories with more than one of the data set……all the same, finding a similar result using different data is not necessarily a good thing. One must be acutely aware of hoe the data were coded and the threats to validity caused by their improper use, on this this study elaborates.” P. 6

至于三个关于威权国家的数据库、及Wilson通过巴西、哥伦比亚、尼加拉瓜检验不同数据库，就不再赘述，有大致印象即可。

四、Wimmer, Cederman, and Min 2009

总论点：Ethnic diversity itself does not breed more armed conflicts

分论点：

•Exclusion: armed rebellions are more likely to challenge states that exclude large portions of the population on the basis of ethnic background

•Segmentation: a large number of competing elites share power in a segmented state, the risk of violent infighting increases

•Incohesion: incohesive states with a short history of direct rule are more likely to experience secessionist conflicts

Wimmer et. al, 2009做出了非常好的因素+机制的尝试，并将之前铁板一块的族群冲突研究进行细化分类，提出不同国家历史、制度、人口结构会产生不同类型的族群战争。当然，Li & Tang 2017关于石油的族群-地理位置的结论，部分也是基于Wimmer et. al, 2009的分类。这是篇非常漂亮的文章，我唯一好奇的点是：都是从哪里突然意识到这种分类/configuration的？大量的阅读必不可少，强大的逻辑与分类能力必不可少，可能灵感也是必要的？