摘  要

目的　以脆性指数为工具指标评估心血管Meta分析的稳健性。方法　检索PubMed、EMbase及Web of Science数据库，收集2018—2022年心血管领域Meta分析相关文献，计算脆性指数；通过Spearman相关性分析探索脆性指数与样本量、总事件数、效应值及效应值置信区间宽度的关系。结果　共纳入29篇文献的212个Meta分析，中位脆性指数11（5，25），中位样本量10301（3384，48330）例，中位事件数360（129，1309）个。多数Meta分析选择相对危险度作为效应指标（179/212），选择Mantel-Haenszel方法（102/212）和随机效应模型（153/212）；脆性指数与样本量（rs=0.56，P<0.05）和总事件数（rs=0.61，P<0.05）呈正相关关系，与效应值置信区间宽度呈负相关关系（rs=−0.52，P<0.05），与效应值大小的相关性无统计学意义。结论　发表在高影响力综合性期刊与专业心血管期刊上的心血管Meta分析的脆性指数普遍较低，稳健性不高。在医学研究中可增加对脆性指数的报告，辅助说明P值。

正  文

高质量系统评价与Meta分析作为循证医学的高级别证据，影响临床实践与临床指南的制定[1-3]。1904年Pearson[4]发表了第一个医学研究领域的Meta分析，其后Meta分析发文数量快速增长，但研究质量参差不齐，这引发了国内外学者的普遍关注与担忧[5-7]。学术界较多采用PRISMA声明[8]与AMSTAR 2[9]质量评价工具来规范报告和评估Meta分析的质量。PRISMA声明从题目、摘要、前言、方法、结果、讨论和其他信息7个方面规范了Meta分析的撰写与报告，是评估Meta分析报告质量的重要工具。AMSTAR是一种清单评分工具，主要包括对纳入研究质量、检索策略全面性与偏倚风险评估等项目。在医学领域，经方法学质量与报告质量评价的“高质量”研究，往往成为临床决策和指南制定的重要依据，直接或间接影响临床实践，同时极大程度地影响学术界的发展和研究方向。然而，此类评价工具未能对结果稳健性进行考量。不稳健研究的结论因研究纳入的少数几个研究对象的结果事件状态的改变而改变，这样的研究不适宜应用与推广，更不能作为实践的指导依据。因此，对研究结果稳健性的评估显得十分重要。与报告质量和方法学质量评价工具不同，脆性指数作为Meta分析稳健性评价指标，指“想要改变某项研究的统计学意义所依赖的研究对象事件状态改变的最小数量”[10]，以直观、易于理解与沟通为特点，有助于临床医生在“文献海洋”中快速建立起“某项干预措施对于某种疾病是否有效”结论的信心与把握度[11]。

1990年Feinstein[12]首次提出“脆性指数”，2014年Walsh等[11]激发了脆性指数新的活力，赋予其更简化、更直观的内涵，也就是目前学术界颇为流行的针对1∶1双臂试验中具有统计学意义的二分类结果的脆性指数的释义与计算方式。在此基础上，2019年Atal等[10]发展出了对Meta分析中脆性指数的定义，将脆性指数从仅适用于结果有统计学意义的研究，拓展到包括结果无统计学意义研究在内的所有Meta分析。

脆性指数作为结果稳健性评价指标，较多应用于医学研究领域的随机对照试验，如肿瘤学[13]、颅内出血[14]、儿科麻醉学[15]、血管外科手术[16]、癫痫[17]、神经外科[18]、髋关节镜[19]、早产儿[20]、新冠人群与非新冠人群中皮质类固醇治疗急性呼吸窘迫综合征的效果[21]等。但在心血管领域，脆性指数的应用进展缓慢[22]，尚未有专门针对心血管Meta分析进行稳健性评估的研究。Meta分析作为指导临床实践的重要证据和指南制定的重要来源，研究结果稳健性评估尤为重要。因此，本研究应用脆性指数并对心血管领域Meta分析的稳健性进行评价。

1　资料与方法

1.1   纳入和排除标准

1.1.1   纳入标准

（1）随机对照试验的Meta分析：题目中包含了“systematic review”或“Meta”，且纳入研究均为随机对照试验。（2）与以下任何心血管临床亚专业有关：心力衰竭、介入心脏病学、预防心脏病学、电生理学、心脏成像等领域。

1.1.2   排除标准

（1）网状Meta分析；（2）Meta回归分析；（3）信息不全/方法不当［无汇总效应和亚组汇总效应结果，未使用或未表明使用Peto/Mantel-Haenszel/Inverse Variance/DerSimonian and Laird中任意一种方法，未使用或未表明使用RR/OR/RD中任意一种效应指标，未使用或未表明使用效应模型类型（固定/随机），森林图信息不全，有缺失值］；（4）撤稿、勘误表及修正类；（5）更新前版本。

1.2   检索策略

以“meta analy*、metaanaly* AND Circulation、European heart journal、JAMA Cardiology、Journal of the American College of Cardiology、Circulation research、Lancet、The New England journal of medicine、JAMA、BMJ”为检索词，检索PubMed、EMbase及Web of Science数据库。检索时限为2018年1月1日—2022年12月31日。

1.3   文献筛选

检索所得文献导入文献管理软件Zotero进行整理。由两名研究者（游月媛和张桂英）独立阅读标题、摘要和全文进行筛选，意见不一致时，与第三名研究者（李静）讨论确定。

1.4   数据提取与分析

1.4.1   数据提取

数据提取主要包括：题名、发表年份及期刊名称、是否为研究主要结果、成对比较的两组数据各自的事件数、样本量、总事件数、效应值（置信区间下限与上限）、用于汇总效应估计的方法类型（Peto/Mantel-Haenszel/Inverse Variance/DerSimonian and Laird）、效应模型类型（固定/随机）、效应指标类型（RR/OR/RD）。以上均为公开数据，不需伦理委员会审查。

1.4.2   数据分析

Meta分析中脆性指数的计算主要由Atal教授团队[10]研发的在线计算器（http://clinicalepidemio.fr/fragility_ma/）实现，实现过程逻辑简述如下。以包含N项试验、效应指标为RR的Meta分析为例。假定该Meta分析涉及甲、乙两种疗法比较，接受甲疗法（甲组）的结果事件发生率低于接受乙疗法（乙组），差异有统计学意义，即所得结果效应指标RR置信区间上限<1。为获得该Meta分析的脆性指数，使原Meta分析失去统计学意义，首先依次完成该Meta分析中每项试验每个组别单个受试对象的事件状态改变（甲组1名原本结果状态为“未发生结果事件”的受试对象转变为“发生结果事件”，乙组1名原本结果状态为“发生结果事件”的受试对象转变为“未发生结果事件”，甲乙两组各试验受试对象总数不变），并计算更改后Meta分析结果效应指标RR的置信区间（2N），若所得2N个置信区间覆盖无效效应值“1”，则该Meta分析的脆性指数即为1；相反则找出其中置信区间上限最接近“1”的一项改变作为下次迭代的起点，重复上述过程直至某次置信区间刚好覆盖“1”。迭代次数即为脆性指数值。

脆性指数与样本量、总事件数、效应值大小及效应值置信区间宽度的关系采用Spearman相关性分析，分析与作图采用R（4.3.0）软件。

脆性指数数值与样本量的比值不超过1%表示若仅有100名受试者参与研究时，特定试验中仅1名受试者的事件状态发生改变（失去统计学意义或获得统计学意义），整个Meta分析结果的统计学意义就会发生改变，该Meta分析原来的结论也将被推翻，表明研究结果稳健性不佳。

2　结果

2.1   Meta分析筛选结果

共检索到5998个Meta分析，29篇文献[23-51]的212个Meta分析符合纳入标准。其中8篇来自综合性期刊（Lancet 3篇，JAMA 3篇，BMJ 2篇），21篇来自专业心血管期刊（European Heart Journal 10篇，Circulation 5篇，JAMA Cardiology 4篇，Journal of the American College of Cardiology 1篇，Circulation Research 1篇）；文献筛选流程见图1。入选29篇文献较均匀分布于2018—2022年，平均每年4～7篇，平均影响因子为69.033。纳入的212个Meta分析中，95个结果有统计学意义，117个结果无统计学意义；43个为研究的主要结果，其余169个为非主要结果或未明确表明该结果属性。纳入Meta分析的基本特征见表1。

图1　筛选Meta分析的流程图

*：包括Circulation、European Heart Journal、JAMA Cardiology、Journal of the American College of Cardiology、Circulation Research

2.2   脆性指数

纳入Meta分析脆性指数普遍<100，主要集中分布于1～40之间。212个Meta分析的中位脆性指数为11（5，25），最小值为1，最大值为563；在95个有统计学意义结果的Meta分析中，中位脆性指数为9（5，35），最小值为1，最大值为563；在117个无统计学意义结果的Meta分析中，中位脆性指数为12（6，24），最小值为1，最大值为125；见图2。

图2　脆性指数分布直方图

2.3   脆性指数与样本量比值

无论Meta分析结果是否有统计学意义，>90%的Meta分析脆性指数与样本量的比值≤1%，说明绝大多数Meta分析的结果稳健性不佳；见图3。

图3　脆性指数值与样本量比值的分布图

2.4   相关性分析

无论Meta分析结果是否有统计学意义，随着样本量增加，脆性指数值呈现增大的趋势，说明样本量越大的研究，其结果稳健性越好；见图4。

图4　脆性指数值随样本量分布的散点图

脆性指数与样本量、总事件数、效应值置信区间宽度的Spearman相关系数有统计学意义，脆性指数与效应值大小的Spearman相关系数无统计学意义；见表2。

3　讨论

入选29篇文献的212个Meta分析脆性指数普遍<100，主要集中分布于1～40之间，平均脆性指数值仅为11，表明心血管Meta分析相关研究结果的稳健性不高。Spearman相关性分析表明，无论Meta分析结果是否有统计学意义，脆性指数与样本量呈正相关关系，即随着样本量增加，脆性指数值也增大，研究所得结果就越稳健；这与既往研究[52-56]所得结论相似。脆性指数与总事件数也呈正相关关系，即发生所研究结局事件越多的研究，其脆性指数数值也普遍更大，也就说明该研究结论越稳健。脆性指数与效应值置信区间宽度呈负相关关系，表明置信区间上下限间隔越宽，脆性指数数值反而越小，这可能由于更宽泛的置信区间来自较小样本量的研究。

Anand等[57]对小儿泌尿外科近来发表的7篇文章的22个Meta分析研究进行调查发现，Meta分析的平均脆性指数仅为5。Schröder等[58]针对Medline数据库中近10年来发表的有关小儿外科手术领域Meta分析的研究结果显示，符合纳入标准的39篇文献的79个Meta分析的平均脆性指数也仅为5。随机对照试验中也存在脆性指数普遍较低、研究结果稳健性不佳的情况。Walsh等[11]对发表在高影响力医学期刊上的随机对照试验的调查结果显示，平均脆性指数值为8，有大约25%的研究脆性指数值≤3，超过一半的研究脆性指数值小于失访人数。Ruzbarsky等[59]对近10年发表在11个高影响力期刊的调查研究发现，近一半研究的脆性指数≤2，且将近一半研究的失访人数大于脆性指数数值，失访对象是否发生结局事件具有不确定性，而脆性指数为更改整个研究统计学意义所需的研究对象事件状态改变的最小数量；因此，失访人数直接关系到研究的最终结论，尤其是当失访人数大于脆性指数数值时。本研究所纳入Meta分析的中位脆性指数为11（5，25），略高于上述关于小儿泌尿外科和小儿手术领域的Meta分析和其他领域的随机对照试验。但本研究脆性指数与样本量的比值却处于较低水平，无论Meta分析结果是否有统计学意义，>90%的研究脆性指数值与样本量的比值<1%，表示在绝大多数情况下，若仅有100名受试者参与研究时，特定试验中仅1名受试者的事件状态发生改变（失去统计学意义或获得统计学意义），整个Meta分析结果的统计学意义就会发生改变，该Meta分析原来的结论也将被推翻，因而稳健性不佳。

本研究基于影响因子、发行量、期刊业内知名度、专业度与认可度多方面考虑选择期刊；其中Lancet、The New England Journal of Medicine、JAMA与BMJ期刊在综合性医学期刊中被公认为“四大顶刊”，而Circulation、European Heart Journal、JAMA Cardiology、Journal of the American College of Cardiology与Circulation Research期刊在心血管领域的影响因子最高，且拥有较高知名度和心血管医学领域同行认可度，因此本研究所选Meta分析对于心血管领域Meta分析具有较强代表性。脆性指数在心血管领域应用缓慢，本研究是首篇针对心血管领域多本期刊Meta分析的脆性指数研究，有助于揭示近年来心血管相关研究的稳健性情况，为临床实践和后续研究提供启示。本研究选择脆性指数作为稳健性评价指标，直观、易于理解与沟通，对P值和研究结论可较好地进行补充说明。研究者通过P值与检验水准的相对大小得出研究结果是否有统计学意义的结论，然而对此结论所持信心却无法衡量。以检验水准0.05为例，P值取0.049时小于此水准，认为研究结果有统计学意义；相反，若P值取0.051则认为研究结果无统计学意义。在这个例子中，较小的P值差别得出了截然不同的结论。试想若检验水准被设定为0.01或者0.10，那么研究结论也将被“颠覆”。学术界对于P值的“诟病”历来有之[60-61]，仅仅凭借P值难以较全面地把握对于结论的信心。通过脆性指数，有助于识别出研究结论改变所需研究对象事件状态改变的数量，从而较直观地明确该结果的稳健性。

本研究也有一定的局限性。首先，我们只纳入两组数据成对比较且结局类型为二分类的Meta分析，未能评价结局为连续型变量、网状Meta分析或生存分析等其他数据类型的研究，因此可能会遗漏一些重要的心血管研究。其次，本研究所纳入Meta分析的效应指标仅为RR值与OR值，无危险度差（risk difference，RD）。尽管本研究所纳入的29篇研究中有1篇同时涉及到效应指标RR值与RD值，但结果仅呈现了RR值。在后续研究中，有望进一步扩大检索年限以获得更多符合纳入标准的研究与更全面的效应指标类型。再者，本研究在Atal教授[10]最初研究设计选用的3种汇总效应估计方法（Mantel-Haenszel方法、Inverse Variance方法与Peto法）的基础上，提取了DerSimonian and Laird方法作为汇总效应估计方法之一，并以Inverse Variance方法的计算方式选择DerSimonian and Laird方法的Meta分析进行脆性指数计算；DerSimonian and Laird方法作为Inverse Variance方法的简单变体，常用于随机效应模型Meta分析对于汇总效应的估计，尽管两者略有不同，但在以Inverse Variance方法代替DerSimonian and Laird方法完成Meta分析汇总效应及其置信区间上下限的估计层面，两种方法所得结果极为接近，在后续研究中，有望以更加符合DerSimonian and Laird方法的算法对采用该方法的Meta分析完成脆性指数计算。同时，脆性指数作为研究结果的辅助说明指标，学术界历来没有明确的标准划分各个亚学科领域稳健与不稳健的分界点和区间值，但研究者们可以通过研究结果所示脆性指数数值大小明确该研究结果的统计学意义所取决的事件状态改变的受试对象数量，该特点对没有统计专业背景的临床医生尤为友好，也可以与同领域其他研究脆性指数数值相比，衡量研究结果的稳健性。未来研究有望对结局为连续型变量资料、网状Meta分析以及生存分析等研究展开评价，构建完整的心血管领域相关研究的稳健性评价体系。

综上所述，发表在高影响力综合性期刊与专业心血管期刊上的心血管领域Meta分析的脆性指数普遍较低，稳健性不高，少数研究对象事件状态发生改变即可导致整个研究结果统计学意义的颠覆，从而得出截然不同的结论。在医学研究中可增加对脆性指数的报告，辅助说明P值。

利益冲突：无。

作者贡献：游月媛负责数据分析和论文撰写；张桂英负责数据整理、分析；王凌负责论文设计；李静负责论文审阅与研究指导。

Tags： 心血管领域Meta分析的稳健性评估