Using Artificial Intelligence to Adjudicate Major Adverse Cardiovascular Events in Clinical Trials.

In global randomized trials, medical records review by a physician clinical events committee (CEC) is the conventional standard for adjudicating MACE but is labor intensive.

在全球范围内的随机试验中，由医生临床事件委员会（CEC）进行的病历审查是裁定MACE的传统标准，但这是一项劳动密集型的工作。

Automated adjudication with the use of artificial intelligence (AI) could reduce cost and improve reproducibility.

利用人工智能（AI）进行自动化裁决可以降低费用并提高结果的可重复性。

In this study, the authors sought to develop and validate an AI-based adjudication system for MACE and compare its performance with CEC adjudication in a large global randomized trial.

在本研究中，研究者们致力于开发并验证一种基于人工智能的重大心血管不良事件（MACE）裁决系统，并将其性能与大型全球随机试验中的临床事件委员会（CEC）裁决进行对比。

Methods

We developed an AI-based system ("Auto-MACE") that uses an iteratively refined prompt of the OpenAI o1-mini language model to adjudicate MACE events, and a Clinical Longformer model trained on adjudicated events to assign a confidence level.

我们开发了一种基于人工智能的系统（"Auto-MACE"），该系统使用OpenAI o1-mini语言模型的迭代改进提示来裁决主要不良心血管事件（MACE），并使用在裁决事件上训练的临床长型模型来分配一个置信水平。

We validated Auto-MACE against CEC adjudication in the PARADISE-MI global clinical trial comparing sacubitril/valsartan and ramipril in 5,661 patients with MI complicated by systolic dysfunction or pulmonary congestion.

我们在PARADISE-MI全球临床试验中对Auto-MACE进行了验证，该试验比较了5,661名因收缩功能障碍或肺充血而复杂化的急性心肌梗死患者使用沙库巴曲/缬沙坦和雷米普利的效果，Auto-MACE与临床事件委员会（CEC）的裁决进行了对比。

Results

Auto-MACE provided a confident adjudication in 315/455 deaths (69%), 301/659 potential MIs (46%), and 136/167 potential strokes (81%).

Auto-MACE 在 455 例死亡中有 315 例（69%）、在 659 例可能的心肌梗死（MI）中有 301 例（46%）、在 167 例可能的中风中有 136 例（81%）提供了确定性的判定。

Auto-MACE agreed with the CEC adjudication in 97%, 89%, and 88% of confident events, respectively.

Auto-MACE 在确定性事件中分别与临床事件委员会（CEC）的判定一致，准确率分别为 97%，89% 和 88%。

Among all events, Auto-MACE agreed with CEC adjudications in 86% of deaths, 76% of potential MIs, and 84% of potential strokes.

在所有事件中，自动心脑血管不良事件（Auto-MACE）与临床事件委员会（CEC）裁决在86%的死亡事件、76%的可能心肌梗死（MI）和84%的可能中风事件上达成一致。

The estimated effect of sacubitril/valsartan vs ramipril on composite MACE was similar with Auto-MACE adjudication (HR: 0.91; 95% CI: 0.78-1.07) and CEC adjudication (HR: 0.90; 95% CI: 0.77-1.05).

在复合主要不良心血管事件（MACE）的估计效果上，使用沙库巴曲/缬沙坦与使用雷米普利相比，自动心脑血管不良事件（Auto-MACE）裁决（HR: 0.91; 95% CI: 0.78-1.07）与CEC裁决（HR: 0.90; 95% CI: 0.77-1.05）的结果相似。

Conclusions

AI-based adjudication of MACE showed high agreement with human CEC adjudication, especially for CV death and stroke, and where the model was confident.

基于人工智能的MACE裁决与人类CEC裁决显示出高度一致性，特别是在心血管死亡和中风方面，以及当模型具有信心时。

Initial AI-based adjudication with CEC review of uncertain events may reduce workload while maintaining accuracy.

初步的人工智能裁决结合CEC对不确定事件的审查可能会减少工作量，同时保持准确性。