11월 6일 NEJM AI에 미국 밴더빌트대 의료원의 무작위 실용 시험이 실렸다. 항핵항체(ANA) 검사에서 양성이 나온 성인 2,385명을 둘로 나누고, 한쪽에만 전자의무기록 속 위험 점수를 근거로 류마티스내과 진료를 앞당겨 줬다. 자가면역질환 진단을 받은 사람만 놓고 보면, 양성 결과부터 진단까지 걸린 날의 중앙값이 대조군 138일에서 43일로 줄었다. 병원 전산 속 예측 모델을 무작위 배정으로 평가하고 환자 단위 결과까지 잰 사례는 드물다. "모델이 잘 맞히는가"와 "모델이 환자의 경과를 바꾸는가"는 서로 다른 질문이고, 이 시험은 두 번째 질문에 답하려 했다.


양성인데 병은 아닌 사람들

항핵항체 검사는 면역계가 자기 세포핵 성분을 공격하는 항체를 만들고 있는지 보는 혈액검사다. 전신홍반루푸스(루푸스), 쇼그렌증후군, 전신경화증 같은 전신 자가면역질환을 의심할 때 맨 먼저 내는 검사이고, 이 질환들의 분류 기준에도 들어간다.

문제는 이 검사가 너무 쉽게 양성으로 나온다는 데 있다. 연구진이 인용한 자료를 보면 자가면역질환이 없는 일반인의 14~27%가 ANA 양성이다. 관절이 아프다, 피곤하다, 간 수치가 이상하다 같은 흔한 이유로 1차 진료에서 검사를 내면 양성 결과지가 꽤 자주 돌아온다. 고민은 그다음부터다. 류마티스내과로 보내야 할까, 지켜봐도 될까. 이 갈림길에서 쓸 근거 기반 기준은 지금까지 없었다.

그래서 많은 양성 환자가 일단 류마티스내과로 넘어간다. 미국은 류마티스 전문의가 모자라고, 연구진이 밝힌 미국 남동부 대학병원 대기 기간은 6~12개월이다(연구진은 이 수치가 일화적 자료라고 적었다). 같은 대기열에 루푸스 초기 환자와 아무 병도 없는 양성자가 나란히 선다. 진짜 환자의 진단이 늦어지면 그사이 신장이나 폐에 돌이킬 수 없는 손상이 쌓일 수 있다.

밴더빌트대가 2024년에 낸 모델 개발 논문에 이 상황이 숫자로 나온다. 무작위로 고른 ANA 양성자 2,000명의 차트를 전문의가 검토했더니, 학습용 집단 1,030명 중 실제로 전신 자가면역질환으로 진단된 사람은 15%(152명)였다. 양성 10명 중 8~9명은 병이 아니었다. 같은 연구팀은 2024년 미국류마티스학회(ACR) 초록에서 누가 이 검사를 내는지도 셌다. 양성 1,499명 중 검사를 낸 쪽은 1차 진료가 36%로 가장 많았고, 간 질환 진료(hepatology)가 22%, 신경과가 13%였다.

혈소판 수치와 청구 코드로 만든 점수

연구진이 만든 모델은 화려하지 않다. 딥러닝이 아니라 로지스틱 회귀, 즉 몇 가지 변수에 가중치를 곱해 더한 뒤 확률로 바꾸는 고전적인 통계 모델이다. 입력은 전자의무기록에 이미 있는 값들이다. 나이, 성별, ANA 역가(혈청을 몇 배까지 묽혀도 양성이 나오는지), 혈소판 수, 항dsDNA 항체 같은 질환 특이 자가항체가 있는지, 그리고 관절염·발진·레이노 현상·탈모처럼 자가면역질환을 시사하는 증상이 진료 청구 코드로 몇 가지나 찍혀 있는지다.

가장 무게가 실린 변수는 질환 특이 자가항체, 증상 관련 청구 코드 수, 혈소판 수였다. 개발 논문에서 병으로 진단된 사람은 질환 특이 자가항체를 가진 비율이 51%로, 진단되지 않은 사람(9%)보다 훨씬 높았다. 성능은 AUC로 학습 집단 0.83, 별도 검증 집단 0.75였다. AUC는 환자 한 명과 비환자 한 명을 무작위로 뽑았을 때 모델이 환자 쪽에 더 높은 점수를 줄 확률로, 0.5면 동전 던지기, 1이면 완벽이다. 0.75는 쓸 만하지만 뛰어나다고 하기는 어려운 수준이다.

단순한 쪽을 고른 데는 이유가 있다. 변수가 몇 개뿐이고 각각이 무엇을 뜻하는지 의사가 바로 안다. 연구진도 이 모델을 "해석 가능한(interpretable)" 모델이라고 소개했다. 병원 전산에서 매일 돌리기에도 부담이 적다. NEJM AI가 실었지만, 흔히 말하는 AI라기보다 잘 다듬은 임상 점수표에 가깝다.

고위험의 기준선은 "향후 10년 안에 전신 자가면역질환이 생길 확률 20% 이상"이다. 민감도와 특이도의 합이 가장 커지는 지점(유든 지수)을 찾아 정했다. 2024년 12월 중간 집계에서는 중재군 1,020명 가운데 237명, 대략 넷 중 한 명이 이 선을 넘었고 그중 176명이 실제로 류마티스내과 진료를 받았다.

의사 화면에 뜨지 않은 무작위 배정

이 연구의 핵심은 설계에 있다. 2023년 6월부터 2년 동안, 밴더빌트대 의료원 Epic 전자의무기록에 사용자 정의 임상의사결정지원(CDS) 알림을 하나 심었다. 만 18세 이상 외래 환자에게서 처음으로 ANA 역가 1:80 이상이 나오고, 이 병원 류마티스내과를 다닌 적이 없으면 알림이 조용히 작동해 난수로 군을 정했다. 이 알림은 의사 화면에 뜨지 않는다. 배정 결과는 연구팀만 보는 일일 보고서에 쌓였다. 환자 개별 동의는 면제받았다. 양쪽 모두 원래 진료를 그대로 받고 누구든 류마티스내과로 의뢰될 수 있어 위험이 최소라고 기관윤리위원회가 판단했다.

두 군의 차이는 한 가지다. 중재군에서는 연구팀이 매일 위험 점수를 보고, 고위험 환자가 나오면 ANA 검사를 낸 의사에게 Epic 메시지를 보내 류마티스내과 신속 진료를 제안했다. 대조군에서도 점수는 똑같이 계산됐지만 아무도 보지 않았고 아무 조치도 하지 않았다.

대조군에서도 점수를 계산해 둔 데는 이유가 있다. 그래야 "대조군의 고위험자는 어떻게 됐나"를 같은 기준으로 들여다볼 수 있다. 점수를 아예 만들지 않았다면 이 비교는 불가능하다.

운영이 매끄럽기만 했던 것은 아니다. 연구팀은 2025년 10월 Applied Clinical Informatics에 실은 사례 보고에서 알림이 멈춘 두 번의 사고를 털어놨다. 2023년 12월에는 ANA 역가를 읽는 장비가 고장 나 역가가 외부 검사기관 PDF로 들어오는 바람에 약 8주 동안 305명을 손으로 배정해야 했다. 2024년 4월에는 중앙검사실이 이전하면서 검사 이름과 식별 코드가 바뀌어 82명이 자동 배정에서 또 빠졌다. 예측 모델의 성패가 알고리즘보다 검사실 장비와 코드 체계에 먼저 걸려 있었던 셈이다.

결과를 읽는 법

무작위 배정된 2,385명 가운데 배정 뒤 제외 기준(다른 병원 류마티스 진료 이력, 기존 자가면역질환 진단, 한 달 안에 이미 잡힌 류마티스 예약 등)에 걸린 사람을 빼고 중재군 954명, 대조군 1,006명을 분석했다. 연구팀은 6개월마다 차트를 검토해 류마티스 진료를 받았는지, 자가면역질환 진단이 나왔는지 확인했다.

주요 결과는 ANA 양성일부터 자가면역질환 진단까지 걸린 시간이다. 위험비(HR)는 1.9, 95% 신뢰구간 1.3~2.7이었다. 위험비는 아직 진단받지 않은 사람이 어느 시점에 진단받는 속도를 두 군끼리 견준 값이다. 1.9면 중재군에서 진단이 대조군의 두 배 가까운 속도로 나왔다는 얘기이고, 신뢰구간 아래 끝도 1.3이라 우연으로 돌리기 어렵다.

피부에 와닿는 숫자는 따로 있다. 실제로 자가면역질환 진단을 받은 사람만 놓고 보면 진단까지 걸린 날의 중앙값이 중재군 43일, 대조군 138일이었다. 약 95일, 석 달 남짓 차이다. 다만 이 중앙값은 진단받은 사람에 한정한 값이라, 무작위 배정의 보호를 온전히 받는 비교는 아니다. 무게는 위험비에 두는 편이 맞다.

부차 결과 하나는 경계선에 걸렸다. 양성 후 6개월 안에 류마티스내과 진료를 받은 사람 중 실제로 자가면역질환 진단이 나온 비율이 중재군 23%, 대조군 16%였다(P=0.07). 통계적으로 유의하지는 않지만 방향은 읽을 만하다. 중재군에서는 류마티스 진료가 병이 있을 가능성이 높은 사람에게 조금 더 몰렸다. 류마티스내과로서는 같은 진료 시간에 진단을 더 많이 내린 셈이다.

AURA 주요 결과: 진단까지 시간 위험비 1.9, 진단자 중앙값 43일 대 138일, 6개월 내 류마티스 진료자 중 진단 비율 23% 대 16%
그림 2AURA 주요 결과: 진단까지 시간 위험비 1.9, 진단자 중앙값 43일 대 138일, 6개월 내 류마티스 진료자 중 진단 비율 23% 대 16%

효과는 모델에서 왔나, 신속 진료에서 왔나

같은 호에 실린 사설의 제목은 "설계가 전부다(Design is Everything)"다. 브라운대 생물통계학자 조지프 호건은 이 시험이 모델 기반 의뢰의 효과를 보여 준 무작위 근거라고 평가하면서도 한 가지를 짚었다. AURA의 중재는 두 단계로 이뤄져 있다. 모델이 고위험자를 고르고, 그 사람에게 신속 진료를 연결한다. 진단이 빨라진 이유가 모델이 사람을 잘 골라서인지, 아니면 누구든 류마티스 진료를 빨리 받게 해 줬기 때문인지는 이 설계로는 갈라낼 수 없다.

모델 없이 양성자 넷 중 한 명을 아무나 골라 신속 진료를 줬어도 진단이 어느 정도 빨라졌을 수 있다. 그렇다면 모델의 몫은 생각보다 작다. 거꾸로 모델이 고른 사람에게서만 진단이 빨라진다면 모델의 몫이 크다. 호건은 사설에서 단계별 효과를 따로 떼어 볼 수 있는 설계를 제시했다. 예컨대 위험 점수로 고르는 단계와 신속 진료를 주는 단계를 각각 무작위로 나누면 둘의 몫을 따로 셀 수 있다.

이 구분은 사업에서도 갈림길이 된다. 예측 모델을 파는 회사가 내세우는 가치는 "우리 모델이 환자를 잘 고른다"이다. 효과 대부분이 신속 진료 자리를 따로 만든 데서 나왔다면, 병원에 필요한 것은 모델이 아니라 진료 동선을 다시 짜는 일이다.

이 시험이 재지 않은 것도 있다. 신속 진료 자리는 공짜로 생기지 않는다. 고위험자를 앞으로 당기면 누군가는 뒤로 밀린다. 저위험으로 분류된 양성자가 얼마나 더 기다렸는지, 그중에 놓친 환자는 없는지는 이번 초록에 나오지 않는다. 진단까지 시간도 결국 과정 지표다. 장기 손상이나 입원처럼 환자에게 직접 닿는 결과가 달라졌는지는 더 긴 추적이 있어야 알 수 있다.

예측 모델을 무작위로 시험한다는 것

이 시험에서 눈여겨볼 것은 숫자보다 방법이다. 병원 전산에 심긴 예측 모델 대부분은 무작위 시험을 거치지 않는다. 대표적인 사례가 Epic의 패혈증 예측 모델이다. 2021년 미시간대 연구진이 JAMA Internal Medicine에 낸 외부 검증에서 이 모델의 AUC는 0.63에 그쳤고, 실제 패혈증의 3분의 2를 놓쳤다. 이미 미국 여러 병원에서 돌아가던 모델이었다. 잘 맞히는지조차 외부에서 확인하지 않은 채 쓰이던 셈이다.

AURA는 반대 방향에서 출발했다. 개발, 검증, 전산 탑재, 무작위 시험을 한 병원이 순서대로 밟았다. NIH 연구비(R01)로 2022~2027년 과제를 짜고, 실행 사고까지 따로 논문으로 남겼다. 밴더빌트대는 이미 정맥혈전색전증, 산후출혈, 재입원, 욕창 위험 모델을 같은 방식으로 전산에 넣고 무작위 실용 시험으로 평가해 온 곳이다. 동의 면제, 의사 화면에 뜨지 않는 자동 배정, 연구팀만 보는 일일 보고서를 엮으면 진료 현장에서 수천 명 규모의 시험을 돌릴 수 있다는 것을 이번에도 보여 줬다.

규제 쪽에서 보면 AURA 같은 도구는 대체로 시판 전 심사 밖에 있다. 병원이 자체 개발해 내부에서만 쓰고, 입력값과 논리를 의사가 확인할 수 있으며, 결론은 의사가 내린다. 이 지면에서 6월에 다룬 FDA의 2026년 CDS 최종 가이던스는 이런 조건을 갖춘 임상의사결정지원 소프트웨어를 의료기기로 보지 않는 폭을 넓혔다. 심사가 없으면 근거를 요구하는 사람도 없다. 이번 사례는 그 빈자리를 병원이 스스로 무작위 시험으로 채운 경우다.

돈이 걸리는 쪽에서도 같은 질문이 커지고 있다. 지난 9월 이 지면에서 다룬 미국 메디케어의 신기술 추가지급(NTAP)에는 혁신의료기기 지정만 있으면 임상 개선 입증을 건너뛰는 대체 경로가 있었는데, CMS는 이 경로를 FY2028부터 원칙적으로 없애기로 했다(기존 지정 기기에는 2028년 5월까지 유예가 붙었다). 그 뒤로는 위험 알림이 실제로 환자 결과를 바꿨다는 비교 근거를 직접 내야 한다. 전자의무기록을 읽어 위험을 알려 주는 국산 도구들도 미국 수가를 노린다면 피할 수 없는 관문이다.

AURA는 그 비교가 생각만큼 거창하지 않을 수 있다는 것을 보여 줬다. 로지스틱 회귀 모델 하나와 전산 알림 하나로 2,385명을 2년 동안 무작위로 나눴다. 병원 안에서 이 정도 설계가 가능하다면, 후향적 성능 지표만 들고 오는 예측 도구에게 병원과 보험자가 "그래서 환자에게 무엇이 달라졌나"를 묻지 못할 이유가 없다.

출처

  • Barnado A, Moore RP, Domenico HJ, et al. Randomized Evaluation of an Autoimmune Disease Prediction Model: AURA (AUtoimmune Risk Assessment). NEJM AI. 2026-11-06 온라인 게재. doi:10.1056/AIoa2600112 (PMID 42993025). https://ai.nejm.org/doi/full/10.1056/AIoa2600112
  • Hogan JW. Design is Everything. NEJM AI. 2026-11-06. doi:10.1056/AIe2601363 (PMID 42993021)
  • Barnado A, Moore RP, Domenico HJ, et al. A Case Report in Using a Laboratory-Based Decision Support Alert for Research Enrollment and Randomization. Appl Clin Inform. 2025;16(5):1439-1444. doi:10.1055/a-2702-1770 (PMC12552065)
  • Barnado A, Moore RP, Domenico HJ, et al. Identifying antinuclear antibody positive individuals at risk for developing systemic autoimmune disease: development and validation of a real-time risk model. Front Immunol. 2024;15:1384229. doi:10.3389/fimmu.2024.1384229 (PMC10987951)
  • Grace E, et al. Characteristics of Ordering Providers and Patients with Positive Antinuclear Antibodies: A Pragmatic Risk Model Study. ACR Convergence 2024 초록. https://acrabstracts.org/abstract/characteristics-of-ordering-providers-and-patients-with-positive-antinuclear-antibodies-a-pragmatic-risk-model-study/
  • Wong A, Otles E, Donnelly JP, et al. External Validation of a Widely Implemented Proprietary Sepsis Prediction Model in Hospitalized Patients. JAMA Intern Med. 2021;181(8):1065-1070. doi:10.1001/jamainternmed.2021.2626
  • 본 블로그, "FDA가 AI 의료기기를 가르는 기준" (2026-06-01)
  • 본 블로그, "메디케어가 패혈증 예측 AI에 건당 61.84달러를 붙였다" (2026-09-07)