Aplicações da curva ROC em estudos clínicos e experimentais
Use of ROC curves in clinical and experimental studies
Tatiana Cristina Figueira Polo; Hélio Amante Miot
Tanto as decisões da prática clínica como a operacionalização da pesquisa dependem de definições precisas e objetivas dos fenômenos ou dos desfechos (p. ex., doente vs. saudável, grave vs. leve, operável vs. inoperável). Entretanto, nem sempre essa classificação é direta ou inequívoca, podendo necessitar de elementos secundários para a categorização. Muitas condições, ainda, apresentam diferentes sistemas de diagnósticos, como diabetes mellitus (glicemia de jejum vs. teste oral de tolerância à glicose), isquemia crítica (parâmetro clínico vs. percentual de obstrução arterial) ou depressão (critérios DSM V vs. escala de Beck), o que repercute em diferentes sensibilidades e especificidades para cada classificação
Na verdade, na maior parte dos casos, os critérios utilizados para a classificação de desfechos não são completamente preditivos, levando à categorização incorreta de uma fração de doentes (falsos negativos) ou de indivíduos saudáveis (falsos positivos), tornando importante a comparação da eficiência dos sistemas classificatórios empregados.
Há uma série de estimadores estatísticos que são empregados na análise do desempenho de modelos classificatórios, e um dos mais utilizados é a curva ROC (receiver operating characteristic), que consiste em uma representação gráfica da performance de um modelo de dados quantitativos segundo sua taxa de sensibilidade (fração dos verdadeiros positivos) e a fração dos falsos positivos (1-especificidade), segundo diferentes valores do teste
A
Quanto mais a curva ROC se aproxima do canto superior esquerdo, melhor é a qualidade do teste quanto à capacidade para discriminar os grupos. Ainda, a linha de referência diagonal da curva ROC representa uma região de completa aleatoriedade do teste, incapaz de classificar tanto doentes como saudáveis (sensibilidade = especificidade).
É também possível comparar o desempenho de dois ou mais modelos classificatórios (ou exames diagnósticos), simultaneamente, a partir de suas curvas ROC. A
Além da análise dos pontos da curva propriamente dita, é possível utilizar um indicador de dimensão do efeito para as curvas ROC. O mais empregado é a área sob a curva [area under the curve (AUC)]. A AUC é o resultado da integração de todos os pontos durante o trajeto da curva, e computa simultaneamente a sensibilidade e a especificidade, sendo um estimador do comportamento da acurácia global do teste
Tanto os pontos de sensibilidade e especificidade como a estimativa da AUC possuem propriedades inferenciais cujos erros-padrão dependem das suas dimensões do efeito e do tamanho da amostra. As estatísticas da AUC devem ser referidas, portanto, segundo seu intervalo de confiança de 95%, permitindo sua comparação com a hipótese nula, de AUC = 0,5
Na
Há diversas circunstâncias em que um teste pode ser optado por sua alta sensibilidade, mesmo com menor especificidade (ou vice-versa), desde que sejam mais baratos ou disponíveis, como ocorre com os testes rápidos para triagem do HIV
A construção de uma curva ROC não depende de que os dados apresentem distribuição normal e não é substancialmente afetada pela assimetria amostral de casos positivos ou negativos. Entretanto, depende fundamentalmente da inequívoca classificação a priori de casos e controles, geralmente a partir de um exame padrão-ouro para o diagnóstico (p.ex., autópsia ou anatomopatologia)
O emprego das curvas ROC foi estendido para a avaliação do desempenho de modelos multivariados para diagnósticos, prognósticos, aprendizado de máquinas (p.ex., reconhecimento de imagens ou de voz) e mineração de dados. Recentemente, Amato et al.
É possível ainda se utilizar curvas ROC para representar classificações ordinais (p.ex., leve, moderado e grave; estágio I-IV; intensidade 0 a 4+) ao invés de binárias
Finalmente, as curvas ROC são alternativas bastante robustas e intuitivas para a descrição e comparação de modelos classificatórios, além de subsidiar a escolha de pontos de corte para otimizar a categorização de um fenômeno. Seu emprego na pesquisa exige descrição precisa na metodologia quanto aos parâmetros de uso.
Referências
1 Forkmann T, Vehren T, Boecker M, Norra C, Wirtz M, Gauggel S. Sensitivity and specificity of the Beck Depression Inventory in cardiologic inpatients: How useful is the conventional cut-off score? J Psychosom Res. 2009;67(4):347-52.
2 Rodríguez-Morán M, Guerrero-Romero F. Fasting plasma glucose diagnostic criterion, proposed by the American Diabetes Association, has low sensitivity for diagnoses of diabetes in Mexican population. J Diabetes Complications. 2001;15(4):171-3.
3 De Los Monteros AE, Parra A, Hidalgo R, Zambrana M. The after breakfast 50-g, 1-hour glucose challenge test in urban Mexican pregnant women: its sensitivity and specificity evaluated by three diagnostic criteria for gestational diabetes mellitus. Acta Obstet Gynecol Scand. 1999;78(4):294-8.
4 Hoo ZH, Candlish J, Teare D. What is an ROC curve? Emerg Med J. 2017;34(6):357-9.
5 Metz CE. Basic principles of ROC analysis. Semin Nucl Med. 1978;8(4):283-98.
6 Corey D, Chang CK, Cembrowski GS. Disheartened: need ROC curve. Am J Clin Pathol. 1984;81(4):542-4.
7 Barraclough K. Diagnosis: shifting the ROC curve. Br J Gen Pract. 2012;62(602):452-3.
8 Sherwood EM, Bartels PH, Wied GL. Feature selection in cell image analysis: use of the ROC curve. Acta Cytol. 1976;20(3):255-61. PMid:775870.
9 Kumar R, Indrayan A. Receiver operating characteristic (ROC) curve for medical researchers. Indian Pediatr. 2011;48(4):277-87.
10 Park SH, Goo JM, Jo CH. Receiver operating characteristic (ROC) curve: practical review for radiologists. Korean J Radiol. 2004;5(1):11-8.
11 Wei RJ, Li TY, Yang XC, Jia N, Yang XL, Song HB. Serum levels of PSA, ALP, ICTP, and BSP in prostate cancer patients and the significance of ROC curve in the diagnosis of prostate cancer bone metastases. Genet Mol Res. 2016;15(2):15.
12 Jahromi AS, Cina CS, Liu Y, Clase CM. Sensitivity and specificity of color duplex ultrasound measurement in the estimation of internal carotid artery stenosis: A systematic review and meta-analysis. J Vasc Surg. 2005;41(6):962-72.
13 Stein PD, Hull RD, Patel KC, et al. D-dimer for the exclusion of acute venous thrombosis and pulmonary embolism: a systematic review. Ann Intern Med. 2004;140(8):589-602.
14 Doobay AV, Anand SS. Sensitivity and specificity of the ankle-brachial index to predict future cardiovascular outcomes: a systematic review. Arterioscler Thromb Vasc Biol. 2005;25(7):1463-9.
15 Hanley JA. Receiver operating characteristic (ROC) methodology: the state of the art. Crit Rev Diagn Imaging. 1989;29(3):307-35. PMid:2667567.
16 Koblavi-Deme S, Maurice C, Yavo D, et al. Sensitivity and specificity of human immunodeficiency virus rapid serologic assays and testing algorithms in an antenatal clinic in Abidjan, Ivory Coast. J Clin Microbiol. 2001;39(5):1808-12.
17 Hsu MJ, Chang YC, Hsueh HM. Biomarker selection for medical diagnosis using the partial area under the ROC curve. BMC Res Notes. 2014;7(1):25.
18 Ma H, Bandos AI, Rockette HE, Gur D. On use of partial area under the ROC curve for evaluation of diagnostic performance. Stat Med. 2013;32(20):3449-58.
19 Walter SD. The partial area under the summary ROC curve. Stat Med. 2005;24(13):2025-40.
20 McClish DK. Analyzing a portion of the ROC curve. Med Decis Making. 1989;9(3):190-5.
21 Miot HA. Assessing normality of data in clinical and experimental trials. J Vasc Bras. 2017;16:88-91.
22 Miot HA. Agreement analysis in clinical and experimental trials. J Vasc Bras. 2016;15:89-92.
23 Kawada T. Sample size in receiver-operating characteristic (ROC) curve analysis. Circ J. 2012;76(3):768.
24 Hanley JA, McNeil BJ. A method of comparing the areas under receiver operating characteristic curves derived from the same cases. Radiology. 1983;148(3):839-43.
25 Goksuluk D, Korkmaz S, Zararsiz G, Karaagaoglu AE. easyROC: An interactive web-tool for ROC curve analysis using R language environment. R J. 2016;8(2):213-30.
26 Amato ACM, Parga Filho JR, Stolf NAG. Development of a clinical model to predict the likelihood of identification of the Adamkiewicz artery by angiotomography. J Vasc Bras. 2018;17:19-25.
27 Miot HA. Analysis of ordinal data in clinical and experimental studies. J Vasc Bras. 2020;19: e20200185.
28 Yang H, Carlin D. ROC surface: A generalization of ROC curve analysis. J Biopharm Stat. 2000;10(2):183-96.
29 Ramos PM, Gumieiro JH, Miot HA. Association between ear creases and peripheral arterial disease. Clinics (São Paulo). 2010;65(12):1325-7.
30 Miot HA, Medeiros LMd, Siqueira CRS, et al. Association between coronary artery disease and the diagonal earlobe and preauricular creases in men. An Bras Dermatol. 2006;81:29-33.
31 Schisterman EF, Faraggi D, Reiser B. Adjusting the generalized ROC curve for covariates. Stat Med. 2004;23(21):3319-31.
Submetido em:
23/09/2020
Aceito em:
25/09/2020