Usar 4+ para avaliar a força muscular quase normal não melhora a concordância
Este estudo teve como objetivo examinar se estender a escala MRC padrão para uma escala MRC modificada melhora a concordância e reduz a variação das classificações.
Em geral, os dados não demonstram uma maior concordância percentual no grupo MRC modificado em comparação com o grupo MRC padrão e a inspeção visual das Figs. 1 e 2 sugerem que, se alguma coisa, há uma variação maior entre as notas e entre os casos no grupo MRC modificado.
O análogo de desvio médio também foi considerado maior em nove das dez comparações (todos os cinco casos, limitado e não limitado) no grupo MRC modificado em comparação com o grupo MRC padrão, bem como para todos os casos combinados, indicando que as avaliações foram mais uniformemente distribuídas e menos focadas no grupo MRC modificado.
Valores Kappa para ambas as escalas MRC padrão e modificada foram muito baixas (0,05 resp. 0,14). Embora, para ambas as escalas, a hipótese de nenhuma concordância excedendo a concordância pura (kappa = 0) foi rejeitada com p < 0,0001, parecia haver uma grande quantidade de variabilidade no dado avaliações e a força de concordância é baixa para ambos os grupos de avaliadores.
Deve-se ter cuidado ao tirar conclusões da concordância percentual observada, desvio médio análogo e kappa devido ao fato de que o número de categorias é aumentado por um ao mudar da escala MRC padrão para a escala MRC modificada. Por exemplo, com um aumento de 2 para 3 categorias em uma determinada escala, o percentual mínimo de concordância possível que pode ser observado cai de 50% para 33,3%. O índice ada variando de 0 a 1 supera esse problema, pois seus valores máximo e mínimo não dependem do número de categorias. Índices ada intermediários, no entanto, normalmente diminuem ao aumentar o número de categorias nas quais os casos são avaliados, não necessariamente preservando a ordem dos casos quando ordenados de acordo com seus índices ada (consulte Wilcox “Índices de variação qualitativa …” para uma ilustração exemplo).
Em outras palavras, com mais categorias disponíveis para escolher, a concordância tende a diminuir (e a dispersão a aumentar), pelo menos se toda a extensão da escala for usada. observou, no entanto, que o questionário atual foi intencionalmente projetado para focar em uma parte muito limitada da escala: com 2 respostas corretas (notas 4 e 5) na escala MRC padrão e apenas uma (4+) na a escala MRC modificada. Assim, se uma concordância maior e uma dispersão mais baixa tivessem realmente sido encontradas no grupo MRC modificado, conforme a hipótese, isso poderia ter sido o resultado de mais (2 vs 1) opções de resposta correta na escala MRC padrão . Mas, conforme descrito, o achado atual os resultados sugerem menor concordância e maior dispersão no grupo MRC modificado, apesar dos efeitos das diferenças no número de categorias. Na seção abaixo, discutimos se os cinco casos foram de fato construídos com sucesso de forma a enfocar as respostas de 4 ou 5 na escala MRC padrão e 4+ na escala modificada.
Finalmente, kappa é uma medida de concordância geralmente usada em estudos com um número relativamente grande de casos e um número relativamente pequeno de avaliadores. Pode ser aplicado a situações com um baixo número de casos avaliados por um grande número de avaliadores, mas normalmente resultará em valores kappa relativamente baixos. Independentemente disso, a expectativa ainda seria ver uma diminuição no kappa ao aumentar o número de categorias, ou seja, passando do MRC padrão para o MRC modificado (ver, por exemplo, Altmann “Estatísticas Práticas para Pesquisa Médica”).
Em suma, a concordância é pobre para ambas as escalas.O fato de termos observado um aumento no kappa, ao usarmos a escala MRC modificada em vez da padrão, poderia, a princípio, ser tomado como uma indicação de concordância ligeiramente aumentada da escala MRC modificada. No entanto, isso não pode ser testado rigorosamente, uma vez que os erros padrão para a mudança observada nos valores kappa não estão disponíveis no contexto dado. Em contraste, um aumento em ada para a escala MRC modificada indica uma maior variação qualitativa nas avaliações, quando comparada com o padrão MRC e, portanto, menos consenso entre esses avaliadores. Observar a porcentagem de concordância diminuindo na maioria dos casos, bem como para todos os casos combinados, não fornece indicação adicional de concordância melhorada e c onclusões, portanto, permanecem ambivalentes. Ao todo, os dados não sugerem uma melhora clara na concordância usando a escala MRC modificada.
Descrições de casos
Com casos especificamente projetados para descrever fraqueza muscular de forma ambígua na área cinza entre 4 e 5 na escala MRC padrão, era de se esperar que os avaliadores no grupo MRC padrão estivessem incertos sobre qual dessas duas opções escolher.Por outro lado, os avaliadores no grupo MRC modificado poderiam resolver essa incerteza escolhendo o valor médio de 4+. Esperava-se que isso, por sua vez, resultasse em maior concordância e menos variabilidade nas classificações no grupo MRC modificado em comparação com o grupo MRC padrão. Como concluído, não foi esse o caso.
Não se deve esperar que um ponto fraco descrito de forma ambígua em algum lugar entre 4 e 5 resulte em uma distribuição igual de 4 e 5 graus no grupo MRC padrão e é razoável esperar que os médicos coloquem maior ênfase nos achados anormais na descrição do caso do que nos achados normais. Na verdade, o grau 4 foi aproximadamente 3, três vezes mais comum do que 5 no grupo MRC padrão.
Exceto no caso C, as respostas de 3 ou menos no grupo MRC padrão podem geralmente ser atribuídas para participantes não familiarizados com a escala MRC e / ou participantes que viraram a escala de cabeça para baixo, marcando a maioria dos casos como 0, 1 ou 2. A maior frequência de respostas de 3 e menos no grupo MRC padrão é explicada pelo redação da pergunta nº 1. Os participantes não familiarizados com a escala MRC naturalmente responderiam Não à pergunta # 1, colocando-os assim no grupo MRC padrão. Os avaliadores não familiarizados com a escala MRC seriam, portanto, encontrados predominantemente no grupo MRC padrão. Para contrariar isto, apresentamos resultados com base em todos os dados disponíveis (ilimitado), bem como dados limitados a respostas adequadas na extremidade superior da escala.
A distribuição das respostas no caso A foi essencialmente semelhante entre os grupos, com 4+ simplesmente substituindo 4 no grupo MRC modificado. No caso B, no entanto, um número proporcionalmente maior de avaliadores no grupo MRC modificado escolheu 4, apesar de ter a opção 4+ disponível para eles. Conforme descrito na seção acima, alguns avaliadores escolheram 3 no caso C – não por não estarem familiarizados com a escala, mas porque sentiram fraqueza contra a gravidade e o aumento gradual da fraqueza garantiu uma nota 3. Em qualquer caso, a grande maioria dos avaliadores no grupo MRC padrão elegeu 4 no caso C, enquanto o grupo MRC modificado foi distribuído de forma mais uniforme em 4, 4+ e 5, com apenas 3 avaliadores escolhendo 3. O caso D foi distinto dos outros casos em que a resposta foi dada na descrição do caso: “Você encontra um grau de fraqueza 4” e, além disso, o caráter da fraqueza foi dado como “principalmente relacionado à dor”. Curiosamente, 44% do grupo MRC padrão e 31% do grupo MRC modificado ainda classificou o caso como 5. Em outras palavras, um número considerável de avaliadores optou por traduzir uma fraqueza de grau 4 em grau 5 quando informados de que a natureza da fraqueza estava relacionada à dor (em oposição a neuro-muscular). O grupo MRC padrão foi, portanto, quase uniformemente dividido entre os graus 5 e 4. O grupo MRC modificado, por outro lado, escolheu a resposta esperada de ‘4+’ em apenas 9% das respostas (a mais baixa em qualquer um dos casos) e respondeu ‘4’ em 60% das respostas. Pode-se argumentar que uma alta taxa de respostas de nota 4 não é surpreendente, já que a descrição do caso sugeriu especificamente que uma nota 4 foi observada. No entanto, ambos os grupos tiveram pouca reserva em escolher 5, apesar da descrição do caso e, além disso, a opção 4+ disponível para o grupo MRC modificado também estaria de acordo com a descrição do caso e poderia servir como uma forma de qualificar uma nota 4 fraqueza como relacionada à dor – ainda assim, foi a resposta menos comum no grupo MRC modificado (exceto as 2 respostas de 0). A disponibilidade de uma opção 4+ aparentemente não tentou o grupo MRC modificado a escolher esse grau como um meio de qualificar a fraqueza como relacionada à dor. Mesmo que o caso E tivesse a descrição menos convincente de fraqueza, 15% do grupo MRC modificado ainda escolheu 4 – novamente a disponibilidade de uma opção 4+ não os influenciou, nem melhorou a concordância.
e modo geral, portanto, argumentaríamos que os cinco casos foram formulados de forma ambivalente de modo a favorecer uma resposta intermediária na área cinza entre 4 e 5. Aceitando essa premissa, os resultados devem ter sido indiscutivelmente uma maior concordância no grupo MRC modificado, em comparação com o grupo MRC padrão. Em vez disso, a opção 4+ aparentemente apenas adicionou uma opção de resposta extra sobre a qual ser ambivalente, resultando em maior, em vez de menos disparidade no grupo MRC modificado.
O estudo atual apenas examinou o efeito da adição 4+ para a escala MRC, já que essa extremidade da escala parece ser a mais difícil de avaliar. Com base nos dados atuais, não podemos dizer se as escalas mais extensamente modificadas sugeridas pelo Medical Research Council, Barr et al. , Paternostro-Sluka et al. ou Bohannon resultaria em uma concordância maior, mas parece improvável, pois um número ainda maior de graus sem definições claras, muito provavelmente resultará em uma dispersão ainda maior.É perfeitamente possível, claro, que o acordo melhoraria em vez de se deteriorar com a adição de notas intermediárias, como 4+, se tais notas fossem claramente definidas com limites objetivos – esse não é o caso, entretanto.
As descobertas atuais não são baseadas em exames físicos reais de fraqueza muscular e não têm a intenção de examinar a validade do teste muscular manual como tal. Em vez disso, a descrição por escrito dos achados clínicos que foi apresentada aos participantes significa que a variabilidade devido a diferentes técnicas de exame e viés relacionado à adesão do paciente, etc. foi eliminada. Até onde sabemos, nenhum estudo de questionário comparável foi apresentado anteriormente. Todos os avaliadores foram apresentados aos mesmos achados clínicos (embora em sua língua nativa). A variabilidade nos dados presentes refletirá, portanto, predominantemente a variância relacionada às diferenças entre as escalas, variação entre avaliadores e, possivelmente, diferenças relacionadas ao idioma na interpretação das descrições de caso por escrito. Com base nos dados atuais, não podemos dissociar esses efeitos, mas embora suspeitemos que pequenas diferenças relacionadas à linguagem na interpretação das perguntas tenham pouco efeito, é bem possível que diferenças sistemáticas entre avaliadores que não sejam aqueles relacionados à escala MRC, está distorcido entre os grupos – por exemplo que avaliadores não familiarizados com a escala MRC tendiam a responder Não à pergunta # 1.
Limitações do estudo
O questionário poderia ter sido potencialmente distribuído a um grande número de médicos de diferentes profissões no norte da Europa. Por assim dizer, os dados refletem apenas quiropráticos e é possível que uma amostra mais ampla de médicos pudesse ter produzido outros resultados. Não temos nenhuma razão particular para acreditar que sim, pois a escala MRC não é específica para nenhuma profissão e faz parte de muitos livros-texto de pré-graduação e diretrizes clínicas comuns.
Além disso, para restringir o comprimento do questionário ao mínimo (para aumentar a probabilidade de os participantes concluírem), não perguntamos sobre tais características básicas como idade, sexo, anos de prática, principais interesses clínicos, universidade / faculdade de treinamento, etc. É possível que tais dados poderia ter levantado associações / contingências interessantes e certamente poderia ter descrito a população do estudo em maiores detalhes. Como está, a população do estudo só pode ser realmente descrita como quiropráticos do norte da Europa.