Metodología
A continuación, y a fin de facilitar la comprensión del Estudio, incluimos un resumen, a modo de manual sobre la fase previa a la realización del Estudio Delphi, el desarrollo metodológico y los resultados obtenidos, en la elaboración del Indicador Sintético de Calidad.
La elaboración del ISC se sustenta en metodología cualitativa, para ello se ha llevado a cabo un estudio Delphi. El cuestionario inicial se elaboró de acuerdo con la siguiente metodología:
Análisis de fuentes de datos
Las fuentes de datos empleadas han sido entre otras las siguientes
Búsqueda bibliográfica realizada “ad hoc”. Tendencias de vanguardia y buenas prácticas en gestión de calidad en el sector de los servicios, y concretamente en el ámbito sanitario.
Análisis de los distintos estándares, de su sistema de puntuación y ponderación de los sistemas de reconocimiento, certificaciones y acreditaciones más empleados en las instituciones sanitarias.
Revisión de indicadores sintéticos de calidad aplicados al ámbito sanitario en España, a nivel internacional y en la OCDE. Entre otras se ha llevado a cabo una búsqueda en las siguientes bases:
- Estudios de calidad desarrollados por el Ministerio de Sanidad Servicios Sociales e Igualdad.
- Estudios y sistemas de calidad aplicados en las distintas CC.AA.
- European Hospital and Healthcare Federation (HOPE).
- Hospitales en transición del Consejo de Europa.
- Observatorio Europeo de la Organización Mundial de la Salud.
- European Health Management Association.
- Organización para la Cooperación y el Desarrollo Económicos(OCDE).
- Federación Nacional de Hospitales.
Sistemas de salud de Reino Unido, Francia, Canadá y Estados Unidos.
Información aportada por la Fundación IDIS
Estudios previos realizados.
Grupo de expertos identificado.
Fases del estudio
El trabajo se ha estructurado en tres etapas, precedidas de una fase previa organizativa o de lanzamiento, y de una fase transversal de información y comunicación directa con panelistas.
Analisis y formulación
Durante esta etapa se llevaron a cabo las siguientes actuaciones:
Realización de una revisión de la literatura relacionada con los sistemas de reconocimiento, certificación y acreditación de la calidad, empleados en el sector de la salud.
Análisis documental bibliográfico.
Análisis y síntesis de las dimensiones, criterios y niveles de medición y ponderación de los grados de calidad obtenidos en cada uno de los sistemas incluidos en el estudio, extrayendo sus principales características.
Identificación de expertos con el fin de cursarles una invitación para participar en el estudio. La muestra de expertos no fue aleatoria: La Sociedad Española de Calidad Asistencial y la Fundación IDIS, propusieron panelistas con alto grado de conocimiento y experiencia sobre los sistemas de calidad empleados en el sector de la salud. La representación de expertos abarcaba a diversos ámbitos profesionales y geográficos, al proceder de distintas Comunidades Autónomas.
Formulación de las preguntas del cuestionario para la aplicación del Método Delphi a plantear al grupo de expertos del estudio. Se aseguró la consistencia del resultado verificando que las preguntas no introducían sesgos, partiendo de la adecuada selección de la información obtenida de la revisión de la literatura. Con tal fin, se plantearon las cuestiones de forma clara, concisa y directa para que fueran entendidas fácilmente por los expertos y no condicionaran la respuesta. Se realizó una prueba piloto con el Comité Director.
Presentación del cuestionario al grupo de expertos de refrendo, que testaron y enriquecieron el contenido con sus aportaciones, verificando su validez.
Análisis de sistemas de calidad asistencial
De cada sistema de reconocimiento, certificación o acreditación de la calidad empleados en el sector sanitario, se extrajeron las principales características agrupadas en los apartados referidos en el cuadro que puede verse a continuación.
Modelo de ficha elaborada de cada sistema de acreditación.
Grupo de expertos
Los panelistas fueron identificados entre aquellos que cumplían los siguientes criterios:
Profesionales expertos del sector sanitario público o privado, que gozan de reconocido prestigio en el ámbito de la calidad, amplio conocimiento, elevado grado de experiencia práctica e impacto, por su contribución a la comunidad científica en este campo.
Al estar descentralizada la gestión de las competencias sanitarias a las CC.AA. en nuestro Sistema de Salud, sobre la base de los criterios anteriores, se ha buscado la representatividad de todas las regiones, con panelistas pertenecientes a cada una de ellas. Haciendo scroll en la tabla podrá obtener la información completa.
Síntesis de mejores prácticas en calidad
Se elaboró una ficha como la del modelo anterior para cada uno de los sistemas de calidad que fueron considerados. Este análisis de cada Sistema de Calidad (SC en adelante) fue empleado en la confección del cuestionario inicial.
En un principio se iba a solicitar a los panelistas que otorgaran una puntuación directa a cada uno de los sistemas. Con posterioridad se produjo un cambio en el enfoque para evitar sesgos. En lugar de preguntar explícitamente por los diferentes SC, se consideró más pertinente utilizar las dimensiones o características que los definen.
Elaboración del cuestionario
La confección del cuestionario se fundamentó tanto en la revisión bibliográfica efectuada, como en la información extraída de cada modelo. Con carácter previo a su remisión, el instrumento fue testado por el equipo director del proyecto y por los expertos del grupo de refrendo. Con sus aportaciones se elaboró el cuestionario definitivo en formato Excel.
El cuestionario de la primera ronda fue de tipo semicerrado, para que los expertos pudieran realizar aportaciones.
El cuestionario constaba de dos apartados:
El primer apartado estaba orientado a valorar el marco conceptual (área A) y el marco operativo (área B) de cualquier posible SC implantado por un centro sanitario. El marco conceptual englobaba cuatro dimensiones (A1, A2, A3 y A4) y el marco operativo tres (B1, B2 y B3), sumando un total de siete. Este apartado incluyó en la primera ronda un total de sesenta y nueve atributos, de los cuales cincuenta y seis se relacionaban con el área A y trece con el área B.
El segundo apartado estaba orientado a obtener una valoración global de una lista inicial de los SC comúnmente empleados en instituciones sanitarias. Se solicitó a los panelistas que incorporaran aquellos SC que no se encontraban incluidos y estimaban relevantes.
Método Delphi
Para llevar a cabo el estudio, se optó por un método Delphi. Este método integra aspectos de investigación cualitativa y cuantitativa. Permite ser aplicado sin necesidad de alcanzar representación significativa estadística, utilizando únicamente ésta para ponderar las opiniones.
El logro de los objetivos en la aplicación del método Delphi a un tema concreto, depende de dos cuestiones fundamentales que fueron cuidadas de forma preeminente en este estudio (Astigarraga E,2006):
Correcta selección de panelistas
Validez contrastada del cuestionario
Para la aplicación del método se siguieron las pautas que en la literatura se marcan como adecuadas para su correcto empleo (Helmer O, 1983; Landeta J, 2006; Gordon T, 2007):
Anonimato: no debe existir contacto ni permitir la identificación y conocimiento entre los panelistas participantes.
Retroalimentación controlada: los resultados completos de la ronda previa no son entregados a los panelistas, solo circulan aquellos en los que no se consigue consenso.
Remisión de la respuesta del grupo en forma estadística: toda la información se presenta tabulada a cada uno de los expertos indicando los promedios y grado de dispersión.
Reclutamiento de participantes
La invitación a participar en el estudio se efectuó en dos fases:
Una primera en la que se contactó personalmente por teléfono con cada uno de ellos. En el transcurso de la conversación mantenida, se explicó de modo detallado:
La relevancia y principales características del estudio, y su posible impacto para el Sistema de Salud Español.
Los objetivos y el alcance que se perseguían.
El método empleado: número previsible de rondas, tiempo empleado en responder al cuestionario, duración aproximada del estudio, garantía de anonimato de las respuestas.
La tipología de los candidatos, así como los motivos por los que habían sido elegidos y los beneficios esperados que conllevaba su participación.
El potencial uso e impacto del estudio y la posible publicación de los resultados, figurando su nombre, para lo cual se solicitó su autorización.
Tras la aceptación telefónica del panelista, el Director General de la Fundación IDIS, remitió el cuestionario a cada experto, formalizando su participación mediante una carta de presentación del estudio, en la que agradecía su implicación.
Tabulación y análisis de resultados
Explicación de los resultados alcanzados en la primera y segunda ronda
A partir de las valoraciones obtenidas de la importancia asignada por cada panelista a cada atributo, se realizó un análisis estadístico descriptivo. Se calcularon parámetros de posición (media, mediana y moda) y dispersión (rango intercuartílico, desviación típica y percentiles) para determinar la simetría y concentración de la distribución de la importancia concedida por los expertos alrededor de un valor medio, resultado de la puntuación otorgada a cada atributo.
En cada dimensión se segmentaron los atributos sobre la base del valor de la media y la mediana y la dispersión de las valoraciones. La mediana se consideró el valor determinante, aunque se tuvieron en cuenta todos ellos.
Como resultado de todo el proceso, se obtuvieron dos grupos de atributos en cada dimensión: aquellos en los que había consenso (bien por considerarse los más importantes o bien por considerarse los menos importantes) y aquellos en los que era preciso confirmar la importancia asignada en una segunda vuelta del estudio Delphi.
En la primera ronda, para determinar aquellos ítems el consenso, y si éste se alcanzó por ser de máxima o mínima relevancia, se empleó un código cromático de identificación que ha facilitado su interpretación.
Desarrollo de indicador sintético
Hasta ahora, la mayor parte de los Sistemas de Calidad (SC) empleados en el sector sanitario, evaluaban de forma independiente distintos componentes de la calidad de una organización sanitaria. El diseño de un indicador sintético multidimensional e integral resulta relevante para homogenizar y evaluar en términos de calidad a las instituciones de salud, cualquiera que haya sido el SC implantado en su organización.
Según la Comisión Europea, los indicadores sintéticos “se basan en distintos submodelos que no tienen una unidad común de medida, y que no tienen una forma obvia de ponderarlos”. Para la OCDE “son variables que ofrecen información resumida sobre determinados fenómenos o espacios, gracias a la concesión de un valor suplementario que amplia la significación del parámetro individualmente considerado”.
Los tres atributos básicos que la OCDE otorga a los indicadores sintéticos son la simplificación, la cuantificación y la difusión (OCDE, 1997). El Indicador Sintético de Calidad (ISC):
Reduce a un número las áreas, dimensiones y atributos de la calidad.
Pondera cuantitativamente la importancia que tiene cada uno de los aspectos valorados con respecto a otro.
Permite transmitir y difundir información referente al objeto de análisis y valoración.
El ISC no constituye un fin en si mismo sino una herramienta que facilitará la construcción de bases de datos en las que sustentar comparaciones homogéneas y analizar la evolución del nivel de calidad alcanzado por las distintas organizaciones sanitarias que voluntariamente deseen autoevaluarse.
El ISC proporcionará una imagen de la posición de una determinada institución en un momento dado, pero no puede ser considerado como una foto fija de un año concreto. Se recomienda que para valorar a una organización sanitaria, se tomen periodos de comparación más amplios que un único año (5-10 como mínimo).
Desarrollo y validación de índice
Construcción del Indicador Sinténtico de Calidad
El Indicador Sintético de Calidad es una combinación lineal de las 7 dimensiones contempladas:
ISC = (α1*A1) + (α2*A2) + (α3*A3) + (α4*A4) + (β1*B1) + (β2*B2) + (β3*B3)
Se pretendía que su valor tuviera una interpretación sencilla, por lo que se ha construido de forma que varíe de 0 a 100. El problema era determinar el valor de los coeficientes αi y βi, constantes en el Indicador y no dependientes de ningún centro, y la puntuación en cada dimensión Ai y Bi, variable según cada centro.
Valor de los coeficientes αi y βi
Para su obtención se han considerado:
Las ponderaciones asignadas por los panelistas a cada una de las Áreas A y B
Las ponderaciones asignadas por los panelistas a cada dimensión de las Áreas A y B
Valor de cada dimensión (rangos posibles)
Las hipótesis y condiciones de partida fueron:
Cada atributo incluido en cada dimensión solo puede tomar dos valores: 1 = se cumple el contenido del atributo en el SC, 0= no se cumple el atributo en el SC.
El valor de cada atributo no puede ser igual en una dimensión, debe variar según la importancia que representa en esa dimensión, consensuada entre los panelistas.
El máximo valor de una dimensión, si se cumplen todos los ítems, ha de ser igual a su peso o coeficiente en el Indicador.
Las puntuaciones de dos atributos en una dimensión solo serán iguales si la importancia atribuida (mediana) es la misma. Estas puntuaciones son fijas en el modelo y no dependen de los centros.
Calculo del ISC
ISC= α1 * A1 + α2 * A2 + α3 * A3 + α4 * A4 + β1 * B1 + β2 * B2 + β3 * B3;
La puntuación en cada dimensión se obtiene sumando el valor de las puntuaciones obtenidas por los atributos (j, si les denominamos con esa letra genérica) de esa dimensión:
Ai = ∑ Aj*C; Bi = ∑ Bj*C
donde C puede tomar dos valores: 1 si se cumple el ítem y 0 si no se cumple. Variable, por tanto, en cada centro y con valor dicotómico.
Ai = Peso de los atributos j en la dimensión Ai (Mediana de la importancia asignada al atributo j / Suma de las medianas de los atributos de la dimensión Ai). Bi = Peso de los atributos j en la dimensión Bi (Mediana de la importancia atribuida al atributo j / Suma de las medianas de los atributos de la dimensión Bi). Este indicador fue remitido a todos los participantes en el estudio y presentado al grupo de refrendo, tras ser aprobado por el Comité de Dirección.
Hoja de ruta para la difusión
Validación de la construcción del Indicador Sintético de Calidad
Para evaluar la aplicabilidad del mismo, se llevó a cabo una simulación en 5 Hospitales de distintas características: 2 hospitales públicos de referencia y alta complejidad, 1 hospital público de media complejidad, 1 hospital de media estancia y en 1 hospital privado de alta complejidad. La simulación permitió clasificar los hospitales.
Distintivo gráfico del sistema de calidad asistencial
La Fundación IDIS ha confeccionado un distintivo de marca de calidad, ligado al ISC, que se asignará a los centros de acuerdo con el nivel de puntuación logrado, como reconocimiento al grado de calidad alcanzado por una determinada institución sanitaria.
Conclusiones y Recomendaciones
Asignar puntuaciones a un determinado SC resulta complejo. No es una actividad meramente académica o técnica, sino que responde a una serie de fines determinados (Molas Gallart y Castro Martínez, 2007). Probablemente esa sea la causa por la que hasta la fecha no se ha alcanzado consenso para la confección de un ISC.
En este estudio se ha conseguido obtener un Indicador Sintético de Calidad que permite una agregación en un solo constructo de cada una de las áreas y dimensiones principales de la calidad, gracias a los siguientes factores:
Claridad de objetivos, que desde el inicio se centraron en conseguir una herramienta que permitiera evaluar, en términos homogéneos, la calidad de las instituciones sanitarias públicas y privadas del Sistema Nacional de Salud, como reconocimiento a la excelencia y el esfuerzo sostenido para su mejora.
Cambio de enfoque sobre el planteamiento inicial, al centrar el estudio en las áreas y dimensiones de la calidad y no en la puntuación de un determinado SC, que puede generar sesgos, por ejemplo por tener el panelista un mayor conocimiento o estar más familiarizado con la aplicación de un determinado SC.
Alta implicación en el estudio de las Sociedades Científicas relacionadas con la calidad, involucradas desde su planteamiento y selección de panelistas, hasta su seguimiento y evaluación de resultados.
Identificación de los panelistas participantes en el estudio entre aquellos de las distintas Comunidades Autónomas que cuentan con amplio conocimiento, dilatada experiencia y reconocido prestigio en gestión de la calidad asistencial.
Validez del cuestionario, al estar sustentado en las principales dimensiones de la calidad y haber sido enriquecido con las aportaciones del equipo directivo del proyecto, el grupo de refrendo y los panelistas participantes.
Alto grado de compromiso de los participantes en el estudio, consiguiendo un elevado grado de consenso y una significativa tasa de respuesta, que permitió acortar el tiempo del estudio a dos rondas y conseguir un Indicador Sintético de Calidad robusto.
Realización de una simulación, aplicando el Indicador Sintético de Calidad elaborado en varios hospitales que de forma voluntaria y anónima han aplicado la herramienta, remitiendo las respuestas obtenidas y permitiendo la comparación.
La confección del ISC se ha realizado con rigor científico, mediante el método Delphi que emplea un análisis cualitativo (opinión de expertos) y un procesamiento de las respuestas cuantitativo (tratamiento estadístico).
El ISC, tal y como ha sido diseñado, premia a aquellas instituciones que se esfuerzan en implantar un SC progresivo y continuado en el tiempo, que es evaluado por una agencia independiente y que recibe un reconocimiento/ certificación y acreditación externa por su esfuerzo
El ISC obtenido es un indicador “vivo”, dada la constante aparición de nuevos SC en el ámbito de los servicios y, más concretamente, en el sector de la salud. En este contexto resulta obligado efectuar actualizaciones periódicas del ISC obtenido.
La creación por la Fundación IDIS de un distintivo diferencial, en función del rango de puntuación del ISC, obtenido por una institución, permite conseguir un reconocimiento externo que otorga visibilidad a la organización sanitaria por sus resultados en términos de calidad. Este aspecto resulta muy atractivo, en una sociedad globalizada como la actual y un contexto como el europeo, donde la libre circulación de pacientes y profesionales representa una oportunidad para el sector sanitario español, tanto desde el punto de vista social, como del sanitario, tecnológico y económico.
Con este proyecto la Fundación IDIS pone a disposición de cualquier institución sanitaria, pública o privada, que preste asistencia en atención primaria, especializada o socio-sanitaria una herramienta gratuita que le permitirá realizar una autoevaluación con el ISC y compararse de forma homogénea y anónima, con sus pares o consigo misma en otro periodo, preservando la confidencialidad. Su fortaleza radica en que agrupa los sistemas de gestión, los valora y pondera en función de su alcance y tiempo de implantación, y se transforma al ritmo que evoluciona el mundo de la Calidad y de la Excelencia, buscando sinergias entre todos.