La crisis provocada por el COVID-19 está poniendo de manifiesto lo importante que resulta una correcta gestión de la calidad de los datos. Y no solamente desde el punto de vista sanitario. Son muchas las organizaciones, de todo tipo de actividades, que han sustituido sus servicios presenciales por servicios on line, generando así nuevos datos. Solo con una correcta gestión de la calidad de estos les permitirá tomar decisiones estratégicas. La certificación AENOR basada en ISO/IEC 25012 propone un modelo que permite el control de la calidad de los datos, su evaluación y mejora.
Boris Delgado
Gerente de TIC
AENOR
Domenico Natale
Editor de las Normas ISO/IEC 25012 e ISO/ IEC 25024
Dr. Mario Piattini
Director Científico
AQCLab
Los datos son uno de los grandes protagonistas de la actual situación de alerta sanitaria que estamos viviendo provocada por el COVID-19. De su análisis y manejo dependen la información y el conocimiento necesarios para poder hacer frente a esta enfermedad. La calidad de los datos es determinante para poder hacer seguimiento de los casos actuales, y también para poder predecir la evolución que tendrá la enfermedad.
Ahora y en el mundo post COVID la confianza va a reforzarse como un activo fundamental; y las organizaciones que sean capaces de generar una relación de confianza con sus stakeholders se recuperarán mucho más rápido. Un elemento ineludible para conseguirlo será la capacidad de trasmitir certeza en la seguridad de la gestión de los datos.
Son muchas las organizaciones que están manteniendo su actividad en la fórmula de teletrabajo. Servicios hasta ahora presenciales se están facilitando vía on line y esto está generando muchos nuevos datos que son fundamentales gestionar correctamente porque de ellos dependerá el futuro de esas organizaciones
El petróleo del siglo XXI
Que la información es uno de los motores de las organizaciones del siglo XXI no es ningún secreto. Muchos expertos afirman que los datos son “el nuevo petróleo del siglo XXI”. Carlos Manuel Fernández, Asesor Estratégico de TI de AENOR considera que los datos son un recurso aún más básico para la Humanidad, como lo es el agua, limpia y saludable. Además, sugiere que también los datos deben poseer la calidad necesaria.
La crisis provocada por el COVID 19 ha puesto en evidencia que efectivamente los datos son un recurso fundamental para poder hacer frente a la pandemia.
Y no solamente desde el punto de vista sanitario. Son muchas las organizaciones que están manteniendo su actividad en la fórmula de teletrabajo. Servicios hasta ahora presenciales se están facilitando vía on line y esto está generando muchos nuevos datos que son fundamentales gestionar correctamente porque de ellos dependerá el futuro de esas organizaciones.
La certificación de AENOR, con la evaluación de AQCLab, basada en ISO/IEC 25012 permite a las organizaciones asegurar la calidad de sus datos para confiar en las decisiones basadas en los mismos
De calidad, fiables y seguros
Los datos deben ser de calidad, fiables y deben estar seguros. Una buena gestión de datos en las organizaciones es la clave para facilitar la toma de decisiones estratégicas de forma óptima, propiciar la reducción de costes, incidir en una mejor operatividad y mejorar la competitividad de las organizaciones en cualquier situación. La situación que estamos viviendo provocada por la pandemia mundial vuelve a poner de manifiesto la importancia de este hecho.
Otro aspecto que también se ha evidenciado con la crisis provocada por el COVID-19 es que solo aquellas organizaciones que venían trabajando en su transformación digital serán las que mejor puedan afrontar la situación.
Y esa transformación digital necesita del dato como principal activo de las organizaciones. No es casualidad que muchas de las tecnologías que acompañan a la disrupción digital, como Big Data, IoT (Internetof Things), RPA (Robot Process Automation), Machine learning, Deep Learning, o Business Intelligence dependen totalmente de la calidad de los datos para poder ofrecer resultados de interés.
Los datos que se convierten así en la materia prima esencial de las organizaciones para tomar decisiones, y ya no sólo las del equipo directivo como sucedía en la economía más tradicional; sino las decisiones de toda la organización.
Si ya se venía observando una tendencia a “democratizar” el acceso a los datos, con la situación actual esto es todavía mucho más necesario. El teletrabajo, extendido en todo el mundo entre organizaciones de todos los tamaños y sectores, obliga a que las personas de una empresa interactúen colaborativamente con los datos. Y no olvidemos que es fundamental asegurar que los datos adecuados están disponibles para la persona correcta en el momento oportuno.
Nivel adecuado de calidad
La calidad de los datos se puede considerar como su “adecuación a los diferentes usos”, por lo que debe ser adaptada a los diferentes contextos de uso y sectores de cada organización. Si no se consigue el nivel adecuado de calidad, se tomarán malas decisiones, produciéndose además problemas desde el punto de vista económico, técnico, social o sanitario, tendiendo en cuenta la actual situación provocada por el coronavirus. E incluso legal, baste recordar la importancia de la calidad de los datos en el Reglamento General de Protección de Datos (RGPD) de la Unión Europea o en cualquier legislación nacional relativa a la privacidad de datos.
Si nos centramos en la calidad de los propios datos, dentro de la familia de Normas ISO/ IEC 25000, es la ISO/IEC 25012 la que propone un modelo de calidad de datos, que diferencia las características de calidad que se pueden evaluar, en tres bloques:
- Calidad de los datos inherente: incluye aquellas características cuya medición depende de la propia naturaleza de los datos.
- Calidad de datos dependiente del sistema: recoge aquellas cuya medición depende del sistema de información en el que los datos están almacenados.
- Calidad de datos inherente y dependiente del sistema: incluye las características cuya medición depende tanto de la naturaleza de los datos como de la definición del sistema de información en el que los datos se alojan.
Figura 1. ISO/IEC 25012 Características
Características inherentes de los datos
Por su parte, la Norma ISO/IEC 25024 proporciona un conjunto de medidas/ métricas de calidad de datos, como la “exactitud sintáctica de los datos” que mide la relación de atributos que tienen valores relacionados sintácticamente precisos. Por ejemplo, una dirección de correo electrónico debe cumplir una regla sintáctica que especifique lo que se considera una dirección de correo electrónico válida, como “user@organization.com“ y su medida/métrica asociada es el ratio entre el número de elementos de datos con valores sintácticamente exactos, respecto al número de elementos de datos considerados.
Para la evaluación de la calidad de datos se adopta la ISO/IEC 25040, que propone un modelo de evaluación, que considera tanto las entradas al proceso de evaluación (requisitos para la evaluación, especificación de requisitos de calidad, productos a evaluar, etc.), como las restricciones (necesidades, planificación, etc.) y los recursos disponibles (personal, herramientas, equipos informáticos, etc.) para obtener las correspondientes salidas (plan de evaluación, medidas, criterios de decisión, resultados e informe de evaluación, etc.). En la Figura 2 se resumen las principales actividades de este proceso de evaluación.
Figura 2. Proceso de evaluación de calidad de datos basado en ISO/IEC 25040
Beneficios de la certificación
- CEO (Chief Executive Officer). Conoce el valor de los datos para tomar mejores decisiones estratégicas y ejecutivas; identificar responsabilidades de las actividades relacionadas con los datos; conocer la rentabilidad de las inversiones y otros recursos empleados en la gestión de los datos; gestionar los riesgos relacionados con los datos y asegurar el cumplimiento; y evaluar el grado de eficiencia y eficacia de las TIC desplegadas para la gestión y uso de los datos.
- CIO (Chief Information Officer). Dispone de una serie de políticas organizacionales alineadas a normativas y legislaciones a la hora de usar los datos y poder estimar su valor; puede destinar recursos humanos y tecnológicos para la ejecución de las actividades relacionadas con los datos; mitigar los riesgos derivados de los datos provenientes de toda la organización; y convertirse en un aliado estratégico del negocio, al proporcionarle su activo estratégico más importante.
- CDO (Chief Data Officer) y el equipo de trabajo de la organización tienen identificadas formalmente responsabilidades respecto a los datos que gestiona y utiliza; disponen de directivas para manejar los datos asegurando los niveles de calidad de datos; y reciben información más adecuada para desempeñar sus labores de forma más eficaz y eficiente.
- Los usuarios pueden tener absoluta confianza en que los procesos de negocio que utilizan trabajarán con datos confiables y que los resultados que obtengan podrán satisfacer sus objetivos.
Para la evaluación de la calidad de datos se adopta la ISO/IEC 25040, que propone un modelo de evaluación que considera las entradas al proceso de evaluación, las restricciones y los recursos disponibles para obtener las correspondientes salidas (plan de evaluación, medidas, criterios de decisión, resultados e informe de evaluación, etc.)
Todos estos estándares y buenas prácticas permiten el control de la calidad de datos, su evaluación, mejora y certificación. Para ello, se ha creado un ecosistema relacional (ver figura 3) de partes interesadas para la calidad de datos, en el que podemos identificar una serie de roles como son:
- Cliente: es la parte interesada en la evaluación y certificación de la calidad de los productos de datos propios y solicita tales servicios.
- Laboratorio de evaluación de la calidad: es la organización encargada de llevar a cabo la evaluación de la calidad de datos del cliente, y proporcionar el informe de evaluación. Estos laboratorios deben estar acreditados. En nuestro caso AQCLab, primer y único laboratorio acreditado por ENAC (Entidad Nacional de Acreditación) e ILAC (International Laboratory Accreditation Cooperation) para la realización de ensayos de evaluación de la calidad de los datos siguiendo la Norma ISO/IEC 25012.
- Entidad de certificación: como AENOR que aporta la experiencia en evaluación de la conformidad (certificación) y auditoría, y especialmente en las TIC. AENOR es la organización encargada de proporcionar el certificado en caso de que el producto de datos evaluado alcance el nivel de calidad necesario.
- Consultores: son las personas y organizaciones encargadas de ayudar al cliente a mejorar la calidad de sus datos para que alcancen el nivel necesario para poder ser certificadas.
- Distribuidores/fabricantes de herramientas: de medición o de otro tipo que puedan ayudar a evaluar y mejorar la calidad de los datos.
Figura 3. Ejemplo de entorno de evaluación y certificación de calidad de datos
Evaluación y certificación
El proceso comienza cuando la organización interesada en la calidad de los datos solicita una evaluación al laboratorio acreditado AQCLab. Para ello debe rellenar un formulario con las características del repositorio de datos que se quiere certificar, que es analizado por el laboratorio para emitir un contrato de evaluación con las condiciones del servicio. Aceptado este contrato, la organización hace entrega al laboratorio de las reglas de negocio1 y da acceso a un clon del repositorio de datos que se va a evaluar. A partir de aquí, el laboratorio realiza la evaluación haciendo uso del entorno (modelo, proceso y herramientas) basado en ISO/IEC 25012 y acreditado por ENAC.
El resultado de este trabajo es un informe de evaluación con los resultados obtenidos, que es entregado a la organización solicitante. En este paso, puede ocurrir que el nivel de calidad obtenido por el repositorio evaluado no sea suficientemente bueno, en cuyo caso la organización solicitante, apoyada por los consultores expertos del ecosistema, deberá corregir los hallazgos detectados para mejorar dicha calidad. En este caso, el tiempo que puede transcurrir dependerá del número de defectos que se deben solucionar y de la cantidad de recursos que la organización pueda dedicar para tal fin. Una vez mejorado el repositorio, la organización deberá repetir el primer paso del proceso para volver a obtener un informe de evaluación favorable.
Una vez que el repositorio de datos ha obtenido en la evaluación un nivel de calidad favorable, la organización puede contactar con AENOR para solicitar la certificación del repositorio de datos conforme a ISO/IEC 25012, indicando la referencia previa de la evaluación que ha pasado realizada por un laboratorio acreditado.
AENOR realiza una visita (en remoto o presencial) técnico- organizativa a la organización para la revisión de su entorno, responsables de las bases de datos/repositorios y se analiza en detalle el informe de evaluación del laboratorio acreditado de acuerdo con procedimientos y reglamento interno definido para la certificación de calidad de datos.
Visita técnico-organizativa
Durante la auditoría de certificación de AENOR se realiza una visita técnico- organizativa (en remoto o presencial) a la organización para la revisión de su entorno, responsables de las bases de datos/repositorios (dueño y custodio) y se analiza en detalle el informe de evaluación del laboratorio acreditado de acuerdo con procedimientos y reglamento interno definido para la certificación de calidad de datos.
Como resultado de este proceso de auditoría, AENOR emitirá un informe que debe responder con un plan de acciones correctivas si existieran no conformidades. Para poder mantener la calidad de las bases o repositorios de datos/con las características propias de la calidad de datos (exactitud, completitud, consistencia, credibilidad, actualidad, descritas en la ISO/IEC 25012), se debe establecer un Ciclo de Ingeniería del dato basado en estándares (best-practices) como son las ISO. La recomendación es aplicar el Modelo de Gobierno, Gestión y Calidad de Datos para Smart Data (BI- Business Intelligence y AI-Artificial Intelligence). Este modelo está basado ende este proceso de auditoría, AENOR emitirá un informe que debe responder con un plan de acciones correctivas si existieran no conformidades.
Una vez completas las actividades anteriores, se toma la decisión de concesión por el comité de evaluación TIC de AENOR y se entrega a la organización un certificado que acredita la calidad de los datos del repositorio. Este certificado identifica, entre otros, a la organización responsable del repositorio, el repositorio evaluado, las características de calidad del modelo evaluadas y referencia al informe del laboratorio acreditado que recoge los resultados de evaluación sobre el repositorio evaluado.
Para poder mantener la calidad de las bases o repositorios de datos/con las características propias de la calidad de datos (exactitud, completitud, consistencia, credibilidad, actualidad, descritas en la ISO/IEC 25012), se debe establecer un Ciclo de Ingeniería del dato basado en estándares (best-practices) como son las ISO. La recomendación es aplicar el Modelo de Gobierno, Gestión y Calidad de Datos para Smart Data (BI- Business Intelligence y AI-Artificial Intelligence). Este modelo está basado en ISO (best-practices) y en el Modelo Alarcos de Mejora de Datos – MAMD. (ver figura 4).
Este modelo, de forma breve consta de dos bloques relacionados, considerando que el cliente y sus datos son el centro de la organización:
- los procesos Governance & Management & QA Data (ISO 33000/ISO 8000)- Ciclo de Ingeniería del Dato
- la calidad de las propias bases de datos y repositorios, ya sean ficheros, bases de datos relacionales, bases de datos NO-SQL, almacenes/ repositorios, data lake, big data, datawarehouse, etc. (ISO 25012)
Notas
1 ”Una regla de negocio es una condición que se debe satisfa cer cuando se realiza una actividad de negocio. Una regla puede imponer una política de negocio, tomar una decisión o inferir nuevos datos de datos existentes.”
Figura 4. Modelo de Gobierno, Gestión y Calidad de Datos para Smart Data
Nota: ISO 25012: Certificación Calidad del Dato. ISO 33000/ISO 8000: Certificación Calidad Procesos del Dato.
Fuente: Carlos Manuel Fdez. –DQTEAM–