Al verificar si existen duplicados en el campo Mobile Number de un archivo de datos, pueden encontrarse problemas comunes de calidad de datos que hacen que una comprobación directa de duplicados en IDEA sea menos efectiva.
Supongamos que tenemos los siguientes tres números de celular:
● +549 11 4567- 8963
● 011 4567 8963
● 15 45678963
Aunque los tres representan el mismo número de celular, están registrados en diferentes formatos. Algunos incluyen caracteres especiales, otros contienen espacios o guiones, y otros incluyen dígitos adicionales antes del número de celular real de 10 dígitos.
Debido a estas diferencias de formato, si aplicamos directamente Duplicate Key Detection sobre estos valores, IDEA puede no devolver ningún resultado duplicado.
Para solucionar esto, podemos agregar un campo virtual de caracteres llamado “Mobile No New” y utilizar la función:
● @right(@strip(Mobile No), 10)
La función @strip ayuda a eliminar los caracteres especiales y los espacios.
La función @right permite obtener los 10 dígitos ubicados más a la derecha, que corresponden al número de celular real.
Después de aplicar esta función, los valores del nuevo campo virtual de caracteres se mostrarán de la siguiente manera:
● 45678963
● 45678963
● 45678963
Una vez estandarizados los números de esta manera, la aplicación de la detección de duplicados será mucho más precisa y efectiva. Esta es una técnica sencilla pero útil para mejorar la calidad de los datos antes de realizar comprobaciones de duplicados en IDEA.