CD_56 Original + Derivados

CD_56: Ecoli (Imbalanced Version 4)

Conjunto de datos biológico para identificar qué proteínas se encuentran en la superficie externa de la bacteria E. coli

📈 Eficacia Predictiva Detallada

Comparación detallada de las métricas de clasificación para los modelos entrenados con el conjunto de datos original y el conjunto sintético generado.

📊 Conjunto Original

Clase Precisión Recall F1-Score Soporte
Clase 0 0.94 0.94 0.94 64
Clase 1 0.00 0.00 0.00 4
Accuracy 0.88
Macro Avg 0.47 0.47 0.47 68
Weighted Avg 0.88 0.88 0.88 68
AUC-ROC: 0.07
F1-Score (weighted): 0.88
Accuracy: 0.88
➡️ Mejora
⬆ +0.93 AUC ⬆ +0.12 F1 ⬆ +0.12 Acc
🏆 MEJOR RENDIMIENTO

🔮 Conjunto Sintético

Clase Precisión Recall F1-Score Soporte
Clase 0 1.00 1.00 1.00 64
Clase 1 1.00 ⬆ +1.00 1.00 ⬆ +1.00 1.00 ⬆ +1.00 4
Accuracy 1.00 ⬆ +0.12
Macro Avg 1.00 ⬆ +0.53 1.00 ⬆ +0.53 1.00 ⬆ +0.53 68
Weighted Avg 1.00 ⬆ +0.12 1.00 ⬆ +0.12 1.00 ⬆ +0.12 68
AUC-ROC: 1.00 ⬆ +0.93
F1-Score (weighted): 1.00 ⬆ +0.12
Accuracy: 1.00 ⬆ +0.12

📊 Resumen de Mejoras en Clase Minoritaria (Clase 1)

🎯
Precisión
Original: 0.00
Sintético: 1.00
⬆ +1.00
📈
Recall
Original: 0.00
Sintético: 1.00
⬆ +1.00
⚖️
F1-Score
Original: 0.00
Sintético: 1.00
⬆ +1.00

📚 Fuente Original del Conjunto

Ecoli (Imbalanced: 4) Dataset

v1.0
Datos del mundo real (localización de proteínas en E. coli)
Disponible en repositorios públicos (KEEL)
Repositorio: KEEL Repository
DOI: No disponible
URL: KEEL Repository
Licencia: Uso académico y de investigación
Instancias: 336
Características: 7 (todas numéricas reales)
Clases: 2 (positivo: om, negativo: resto)
Razón de desbalanceo (IR): 15.8
% Positivos: 5.95%
% Negativos: 94.05%

📄 Resumen (Abstract)

El conjunto de datos Ecoli (Imbalanced: 4) es una versión desbalanceada del conjunto de datos de localización de proteínas en E. coli. Los ejemplos positivos pertenecen a la clase om (membrana externa), mientras que los ejemplos negativos pertenecen al resto de clases de localización subcelular. Este dataset está diseñado específicamente para abordar problemas de clasificación desbalanceada, con una razón de desbalanceo (IR) de 15.8 y solo 5.95% de instancias positivas.

🧬 Contexto del Dominio

El conjunto de datos Ecoli original es un problema de clasificación multi-clase en bioinformática que busca predecir la localización subcelular de proteínas en la bacteria Escherichia coli. Este dataset en particular es una versión binaria desbalanceada que se enfoca en la clase om (membrana externa) frente a otras localizaciones.

📋 Clases del Dataset
Clase Descripción Rol en este dataset
om Membrana externa (localización subcelular) Clase Positiva (minoritaria)
Resto de clases Otras localizaciones (citoplasma, membrana interna, etc.) Clase Negativa (mayoritaria)
⚠️ Características del Desbalanceo
  • Instancias positivas (om): 20 (5.95%)
  • Instancias negativas (resto): 316 (94.05%)
  • Razón de Desbalanceo (IR): 15.8
  • Desafío: Identificar la clase minoritaria en un contexto de alta desproporción

📊 Descripción de Datos

El dataset contiene 336 instancias con 7 atributos (6 variables predictoras y 1 variable objetivo). Todas las características son de tipo real (continuo) en el rango [0, 1] y no presentan valores faltantes.

📋 Variables del Dataset
Variable Tipo Descripción Rango
A. Variables Predictoras
Mcg Real Puntuación de localización en el complejo de Golgi [0.0, 0.89]
Gvh Real Puntuación de localización en el aparato de Golgi [0.16, 1.0]
Lip Real Puntuación de localización en el lípido [0.48, 1.0]
Chg Real Puntuación de localización en el compartimento [0.5, 1.0]
Aac Real Puntuación de localización en la membrana [0.0, 0.88]
Alm1 Real Puntuación de localización 1 [0.03, 1.0]
Alm2 Real Puntuación de localización 2 [0.0, 0.99]
B. Variable Objetivo
Class Binaria (Target) Indica si la proteína se localiza en la membrana externa (om) {positive, negative}

📋 Características del Dataset

  • Tipo de problema: Clasificación binaria desbalanceada
  • Dimensión: Multivariante (336 × 7)
  • Tipo de características: Reales (continuas)
  • Valores faltantes: No
  • Área de aplicación: Bioinformática, Localización de Proteínas, Clasificación Desbalanceada
  • Razón de desbalanceo (IR): 15.8
  • % Positivos: 5.95%
  • % Negativos: 94.05%

⚖️ Ética y Privacidad

El conjunto de datos contiene datos de bioinformática sobre la bacteria Escherichia coli y no incluye información personal identificable. Los datos son de dominio público y se utilizan exclusivamente para fines académicos y de investigación. Restricción de confidencialidad: El uso de los datos está restringido a fines académicos y de investigación. La publicación de resultados debe limitarse a métricas de evaluación, resultados agregados y metodología del modelo.

📋 Notas de Uso

Este conjunto de datos es un benchmark clásico para clasificación desbalanceada. Se recomienda:

  • La variable objetivo Class está codificada como positive (om) y negative (resto de clases)
  • Las variables predictoras son numéricas reales en el rango [0, 1] y no requieren normalización
  • El dataset presenta un desbalanceo significativo (IR = 15.8) que requiere técnicas especiales:
    • Sobremuestreo de la clase positiva (SMOTE, ADASYN)
    • Submuestreo de la clase negativa (Random Undersampling)
    • Cost-sensitive learning (ponderación de clases)
    • Métodos de ensemble (Balanced Random Forest, EasyEnsemble)
  • Métricas apropiadas para datos desbalanceados:
    • Precision-Recall AUC (área bajo la curva de precisión-recall)
    • F1-Score (media armónica de precisión y recall)
    • Recall (sensibilidad para la clase positiva)
    • G-mean (media geométrica de sensibilidad y especificidad)
  • El dataset está disponible en el repositorio KEEL con particiones de 5-folds para validación cruzada
  • Es adecuado para modelos de clasificación como SVM con balanceo, Random Forest, XGBoost, y redes neuronales con muestreo
  • Las características Mcg, Gvh, Lip, Chg, Aac, Alm1, Alm2 representan puntuaciones de localización en diferentes orgánulos celulares

💡 Importancia en la Investigación de Clasificación Desbalanceada

El conjunto de datos Ecoli (Imbalanced: 4) es un benchmark clásico en la investigación de clasificación desbalanceada. Su importancia radica en:

  • Proporciona un problema real de bioinformática con un desbalanceo natural (IR = 15.8)
  • La clase minoritaria (om) representa solo el 5.95% de las instancias
  • Permite evaluar y comparar técnicas de muestreo y algoritmos para datos desbalanceados
  • Es ampliamente utilizado en la literatura para demostrar nuevos métodos de clasificación desbalanceada
  • El dataset tiene particiones predefinidas en KEEL para validación cruzada reproducible

Este dataset ha sido fundamental para el desarrollo de técnicas de aprendizaje desbalanceado y ha contribuido al avance de la minería de datos en problemas con clases minoritarias, especialmente en el campo de la bioinformática.

📖 Cómo citar la fuente original

Ecoli (Imbalanced: 4) Dataset. KEEL Repository. https://sci2s.ugr.es/keel/dataset.php?cod=165

📚 Referencias Adicionales

  • KEEL Repository - Ecoli (Imbalanced: 4). https://sci2s.ugr.es/keel/dataset.php?cod=165
  • Nakai, K., & Kanehisa, M. (1991). Expert system for predicting protein localization sites in gram-negative bacteria. Proteins: Structure, Function, and Bioinformatics, 11(2), 95-110.
  • Horton, P., & Nakai, K. (1996). A probabilistic classification system for predicting the cellular localization sites of proteins. Proceedings of the Fourth International Conference on Intelligent Systems for Molecular Biology, 109-115.
  • Alcalá-Fdez, J., et al. (2011). KEEL Data-Mining Software Tool: Data Set Repository, Integration of Algorithms and Experimental Analysis Framework. Journal of Multiple-Valued Logic and Soft Computing, 17(2-3), 255-287.

🔄 Transformaciones Aplicadas

Modificaciones realizadas al conjunto original (Ecoli - Imbalanced 4)

  • Carga y estructuración de datos:
    • Carga del archivo ecoli4.dat ignorando líneas de metadatos KEEL (comentarios con '@').
    • Asignación de nombres de columnas según la documentación: 7 variables predictoras (Mcg, Gvh, Lip, Chg, Aac, Alm1, Alm2) y 1 variable objetivo (Class).
    • Manejo de espacios después de comas con skipinitialspace=True para garantizar una carga correcta.
    • Limpieza de espacios en blanco en valores de tipo texto para garantizar consistencia.
  • Transformación de la variable objetivo:
    • Codificación de Class de texto a binaria: 'positive' (om - Membrana Externa) → 1 (Clase Positiva - Minoritaria), 'negative' (Resto de localizaciones: cp, im, pp, etc.) → 0 (Clase Negativa - Mayoritaria).
    • Documentación del objetivo: predicción de localización de proteínas en la membrana externa (om).
    • El dataset está diseñado específicamente para estudiar el desbalance (IR ~15.8).
  • Detección y eliminación de columnas constantes:
    • Identificación automática de columnas con varianza cero (valores constantes) que no aportan información predictiva.
    • Eliminación de columnas constantes como Lip y Chg (frecuentemente constantes en versiones de este dataset) para evitar problemas en cálculos de correlación.
    • Documentación en leyenda de las columnas eliminadas para transparencia metodológica.
  • Preservación y documentación de variables predictoras:
    • Mantenimiento de las variables predictoras como scores biométricos numéricos.
    • Documentación detallada de cada variable:
      • Mcg: Método de McGeoch.
      • Gvh: Método de von Heijne.
      • Lip: Score de Lipofilin (a menudo constante 0.48).
      • Chg: Carga (a menudo constante 0.5).
      • Aac: Score discriminante aminoácidos.
      • Alm1: Score del programa ALOM (1).
      • Alm2: Score del programa ALOM (2).
  • Generación de documentación completa:
    • Creación del archivo leyenda_ecoli_imbalanced.txt con semántica completa de la variable objetivo y todas las variables predictoras.
    • Documentación de la variable Class (0 = negative - Resto de localizaciones, 1 = positive - om/Membrana Externa).
    • Nota sobre el alto desbalance del dataset (IR ~15.8) — característica fundamental para validación de técnicas de sobremuestreo.
    • Contextualización biológica: localización de proteínas en células de Escherichia coli.
    • Estadísticas finales: total de instancias, distribución de clases y ratio de desbalance.
  • Preservación de la estructura y calidad de datos:
    • Mantenimiento de las instancias originales del dataset Ecoli sin eliminación de filas.
    • Dataset final con 7 variables predictoras (todas numéricas) y 1 variable objetivo binaria.
    • Guardado en formato CSV con separador punto y coma (;) para compatibilidad internacional.

📊 Resultado: Dataset de localización de proteínas en E. coli con 7 variables predictoras (scores biométricos) y 1 variable objetivo binaria (Class). Desbalance alto (~94% clase negativa / ~6% clase positiva, IR ~15.8) — escenario crítico para validación de técnicas de generación de datos sintéticos y evaluación del índice TabDSFidelity en contextos de bioinformática y predicción de localización subcelular, donde la identificación de proteínas de membrana externa es relevante para el estudio de la estructura y función de bacterias gramnegativas.

🧬 Fuente: Ecoli Dataset (KEEL Repository) - Datos de localización de proteínas en Escherichia coli para clasificación de membrana externa.

🔬 Variables predictoras (biométricas): Mcg, Gvh, Lip, Chg, Aac, Alm1, Alm2 — métodos de predicción de secuencias para localización subcelular.

🎯 Variable objetivo: Class (1 = positive - om/Membrana Externa, 0 = negative - Resto de localizaciones: cp, im, pp, etc.).

⚠️ Desbalance alto: Solo ~6% de instancias pertenecen a la clase positiva (om) — escenario ideal para validación de técnicas de sobremuestreo y generación de datos sintéticos en problemas de clasificación con datos desbalanceados.

📁 Leyenda disponible: Archivo leyenda_ecoli_imbalanced.txt con descripción completa de la variable objetivo y las variables biométricas.

🧹 Limpieza aplicada: Carga ignorando metadatos KEEL, limpieza de espacios, codificación de target ('positive'→1, 'negative'→0), eliminación de columnas constantes (varianza cero).

📋 Diccionario de Datos Detallado

Variable Descripción de Localización Proteica Tipo Rango / Categorías Unidad ¿Objetivo?
Mcg Método de McGeoch para reconocimiento de secuencia señal Numérico 0.04 - 0.89 N/A No
Gvh Método de von Heijne para reconocimiento de secuencia señal Numérico 0.24 - 0.86 N/A No
Lip Score de von Heijne para predicción de Signal Peptidase II Numérico 0.48 - 1.00 N/A No
Chg Presencia de carga en el N-terminal de lipoproteínas predichas Numérico 0.50 - 1.00 N/A No
Aac Score de análisis discriminante del contenido de aminoácidos Numérico 0.16 - 0.86 N/A No
Alm1 Score ALOM para predicción de regiones de membrana Numérico 0.03 - 0.92 N/A No
Alm2 Score ALOM excluyendo regiones señal escindibles putativas Numérico 0.16 - 0.92 N/A No
Class Localización en membrana externa (objetivo) Binario 0: No (Otras localizaciones), 1: Sí (Membrana Externa) N/A Sí
9 Variables totales
8 Numéricas
0 Categóricas
1 Binarias
Objetivo: Membrana Externa (Class)
Datos ausentes: 0%

📈 Distribución de la variable objetivo en el conjunto original

📖 Leyenda de Variables Categóricas

Esta sección detalla los códigos y significados de las variables categóricas y binarias presentes en el conjunto de datos de Localización de Proteínas en E. coli (Ecoli Imbalanced). Comprender estas codificaciones es fundamental para la correcta interpretación de los resultados de clasificación de proteínas.

Class 🎯 Objetivo
Código Significado
0 No (om = 0) - Proteína NO se localiza en membrana externa. Otras localizaciones: cp (Citoplasma), im (Membrana interna), pp (Periplasma), etc. Clase mayoritaria (~94%)
1 Sí (om = 1) - La proteína se localiza en la membrana externa (outer membrane). Clase minoritaria (~6%)
🎯

Variable Objetivo: Clasifica si una proteína se localiza en la membrana externa (om) frente a otras localizaciones celulares en E. coli.

Variables Binarias Binario

Formato: 0 = No (Otras localizaciones), 1 = Sí (Membrana Externa)

Class 🎯 Variable Objetivo: Localización en membrana externa (0: No, 1: Sí)
ℹ️

Nota: Única variable binaria en el dataset.

📊
Variables numéricas: 8
  • Mcg - Método de McGeoch
  • Gvh - Método de von Heijne
  • Lip - Score de Signal Peptidase II
  • Chg - Carga N-terminal
  • Aac - Score de aminoácidos
  • Alm1 - Score ALOM (1)
  • Alm2 - Score ALOM (2)
🎯
Variables binarias: 1
  • 🎯 Class (Objetivo - Membrana Externa)
⚠️
Recomendaciones de Análisis:
  • Métrica clave: Recall sobre Accuracy (detectar proteínas de membrana externa es prioritario)
  • Variables clave: Alm1 y Alm2 son los predictores más importantes
  • Escalado: Todas las variables están en rango [0,1]. No requiere escalado adicional.

🔬 Metodología de Generación (Reproducibilidad Científica)

📐 Método Principal

SMOTE RSB* Adaptado

Versión: 2.0

DOI: 10.1007/s42979-026-04896-8

📏 Reglas de restricción

  • Alm1 > 0.85 → Class = 0
  • Lip > 0.5 → Class = 0
  • Chg == 1.0 → Class = 0
  • Class == 1 → Alm1 < 0.4
  • Class == 1 → Alm2 < 0.4
  • Class == 1 → Mcg > 0.2
  • Mcg < 0.2 → Lip = 0.48
  • Mcg < 0.2 → Class = 0
  • Alm1 > 0.8 → Alm2 > 0.5
  • Gvh > 0.8 → Mcg > 0.5
  • Class == 1 → (Alm1 < 0.4) OR (Alm2 < 0.4)
  • Mcg > 0.85 → Alm1 < 0.5

⚙️ Hiperparámetros SMOTE RSB* Adaptado

Valor escala0.03
Probabilidad Base0.1

🔄 Hiperparámetros CTGAN

epochs500
batch_size20
generator_lr0.0002
discriminator_lr0.0002
pac2
generator_dim(128, 128)
discriminator_dim(128, 128)
embedding_dim128
l2scale1e-05

📊 Hiperparámetros TVAE

epochs 400
batch_size 50
embedding_dim 64
compress_dims (64, 64)
decompress_dims (64, 64)
l2scale 1e-5
loss_factor 2

🔐 Reproducibilidad

Random Seed42
Python3.12.12

Librerías utilizadas:

  • pandas: 2.3.3
  • numpy: 2.4.4
  • scikit-learn: 1.7.2
  • imbalanced-learn: 0.14.0
  • ctgan: 0.11.1
  • torch: 2.9.0
  • sdv: 1.28.0
  • scipy: 1.16.3
  • matplotlib: 3.10.9
📝

Para reproducir exactamente este conjunto de datos, ejecute el script de generación con la semilla aleatoria 42. Los resultados pueden variar ligeramente según la versión de las librerías.

📊 Conjuntos de Datos Derivados

El conjunto original ha sido sometido a un proceso de balanceo de clases y generación sintética para mejorar la representación de clases minoritarias. Nota: se ha empleado un conjunto de validación para evaluar el índice de fidelidad. Se han generado tres familias de conjuntos:

  • 📊 Balanceados: Conjuntos creados mediante técnicas de sobremuestreo
  • 🔮 Sintéticos Puros: Conjuntos generados completamente con modelos generativos
  • ✨ Aumentados: Combinación del conjunto original + datos sintéticos

El mejor conjunto de cada etapa fue seleccionado mediante el índice TabDSFidelity.

📊 Conjuntos Balanceados 8 conjuntos

Algoritmo Ratio N° Ejemplos AUC-ROC F1 Accuracy TabDSFidelity Jensen-Shannon Kolmogorov-Smirnov Kullback-Leibler Correlación Tiempo Total (s) Dist. Promedio Copias Exactas Ataque MIA Mejor
Random Oversampling 1 378 0.990 0.984 0.985 8.965 0.222 0.286 0.467 0.852 56.875 0 378 0.485 🏆
Smote 1 378 0.984 0.984 0.985 7.947 0.333 0.286 0.467 0.851 58.479 0.008 201 0.456
Borderline SMOTE 1 378 0.931 0.984 0.985 5.375 0.359 0.143 0.467 0.839 57.056 0.015 201 0.542
ADASYN 1.005 379 0.974 0.984 0.985 6.907 0.358 0.143 0.469 0.849 56.954 0.015 201 0.502
SMOTE RSB* Adaptado 1.050 369 0.972 0.984 0.985 7.593 0.327 0.286 0.446 0.852 50.822 0.011 201 0.468
SMOTE RSB* Adaptado + Reglas 1.050 369 0.966 0.984 0.985 7.434 0.327 0.286 0.446 0.858 50.837 0.013 201 0.493
OOF PSO para Balanceo 1.750 297 0.954 0.984 0.985 5.186 0.316 0.006 0.259 0.701 54.551 0.043 201 0.493
OOF PSO para Balanceo + Reglas 18.933 299 0.970 0.965 0.970 1.620 0.346 0.061 0.001 0.689 54.605 0.068 200 0.465
⭐ Mejor seleccionado: Random Oversampling (TabDSFidelity: 8.965, AUC: 0.990, F1: 0.984, MIA: 0.485). Nota: Ratio <= 1.5 = Conjunto Balanceado.

🔮 Conjuntos Sintéticos Puros 10 conjuntos

Algoritmo Ratio N° Ejemplos AUC-ROC F1 Accuracy TabDSFidelity Jensen-Shannon Kolmogorov-Smirnov Kullback-Leibler Correlación Tiempo Total (s) Dist. Promedio Copias Exactas Ataque MIA Mejor
SMOTE RSB* + Ruido Gaussiano 2.247 5146 0.851 0.958 0.955 5.263 0.650 0.014 0.190 0.901 63.729 0.132 0 0.371
SMOTE RSB* + Ruido Gaussiano + Reglas 2.525 5146 0.812 0.984 0.985 5.037 0.649 0.014 0.163 0.897 167.510 0.132 0 0.419
CTGAN 1.004 10000 0.982 0.780 0.701 6.111 0.362 0.211 0.465 0.827 183.736 0.097 0 0.560
CTGAN + Reglas del Dominio 1.476 10000 0.992 0.780 0.701 6.465 0.358 0.276 0.314 0.826 316.142 0.092 0 0.570
TVAE 1.100 9996 0.984 0.958 0.955 8.097 0.268 0.286 0.426 0.763 127.178 0.035 0 0.509 🏆
TVAE + Reglas del Dominio 1.149 9996 0.984 0.958 0.955 8.075 0.268 0.286 0.408 0.758 258.235 0.036 0 0.478
OOF PSO para Aumento 1 10000 0.907 0.545 0.433 1.805 0.622 0.185 0.467 0.666 113.997 0.140 0 0.563
OOF PSO para Aumento + Reglas 1.415 10000 0.940 0.685 0.582 3.407 0.622 0.186 0.329 0.677 244.940 0.143 0 0.525
SMOTE RSB* Refinado 2.333 5000 0.861 0.984 0.985 5.499 0.670 0.013 0.181 0.889 61.375 0.008 0 0.450
SMOTE RSB* Refinado + Reglas 2.626 5000 0.863 0.984 0.985 5.515 0.670 0.013 0.154 0.888 163.428 0.011 0 0.467
⭐ Mejor seleccionado: TVAE (TabDSFidelity: 8.097, AUC: 0.984, F1: 0.958, MIA: 0.509). Nota: Ratio <= 1.5 = Conjunto Balanceado.

✨ Conjuntos Aumentados 10 conjuntos

Algoritmo Ratio N° Ejemplos AUC-ROC F1 Accuracy TabDSFidelity Jensen-Shannon Kolmogorov-Smirnov Kullback-Leibler Correlación Tiempo Total (s) Dist. Promedio Copias Exactas Ataque MIA Mejor
SMOTE RSB* + Ruido Gaussiano 2.114 5524 0.889 0.984 0.985 5.587 0.607 0.010 0.206 0.897 115.948 0.131 0 0.377
SMOTE RSB* + Ruido Gaussiano + Reglas 2.350 5524 0.853 0.965 0.970 4.662 0.607 0.010 0.179 0.893 221.256 0.131 0 0.416
CTGAN 1.004 10378 0.976 0.823 0.761 4.158 0.355 0.215 0.465 0.850 252.566 0.094 79 0.434
CTGAN + Reglas del Dominio 1.455 10378 0.964 0.823 0.761 4.209 0.351 0.277 0.319 0.850 388.082 0.089 79 0.391
TVAE 1.096 10374 0.984 0.958 0.955 7.982 0.263 0.286 0.428 0.803 195.864 0.034 79 0.470 🏆
TVAE + Reglas del Dominio 1.143 10374 0.984 0.958 0.955 7.966 0.263 0.286 0.410 0.799 326.801 0.035 79 0.423
OOF PSO para Aumento 1 10378 0.956 0.970 0.970 6.013 0.589 0.190 0.467 0.673 179.611 0.134 79 0.518
OOF PSO para Aumento + Reglas 1.397 10378 0.962 0.984 0.985 6.462 0.589 0.191 0.334 0.683 310.839 0.137 79 0.462
SMOTE RSB* Refinado 2.184 5378 0.978 0.984 0.985 6.860 0.621 0.009 0.197 0.886 113.293 0.007 160 0.467
SMOTE RSB* Refinado + Reglas 2.430 5378 0.867 0.984 0.985 5.159 0.621 0.009 0.172 0.885 215.397 0.010 160 0.449
⭐ Mejor seleccionado: TVAE (TabDSFidelity: 7.982, AUC: 0.984, F1: 0.958, MIA: 0.470). Nota: Ratio <= 1.5 = Conjunto Balanceado.

📈 Diagrama del Proceso de Generación

Conjunto Original
CD_56
↓
Balanceo
(8 métodos)
↓ Selección por TabDSFidelity
⭐ Mejor Balanceado
Random Oversampling
↓
Generación Sintética
(10 métodos)
↓ Evaluación TabDSFidelity
⭐ Mejor Sintético
TVAE
⭐ Mejor Aumentado
TVAE
↓
Conjunto Sintético Final
Seleccionado por calidad

📊 Guía de Métricas de Evaluación

Para interpretar correctamente los resultados de los conjuntos de datos generados, es fundamental comprender qué mide cada métrica y cómo se relacionan entre sí. A continuación, se detalla cada una de las métricas utilizadas en la evaluación:

🎯 Métricas de Rendimiento Predictivo

AUC-ROC (0.5 - 1.0)

¿Qué mide? Capacidad del modelo para distinguir entre clases (Ej: mortalidad vs supervivencia).

Interpretación:

  • 0.5: Sin capacidad predictiva (aleatorio)
  • 0.7-0.8: Aceptable
  • 0.8-0.9: Excelente
  • >0.9: Sobresaliente

Ejemplo: AUC-ROC = 0.82 significa que hay un 82% de probabilidad de que el modelo clasifique correctamente un paciente fallecido frente a uno superviviente.

F1-Score (0 - 1.0)

¿Qué mide? Media armónica entre precisión y sensibilidad (recall).

Interpretación:

  • 0.7-0.8: Buen equilibrio entre precisión y sensibilidad
  • 0.8-0.9: Muy buen equilibrio
  • >0.9: Excelente equilibrio

Ejemplo: F1 = 0.76 indica que el modelo mantiene un buen balance entre identificar correctamente a los pacientes que fallecen (sensibilidad) y no etiquetar erróneamente a los que sobreviven (precisión).

Accuracy (0 - 1.0)

¿Qué mide? Proporción de predicciones correctas sobre el total.

Interpretación:

  • 0.7-0.8: Buen rendimiento general
  • 0.8-0.9: Muy buen rendimiento
  • >0.9: Excelente rendimiento

Ejemplo: Accuracy = 0.75 significa que el 75% de las predicciones del modelo son correctas.

⚠️ Nota: En conjuntos desbalanceados, esta métrica puede ser engañosa. Es mejor usar F1-Score o AUC-ROC.

🔬 Índice de Fidelidad del Conjunto

TabDSFidelity (0 - 10+)

¿Qué mide? Calidad global del conjunto sintético comparado con el original.

Interpretación:

  • < 3.0: Baja fidelidad (poca similitud con el original)
  • 3.0 - 6.0: Fidelidad moderada
  • 6.0 - 8.0: Alta fidelidad
  • > 8.0: Muy alta fidelidad (excelente representación)

Ejemplo: TabDSFidelity = 8.08 indica que el conjunto sintético mantiene una alta similitud con el original, preservando las relaciones y distribuciones de los datos reales, además de maximizar su eficacia predictiva.

💡 Importante: Este es el índice para seleccionar el mejor conjunto de datos sintéticos. Para este caso, el peso empleado para las métricas "AUC-ROC", "F1-Score" y "Accuracy" fue (2) y para el resto de las métricas fue (1).

📊 Métricas de Similitud de Distribuciones

Jensen-Shannon (Promedio) (0 - 1.0)

¿Qué mide? Similitud entre las distribuciones de variables numéricas del conjunto sintético y el original.

Interpretación:

  • Cerca de 0: Distribuciones muy similares (ideal)
  • 0.1 - 0.3: Diferencias moderadas
  • > 0.3: Diferencias significativas

Ejemplo: JS = 0.118 indica que las distribuciones de las variables numéricas (edad, presión arterial, etc.) son bastante similares a las del conjunto original.

📌 Nota: Es el promedio de la divergencia de Jensen-Shannon calculada para todas las variables numéricas.

Kolmogorov-Smirnov (p-valor promedio) (0 - 1.0)

¿Qué mide? Probabilidad estadística de que las muestras numéricas del conjunto sintético provengan de la misma distribución continua que el original.

Interpretación:

  • Cerca de 1.0: Altísima probabilidad de que sean la misma distribución (ideal)
  • > 0.05: Similitud aceptable (no se rechaza que sean iguales)
  • < 0.05: Diferencias estadísticamente significativas

Ejemplo: KS p-valor = 0.753 indica que hay evidencia fuerte a favor de que las distribuciones acumulativas de la variable sintética y la original son equivalentes.

📌 Nota: Se reporta el promedio de los p-valores obtenidos mediante la prueba de Kolmogorov-Smirnov de dos muestras para las variables numéricas.

Kullback-Leibler (Promedio) (0 - ∞)

¿Qué mide? Divergencia entre las distribuciones de variables categóricas del conjunto sintético y el original.

Interpretación:

  • Cerca de 0: Distribuciones muy similares (ideal)
  • 0.01 - 0.1: Diferencias pequeñas
  • > 0.1: Diferencias notables

Ejemplo: KL = 0.014 indica que la distribución de las variables categóricas (género, mortalidad) es muy similar a la del conjunto original.

📌 Nota: Es el promedio de la divergencia de Kullback-Leibler para todas las variables categóricas. A diferencia de JS y KS, esta métrica se aplica solo a variables categóricas.

📊 Métricas de Estructura

Similitud de Correlación (0 - 1.0)

¿Qué mide? Preservación de las relaciones entre variables del conjunto original.

Interpretación:

  • Cerca de 1.0: Las relaciones entre variables se mantienen casi idénticas
  • > 0.9: Excelente preservación de relaciones
  • 0.7 - 0.9: Buena preservación
  • < 0.7: Pérdida significativa de relaciones

Ejemplo: Correlación = 0.976 significa que las relaciones entre variables (ej. edad y mortalidad) se mantienen en un 97.6% respecto al conjunto original.

⏱️ Métricas de Rendimiento Temporal

Tiempo Total (s) (segundos)

¿Qué mide? Tiempo total de ejecución del proceso de generación del conjunto.

Interpretación:

  • < 100s: Generación rápida
  • 100-300s: Tiempo moderado
  • > 300s: Proceso lento (puede ser aceptable para conjuntos grandes)

Ejemplo: Tiempo total = 69.45s significa que el proceso completo de generación del conjunto balanceado tomó aproximadamente 1.16 minutos.

⏱️ Nota: Incluye el tiempo de generación sintética + cálculo de métricas.

🔒 Métricas de Privacidad

Estas métricas evalúan el riesgo de exposición de información sensible y la capacidad de un atacante para inferir datos de los pacientes a partir del conjunto de datos sintéticos.

Distancia al Registro Más Cercano (≥ 0)

¿Qué mide? La distancia promedio entre cada registro sintético y su registro más cercano en el conjunto de datos original.

Interpretación:

  • Cerca de 0: Los datos sintéticos son muy similares a los originales → ⚠️ ALTO RIESGO de privacidad
  • 0.01 - 0.05: Similaridad moderada → Riesgo moderado
  • > 0.05: Buena separación de los datos originales → ✅ BAJO RIESGO de privacidad

Ejemplo: Distancia promedio = 0.015 en SMOTE indica que los registros sintéticos están relativamente cerca de los originales, lo que podría implicar un riesgo de privacidad moderado.

🔬

Metodología: Calculada utilizando la Distancia de Gower, la cual maneja internamente tipos de datos mixtos, normalizando las variables numéricas y penalizando diferencias categóricas para devolver un índice estandarizado entre 0 y 1.

💡

Recomendación: Valores < 0.01 deben ser evaluados con precaución. Idealmente, buscar valores > 0.02 para garantizar la privacidad.

Copias Exactas (≥ 0)

¿Qué mide? Número de registros sintéticos que son copias idénticas de registros en el conjunto de datos original.

Interpretación:

  • 0: Ninguna copia exacta → ✅ SEGURO
  • 1 - 10: Pocas copias → Riesgo bajo
  • 11 - 50: Copias moderadas → ⚠️ RIESGO MODERADO
  • > 50: Muchas copias → 🔴 ALTO RIESGO de reidentificación

Ejemplo: SMOTE RSB* Refinado genera 76 copias exactas de 8817 registros (0.86%), lo que representa un riesgo de privacidad que debe ser evaluado.

⚠️

Importante: La presencia de copias exactas es uno de los indicadores más críticos de fuga de datos. Idealmente, este valor debe ser 0.

Ataque de Inferencia de Membresía (MIA) (0 - 1.0)

¿Qué mide? Tasa de éxito (medida en AUC-ROC) de un atacante para determinar si un registro específico pertenece al conjunto de datos original.

Interpretación:

  • 0.5: Aleatorio (ideal) → ✅ PRIVACIDAD ÓPTIMA
  • 0.5 - 0.55: Riesgo bajo
  • 0.55 - 0.6: Riesgo moderado → ⚠️ PRIVACIDAD CUESTIONABLE
  • > 0.6: Riesgo alto → 🔴 PRIVACIDAD COMPROMETIDA

Ejemplo: MIA = 0.553 significa que el atacante tiene un éxito ligeramente superior al 50% aleatorio, lo que indica un riesgo de privacidad bajo/moderado.

🎯

Objetivo: Buscar valores lo más cercanos a 0.5. Valores > 0.6 indican que el conjunto sintético no protege adecuadamente la privacidad.

📝 Resumen Rápido para Selección

🏆
Para seleccionar el mejor conjunto:
  • Priorizar TabDSFidelity más alto
  • Buscar AUC-ROC y F1 altos
  • Valores de divergencia JS y KL cercanos a 0
  • P-valor de KS lo más cercano a 1.0 posible (>0.05)
  • Correlación > 0.9
⚖️
Balance entre calidad y tiempo:
  • Un TabDSFidelity > 8.0 indica excelente calidad
  • Tiempos de generación < 200s son aceptables
  • La Correlación > 0.95 asegura buena preservación de relaciones
🔒
Para garantizar la privacidad:
  • MIA lo más cercano a 0.5 (ideal)
  • Copias exactas = 0 (ideal) o lo más bajo posible
  • Distancia promedio > 0.02 para buena separación
  • Evaluar balance entre calidad (TabDSFidelity) y privacidad (MIA)

📥 Descargar conjuntos y código Python

📦 Descargar completo (ZIP)

Formatos incluidos: CSV.

📚 Cómo citar este conjunto

Díaz Bastida, M., Pérez Vázquez, R. A., & Bello Pérez, R. (2026). High-Fidelity Synthetic Dataset for Protein Localization Prediction (E. coli) (Version 1). figshare. https://doi.org/10.6084/m9.figshare.32946908.v1