You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
Big Data and Machine Learning para Economía Aplicada (MECA 4107)
Universidad de los Andes | 2026-10
Equipo 04
Integrante
Natalia Suescún
Daniela Solano
Jonathan Melo
Objetivo
Predecir si un hogar se encuentra en situación de pobreza en Colombia, utilizando modelos de clasificación entrenados con datos de la GEIH (Gran Encuesta Integrada de Hogares) del DANE. Se evalúan seis algoritmos distintos, se compara su desempeño predictivo (F1 score) y se discuten las implicaciones para la focalización de política pública.
Cómo Reproducir los Resultados
Requisitos
R >= 4.5
Los paquetes necesarios se instalan automáticamente al ejecutar el pipeline.
Pasos
Clonar el repositorio:
git clone https://github.com/NataliaSFernandez/Problem-Set-2-Predicting-Poverty.git
cd Problem-Set-2-Predicting-Poverty
Ejecutar el pipeline completo:
Rscript 01_code/00_rundirectory.R
Esto ejecuta todos los scripts de forma secuencial: limpieza de datos, análisis exploratorio y los seis modelos de clasificación. Tiempo total aproximado: 60 minutos.
Todos los resultados (figuras, métricas, submissions) se regeneran en 02_outputs/ y 03_submissions/.
Estructura del Repositorio
Problem-Set-2-Predicting-Poverty/
|
|-- 00_data/
| |-- raw/ # Datos crudos de Kaggle
| |-- processed/ # Datos limpios (generados por el pipeline)
|
|-- 01_code/
| |-- 00_rundirectory.R # Script maestro: ejecuta todo el pipeline
| |-- 01_data_clean_and_merge.R # Limpieza, recodificación, agregación
| |-- 02_data_explore.R # Análisis exploratorio de datos
| |-- 03_models/
| |-- LPM/Balance/LPM_003A.R # Mejor LPM (class_weights, 81 vars)
| |-- ElasticNet/Baseline/ElasticNet.R # Mejor EN (baseline, 91 vars)
| |-- NaiveBayes/Features/NaiveBayes_feature.R # Mejor NB (top-20 vars RF)
| |-- CARET/Features/CART_cv5_feat.R # Mejor CART (top-40 vars RF)
| |-- RandomForest/RF_006.R # Mejor RF (HP tuning + balance, 92 vars)
| |-- XGBoost/XGB_007.R # Mejor XGB (92 vars, sin Bogotá)
|
|-- 02_outputs/
| |-- figures/data_explore/ # Figuras del EDA
| |-- models/ # Métricas, diagnósticos y gráficos por modelo
| |-- model_registry.csv # Tabla resumen de todos los modelos
|
|-- 03_submissions/ # Archivos CSV de predicciones para Kaggle
Descripción del Pipeline
Paso
Script
Descripción
Tiempo
1
01_data_clean_and_merge.R
Limpieza, recodificación, agregación de personas a hogar, feature engineering, exclusión de Bogotá. Resultado: 154,393 hogares, 110 variables.
1 min
2
02_data_explore.R
Desbalance de clases (80/20), pobreza por zona y departamento, correlaciones. 9 figuras PNG.
<1 min
3.1
LPM_003A.R
LPM con class_weights, 81 variables.
1 min
3.2
ElasticNet.R
Elastic Net (glmnet, grilla alpha/lambda, threshold optimizado).
9 min
3.3
NaiveBayes_feature.R
Naive Bayes con selección de variables RF (top-20/40/60).
3 min
3.4
CART_cv5_feat.R
CART con CV anidado (5x3) y selección de variables RF.
21 min
3.5
RF_006.R
Random Forest (ranger, HP tuning, 5 técnicas de balanceo).
22 min
3.6
XGB_007.R
XGBoost (búsqueda aleatoria de HP, sin Bogotá).
4 min
Total
~60 min
Comparación de Modelos
Ranking
Modelo
Algoritmo
Variables
F1 CV-5
Precisión
Recall
AUC-ROC
Kaggle F1
1
XGB_007
XGBoost
93
0.741
0.706
0.779
0.942
0.73
2
RF_006
Random Forest
93
0.721
0.669
0.783
0.931
0.71
3
EN_001A
Elastic Net
93
0.695
0.644
0.756
0.923
0.69
4
LPM_003A
LPM
98
0.683
0.617
0.766
0.916
0.68
5
CART_RF_top60
CART
60
0.677
0.644
0.713
0.897
0.68
6
NB_RF_top20
Naive Bayes
20
0.619
0.513
0.778
0.876
0.61
Mapeo: Scripts a Figuras de las Slides
Deck 1 (Best Model Deep Dive): XGB_007 — 18 slides
Sección
Slides
Contenido
Fuente
01 Datos
3-6
Datos crudos, evidencia descriptiva, variables clave con razonamiento económico