Detección de datos atípicos y su tratamiento (automatización)

Si tenemos que comprobar varias variables de una misma base de datos podermos pensar en automatizar el proceso mediante el uso de alguna función propia.

Esta sería la función propia outliers()

# Inspirado en: https://datascienceplus.com/identify-describe-plot-and-removing-the-outli0ers-from-the-dataset
outliers <- function(tt) {  
    var_name<-eval(parse(text = tt))  
    tot <- sum(!is.na(var_name))  
    na1 <- sum(is.na(var_name))  
    par(mfrow=c(1, 2), oma=c(0,0,3,0))  
    hist(var_name, main="All observations", xlab=NA, ylab=NA)  
    outlier <- boxplot.stats(var_name,coef =1.5)$out  
    var_name <- ifelse(var_name %in% outlier, NA, var_name)  
    na2 <- sum(is.na(var_name))  
    hist(var_name, main=c("Outliers removed",paste0(round((na2 - na1) / tot*100,2),"%")), xlab=NA, ylab=NA)  
    title(paste0("Outlier Check for ",tt), outer=TRUE)  
    cat("Outliers identified in ", tt, ": ", na2 - na1, " from ", tot, " observations","\n")  
    cat("Proportion (%) of outliers: ", (na2 - na1) / tot*100,"\n")  
    par(mfrow=c(1, 1), oma=c(0,0,0,0))
    response <- readline(prompt="Would you replace the data with NA?: ")
}

eliminar_outliers<-function(tt) {  
    var_name<-eval(parse(text = tt))  
    tot <- sum(!is.na(var_name))  
    na1 <- sum(is.na(var_name))  
    outlier <- boxplot.stats(var_name,coef =1.5)$out  
    var_name <- ifelse(var_name %in% outlier, NA, var_name)  
    na2 <- sum(is.na(var_name))  
    hist(var_name, main=c("Outliers removed", xlab=NA, ylab=NA))  
    cat("Outliers removed ", tt, ": ", na2 - na1, " from ", tot, " observations","\n")
    cat("Proportion (%) of outliers: ", (na2 - na1) / tot*100,"\n")  
    par(mfrow=c(1, 1), oma=c(0,0,0,0))  
    eval(parse(text = paste0(tt, " <<- invisible(var_name)")))
}

Y para usarla sería como una función cualquiera de R:

source("Outliers.R")
outliers("data$Pressure_height")

# Aplicar la función a múltiples variables numéricas o enteras
numeric_integer_vars <- names(which(sapply(data, is.numeric) | sapply(data, is.integer)))
outliers_results <- lapply(paste0("data$", numeric_integer_vars), outliers)

Piensa cuidadosamente si quitar o no los datos atípicos de tu base de datos. Un dato atípico no es un dato que se va de la media sino un dato que realmente es incorrecto.