Home » Построение ROC-кривой в R — визуализация качества классификатора

Построение ROC-кривой в R — визуализация качества классификатора

Ребята, сегодня поговорим о том, как визуализировать качество ваших ML-моделей в R — строим ROC-кривую. Если вы уже писали классификаторы для автоматизации мониторинга серверов, фильтрации логов или детекции аномалий в трафике, то знаете, что одно дело — натренировать модель, а другое — понять, насколько она хороша. ROC-кривая (Receiver Operating Characteristic) — это тот самый инструмент, который покажет вам всю правду о вашем классификаторе. Она визуализирует соотношение между чувствительностью и специфичностью модели при разных порогах классификации.

Особенно полезно это будет для тех, кто настраивает системы мониторинга, анализирует логи веб-серверов или строит системы детекции вторжений. Представьте — у вас есть модель, которая определяет, является ли запрос к серверу подозрительным или нет. ROC-кривая покажет, как часто ваша модель правильно ловит атаки (true positive rate) и как часто она ошибочно блокирует легитимных пользователей (false positive rate).

Как это работает под капотом

ROC-кривая строится по простому принципу: мы берем нашу модель и меняем порог классификации от 0 до 1. Для каждого порога считаем:

TPR (True Positive Rate) — чувствительность, доля правильно классифицированных положительных примеров
FPR (False Positive Rate) — доля неправильно классифицированных отрицательных примеров
AUC (Area Under Curve) — площадь под кривой, интегральная метрика качества

Идеальная модель имеет AUC = 1.0 (кривая проходит через левый верхний угол), а случайная модель — AUC = 0.5 (диагональная линия). Все что ниже 0.5 — это уже паранойя, ваша модель работает хуже случайного гадания.

Быстрая настройка окружения

Для начала работы нам потребуется R и несколько пакетов. Если работаете на удаленном сервере, лучше всего взять VPS с достаточным объемом памяти — для больших датасетов может понадобиться 8+ GB RAM.

# Установка необходимых пакетов
install.packages(c("pROC", "ggplot2", "dplyr", "randomForest", "ROCR"))

# Загрузка библиотек
library(pROC)
library(ggplot2)
library(dplyr)
library(randomForest)
library(ROCR)

Пакет `pROC` — это основной инструмент для работы с ROC-кривыми в R. Он быстрый, стабильный и имеет отличную документацию.

Практический пример: детекция аномалий в логах

Давайте разберем реальный кейс. Предположим, у вас есть логи веб-сервера и вы хотите детектировать подозрительные запросы. Создадим тестовый датасет:

# Создаем синтетический датасет
set.seed(42)
n <- 1000

# Генерируем признаки (имитируем метрики из логов)
data <- data.frame(
  request_size = rnorm(n, 1000, 500),
  response_time = rnorm(n, 100, 50),
  requests_per_minute = rnorm(n, 50, 20),
  unique_ips = rnorm(n, 10, 5),
  error_rate = runif(n, 0, 0.1)
)

# Создаем целевую переменную (1 - подозрительный трафик, 0 - нормальный)
data$suspicious <- ifelse(
  data$request_size > 1500 | 
  data$response_time > 150 | 
  data$requests_per_minute > 70 |
  data$error_rate > 0.08, 1, 0
)

# Добавляем немного шума
data$suspicious <- ifelse(runif(n) < 0.1, 1 - data$suspicious, data$suspicious)

# Разделяем на обучающую и тестовую выборки
train_idx <- sample(1:n, 0.7 * n)
train_data <- data[train_idx, ]
test_data <- data[-train_idx, ]

Обучение модели и получение предсказаний

Теперь обучим простую модель Random Forest и получим вероятности классификации:

# Обучаем модель Random Forest
model <- randomForest(
  as.factor(suspicious) ~ request_size + response_time + 
  requests_per_minute + unique_ips + error_rate,
  data = train_data,
  ntree = 100,
  mtry = 2
)

# Получаем предсказания на тестовой выборке
predictions <- predict(model, test_data, type = "prob")
pred_probs <- predictions[, 2]  # Вероятности для класса "1"

# Создаем объект для ROC-анализа
roc_obj <- roc(test_data$suspicious, pred_probs)

# Выводим основные метрики
print(paste("AUC:", round(auc(roc_obj), 3)))
print(paste("Лучший порог:", round(coords(roc_obj, "best", "threshold"), 3)))

Построение и кастомизация ROC-кривой

Теперь самое интересное — визуализация. Стандартный plot в R работает, но для презентаций и отчетов лучше использовать ggplot2:

# Простое построение ROC-кривой
plot(roc_obj, main = "ROC-кривая для детекции подозрительного трафика")

# Более красивая визуализация с ggplot2
roc_data <- data.frame(
  sensitivity = roc_obj$sensitivities,
  specificity = roc_obj$specificities,
  threshold = roc_obj$thresholds
)

roc_data$fpr <- 1 - roc_data$specificity

ggplot(roc_data, aes(x = fpr, y = sensitivity)) +
  geom_line(color = "#2E86AB", size = 1.2) +
  geom_abline(intercept = 0, slope = 1, linetype = "dashed", color = "#A23B72") +
  labs(
    title = "ROC-кривая: детекция аномалий в веб-трафике",
    subtitle = paste("AUC =", round(auc(roc_obj), 3)),
    x = "False Positive Rate (1 - Specificity)",
    y = "True Positive Rate (Sensitivity)"
  ) +
  theme_minimal() +
  theme(
    plot.title = element_text(size = 14, face = "bold"),
    plot.subtitle = element_text(size = 12),
    axis.title = element_text(size = 11)
  ) +
  coord_fixed()

Сравнение нескольких моделей

Один из мощных кейсов — сравнение разных алгоритмов на одном графике. Это особенно полезно при выборе лучшей модели для production:

# Обучаем несколько моделей
library(e1071)  # для SVM
library(glmnet) # для логистической регрессии

# Логистическая регрессия
glm_model <- glm(suspicious ~ ., data = train_data, family = "binomial")
glm_pred <- predict(glm_model, test_data, type = "response")

# SVM
svm_model <- svm(as.factor(suspicious) ~ ., data = train_data, probability = TRUE)
svm_pred <- predict(svm_model, test_data, probability = TRUE)
svm_probs <- attr(svm_pred, "probabilities")[, "1"]

# Создаем ROC-объекты
roc_rf <- roc(test_data$suspicious, pred_probs)
roc_glm <- roc(test_data$suspicious, glm_pred)
roc_svm <- roc(test_data$suspicious, svm_probs)

# Строим сравнительный график
plot(roc_rf, col = "#2E86AB", main = "Сравнение моделей")
plot(roc_glm, col = "#F18F01", add = TRUE)
plot(roc_svm, col = "#C73E1D", add = TRUE)

legend("bottomright", 
       legend = c(
         paste("Random Forest (AUC =", round(auc(roc_rf), 3), ")"),
         paste("Logistic Regression (AUC =", round(auc(roc_glm), 3), ")"),
         paste("SVM (AUC =", round(auc(roc_svm), 3), ")")
       ),
       col = c("#2E86AB", "#F18F01", "#C73E1D"),
       lwd = 2)

Продвинутые техники и автоматизация

Для production-систем часто нужна автоматизация. Вот функция, которая создает полный отчет по ROC-анализу:

# Функция для полного ROC-анализа
roc_analysis <- function(actual, predicted, model_name = "Model") {
  roc_obj <- roc(actual, predicted)
  
  # Находим оптимальный порог
  coords_best <- coords(roc_obj, "best", "threshold")
  
  # Создаем отчет
  report <- list(
    model_name = model_name,
    auc = auc(roc_obj),
    best_threshold = coords_best,
    sensitivity_at_best = coords(roc_obj, coords_best, "sensitivity"),
    specificity_at_best = coords(roc_obj, coords_best, "specificity"),
    roc_object = roc_obj
  )
  
  return(report)
}

# Используем функцию
rf_report <- roc_analysis(test_data$suspicious, pred_probs, "Random Forest")
glm_report <- roc_analysis(test_data$suspicious, glm_pred, "Logistic Regression")

# Создаем таблицу сравнения
comparison_table <- data.frame(
  Model = c(rf_report$model_name, glm_report$model_name),
  AUC = c(round(rf_report$auc, 3), round(glm_report$auc, 3)),
  Best_Threshold = c(round(rf_report$best_threshold, 3), round(glm_report$best_threshold, 3)),
  Sensitivity = c(round(rf_report$sensitivity_at_best, 3), round(glm_report$sensitivity_at_best, 3)),
  Specificity = c(round(rf_report$specificity_at_best, 3), round(glm_report$specificity_at_best, 3))
)

print(comparison_table)

Интеграция с системами мониторинга

Для серверных приложений особенно важна интеграция с системами мониторинга. Вот пример скрипта, который можно запускать по cron для мониторинга качества модели:

# Скрипт для мониторинга качества модели
monitor_model_performance <- function(log_file, model_file, output_dir) {
  # Загружаем данные и модель
  current_data <- read.csv(log_file)
  model <- readRDS(model_file)
  
  # Получаем предсказания
  predictions <- predict(model, current_data, type = "prob")[, 2]
  
  # Строим ROC-кривую
  roc_obj <- roc(current_data$suspicious, predictions)
  current_auc <- auc(roc_obj)
  
  # Создаем alert если AUC упал
  if (current_auc < 0.7) {
    warning(paste("ALERT: Model AUC dropped to", round(current_auc, 3)))
    # Здесь можно добавить отправку уведомления в Slack/Telegram
  }
  
  # Сохраняем график
  png(file.path(output_dir, paste0("roc_", Sys.Date(), ".png")))
  plot(roc_obj, main = paste("Model Performance:", Sys.Date()))
  dev.off()
  
  # Логируем метрики
  log_entry <- paste(Sys.time(), "AUC:", round(current_auc, 3), sep = " ")
  write(log_entry, file = file.path(output_dir, "model_performance.log"), append = TRUE)
  
  return(current_auc)
}

Альтернативные решения и пакеты

Помимо `pROC`, есть несколько других интересных пакетов:

ROCR — более старый, но стабильный пакет с хорошей производительностью
plotROC — специализируется на красивых ggplot2 визуализациях
precrec — поддерживает как ROC, так и Precision-Recall кривые
MLmetrics — комплексный пакет с множеством метрик

Для высоконагруженных систем можно использовать выделенный сервер с GPU для ускорения вычислений больших датасетов.

Практические советы для production

Ситуация	Рекомендация	Код
Несбалансированные классы	Используйте stratified sampling	`roc(..., stratified = TRUE)`
Большие датасеты	Используйте sampling для визуализации	`roc(..., percent = TRUE)`
Множественные классы	Используйте multiclass ROC	`multiclass.roc()`
Нужны доверительные интервалы	Добавьте bootstrap	`ci.auc(roc_obj)`

Интересные возможности и хаки

Несколько нестандартных способов использования ROC-кривых:

Временной анализ — стройте ROC-кривые для разных временных окон, чтобы отследить деградацию модели
A/B тестирование — сравнивайте ROC-кривые разных версий алгоритма
Feature importance — стройте ROC-кривые для моделей с разными наборами признаков
Ensemble анализ — визуализируйте, как изменяется качество при добавлении новых моделей в ансамбль

Вот пример временного анализа:

# Анализ стабильности модели во времени
time_analysis <- function(data, model, time_column, window_days = 7) {
  data$date <- as.Date(data[[time_column]])
  dates <- seq(min(data$date), max(data$date), by = window_days)
  
  auc_over_time <- sapply(dates, function(d) {
    window_data <- data[data$date >= d & data$date < d + window_days, ]
    if (nrow(window_data) < 50) return(NA)
    
    pred <- predict(model, window_data, type = "prob")[, 2]
    auc(roc(window_data$suspicious, pred))
  })
  
  plot(dates, auc_over_time, type = "l", 
       main = "AUC во времени", 
       xlab = "Дата", ylab = "AUC")
  abline(h = 0.5, col = "red", lty = 2)
}

Оптимизация производительности

Для больших датасетов важна оптимизация:

# Оптимизированная версия для больших данных
fast_roc <- function(actual, predicted, n_points = 1000) {
  # Используем квантили для уменьшения количества точек
  thresholds <- quantile(predicted, probs = seq(0, 1, length.out = n_points))
  
  # Параллельные вычисления
  library(parallel)
  cl <- makeCluster(detectCores() - 1)
  
  results <- parLapply(cl, thresholds, function(th) {
    pred_class <- ifelse(predicted >= th, 1, 0)
    tp <- sum(pred_class == 1 & actual == 1)
    fp <- sum(pred_class == 1 & actual == 0)
    tn <- sum(pred_class == 0 & actual == 0)
    fn <- sum(pred_class == 0 & actual == 1)
    
    c(tp / (tp + fn), fp / (fp + tn))  # TPR, FPR
  })
  
  stopCluster(cl)
  
  roc_points <- do.call(rbind, results)
  return(data.frame(tpr = roc_points[, 1], fpr = roc_points[, 2]))
}

Заключение и рекомендации

ROC-кривые — это мощный инструмент для анализа качества классификаторов, особенно полезный в системах мониторинга и детекции аномалий. Вот основные рекомендации:

Всегда используйте кросс-валидацию — одна ROC-кривая на тестовой выборке может обмануть
Обращайте внимание на форму кривой — иногда модель с меньшим AUC лучше подходит для вашей задачи
Комбинируйте с другими метриками — особенно с Precision-Recall для несбалансированных классов
Автоматизируйте мониторинг — встройте ROC-анализ в ваши CI/CD пайплайны
Документируйте пороги — сохраняйте оптимальные пороги для каждой модели

Для production-систем рекомендую настроить автоматический мониторинг AUC и алерты при деградации качества модели. Это поможет вовремя заметить проблемы и переобучить модель на новых данных.

ROC-кривые особенно полезны для задач информационной безопасности, анализа логов веб-серверов, мониторинга производительности и детекции аномалий в сетевом трафике. Используйте их для принятия обоснованных решений о внедрении ML-моделей в ваши системы.

В этой статье собрана информация и материалы из различных интернет-источников. Мы признаем и ценим работу всех оригинальных авторов, издателей и веб-сайтов. Несмотря на то, что были приложены все усилия для надлежащего указания исходного материала, любая непреднамеренная оплошность или упущение не являются нарушением авторских прав. Все упомянутые товарные знаки, логотипы и изображения являются собственностью соответствующих владельцев. Если вы считаете, что какой-либо контент, использованный в этой статье, нарушает ваши авторские права, немедленно свяжитесь с нами для рассмотрения и принятия оперативных мер.

Данная статья предназначена исключительно для ознакомительных и образовательных целей и не ущемляет права правообладателей. Если какой-либо материал, защищенный авторским правом, был использован без должного упоминания или с нарушением законов об авторском праве, это непреднамеренно, и мы исправим это незамедлительно после уведомления. Обратите внимание, что переиздание, распространение или воспроизведение части или всего содержимого в любой форме запрещено без письменного разрешения автора и владельца веб-сайта. Для получения разрешений или дополнительных запросов, пожалуйста, свяжитесь с нами.