PR-AUC, PR-CURVE, PR-КРИВАЯ, PRECISION RECALL КРИВАЯ | МЕТРИКИ КЛАССИФИКАЦИИ

Поддержать канал можно оформив подписку на 🎉 🎉 🎉 А можете скидывать монеты на 💻 Мои курсы на платформе Stepik: Метрики качества позволяют оценивать способность моделей машинного обучения восстанавливать закономерности из данных. В этом видео посмотрим, что из себя представляет PR-кривая и метрика PR-auc. Метрики помогают понять, когда модель начинает переобучаться, про это явление можете посмотреть в видео () Остальные метрики классификации: 1. Accuracy - 2. Precision. Recall. Confusion Matrix - 3. F-score - 4. Micro, Macro, Weighted - Ноутбук из видео: 0:00 Ранее пройденные метрики 0:21 Датасет на сегодня 1:17 Обучение модели 1:21 Предсказания модели классификации 1:26 Метод predict для предсказания метки класса 1:36 Метод predict_proba для предсказания вероятностей по классам 2:13 Отсечка для вероятности (threshold) 2:23 Отсечка для вероятности в predict равна 0.5 3:16 Визуализация предсказанной вероятности быть первым классом 3:41 Визуализация отсечки 0.5 4:26 Матрица ошибок для отсечки 0.5 4:41 Изменения отсечки по вероятности до 0.6 для увеличения точности (precision) 5:07 Матрица ошибок для отсечки 0.6 5:17 Изменения отсечки по вероятности до 0 для увеличения полноты (recall) 5:44 Резюме изменения отсечки по вероятности 5:50 Общие сведения о PR-кривой (PR-curve) 6:27 Подсчет PR-кривой 6:41 Идеальная отсечка для бинарной классификации 7:05 Первая точка PR-кривой. Отсечка по вероятности равна 1 7:25 Визуализация предсказаний с отсечкой 1 7:30 Подсчет precision для отсечки 1 7:44 Подсчет recall для отсечки 1 7:59 Первая точка на PR-кривой 8:10 Вторая точка PR-кривой. Отсечка по вероятности равна 8:28 Визуализация предсказаний с отсечкой 8:32 Подсчет precision для отсечки 8:39 Подсчет recall для отсечки 8:43 Вторая точка на PR-кривой 8:50 Третья точка PR-кривой. Отсечка по вероятности равна 9:07 Визуализация предсказаний с отсечкой 9:10 Подсчет precision для отсечки 9:17 Подсчет recall для отсечки 9:23 Третья точка на PR-кривой 9:28 Четвертая точка PR-кривой. Отсечка по вероятности равна 9:45 Визуализация предсказаний с отсечкой 9:49 Подсчет precision для отсечки 9:17 Подсчет recall для отсечки 9:55 Четвертая точка на PR-кривой 10:02 Пятая точка PR-кривой. Отсечка по вероятности равна 10:18 Визуализация предсказаний с отсечкой 10:40 Подсчет precision для отсечки 10:53 Подсчет recall для отсечки 10:59 Пятая точка на PR-кривой 11:08 Шестая точка PR-кривой. Отсечка по вероятности равна 0 11:23 Визуализация предсказаний с отсечкой 0 11:40 Подсчет precision для отсечки 0 11:57 Подсчет recall для отсечки 0 12:07 Шестая точка на PR-кривой 12:14 Построение PR-кривой через sklearn 12:24 Метрика PR-AUC (Area Under Curve) 12:48 Резюме 12:55 PR-кривая (PR-curve) 13:28 PR-AUC