Data Scientist: вопросы и ответы на собеседовании

Модель запоминает особенности обучающей выборки и плохо обобщает на новые данные. Помогают регуляризация, больше данных, упрощение модели и корректная кросс-валидация.

Две величины могут изменяться вместе из-за скрытого фактора, обратного влияния или случайности. Причинный вывод требует дизайна эксперимента или дополнительных предположений.

Bias — систематическая ошибка слишком простой модели, variance — чувствительность к конкретной выборке. Баланс между ними определяет обобщающую способность модели.

L1 добавляет сумму модулей весов и может занулять часть признаков. L2 штрафует квадраты весов и обычно равномерно уменьшает их величины.

Смотрят precision, recall, F1 и PR-AUC вместо одной accuracy, настраивают порог, веса классов и sampling. Важно сохранять реалистичное распределение в валидации.

Precision важен, если ложное срабатывание дорого, recall — если опасен пропуск положительного случая. Выбор зависит от стоимости ошибок и обычно дополняется анализом порога.

Масштабирование выравнивает вклад признаков для методов, основанных на расстояниях или градиенте. Для деревьев решений оно обычно не требуется.

Test set нужен для финальной независимой оценки. Если многократно смотреть на него при выборе признаков и гиперпараметров, он начинает участвовать в обучении и завышает ожидания.

Качество на срезах, устойчивость к drift, задержку и стоимость инференса, мониторинг входов и предсказаний, fallback и план переобучения. Метрики должны быть связаны с бизнес-эффектом.

Нельзя перемешивать будущее с прошлым, если модель работает во времени. Используют time-based split или walk-forward validation, сохраняя порядок наблюдений.