ML Engineer: вопросы и ответы на собеседовании

Batch обрабатывает накопленные данные по расписанию и оптимален для больших объёмов без жёсткой задержки. Online отвечает на запрос пользователя и требует контроля latency и доступности.

Это попадание в обучение информации, которая недоступна в момент реального предсказания. Leakage даёт подозрительно высокие метрики и проявляется провалом модели в production.

Профилируют pipeline, уменьшают модель и размер признаков, используют batching или кеширование, а тяжёлые операции выносят из синхронного пути. Оптимизацию проверяют на реальной нагрузке.

Он централизует вычисление, версионирование и выдачу признаков для обучения и inference. Это снижает рассинхронизацию offline и online признаков.

Фиксируют код, данные или их версию, конфигурацию, зависимости, случайные seeds и артефакты. Эксперименты и модель регистрируют в трекинге с понятными метаданными.

Это расхождение способов вычисления признаков во время обучения и в production. Единые трансформации и feature store снижают риск, но метрики нужно контролировать отдельно.

Drift — изменение распределения входов или связи входов с целевой переменной. Его отслеживают по данным и бизнес-метрикам, а при ухудшении запускают расследование и переобучение.

Используют shadow, canary или A/B-режим, ограниченный процент трафика и автоматический rollback. До полного включения сравнивают качество, latency, стоимость и ошибки по сегментам.

Latency, error rate, throughput, стоимость, распределения признаков, confidence и бизнес-метрики. При наличии отложенной разметки отдельно отслеживают фактическое качество.

Назначение и ограничения модели, данные обучения, метрики по срезам, известные риски, допустимые сценарии и контакт владельца. Это упрощает аудит и эксплуатацию.