Як обрати правильний статистичний метод у A/B тестуванні: порівняльний гід між лінійною регресією та іншими інструментами

Переосмислюючи поверхню: чому лінійна регресія все ще варта уваги

У хвилі машинного навчання та глибокого навчання ми часто ігноруємо один класичний і потужний інструмент — лінійну регресію. Хоча LLM та високопродуктивні архітектури займають головні позиції, лінійна регресія все ще відіграє ключову роль у аналізі даних, особливо у сценаріях A/B тестування.

Розглянемо реальний приклад: електронна комерційна компанія запустила новий дизайн банеру і потрібно оцінити його вплив на середню тривалість сесії користувачів. Збираючи дані через експеримент і проводячи статистичний аналіз, ми дослідимо кілька підходів до інтерпретації цих результатів.

Швидкий огляд за допомогою T-тесту

Почнемо з класичного T-тесту. Дані експерименту показують статистично значущий ефект: різниця у середніх між групою обробки та контрольною становить 0.56 хвилин, що означає, що користувачі витрачають у середньому на 33 секунди більше на продукт.

Цей показник виглядає добре, але чи справді він відображає реальний вплив банеру?

Лінійна регресія: глибше дослідження

Тепер проаналізуємо знову за допомогою лінійної регресії. В якості незалежної змінної беремо фактор обробки (чи показано новий банер), а залежною — тривалість сесії. Що показує модель?

Коефіцієнт обробки точно дорівнює 0.56 — збігається з результатом T-тесту. Цікаво, що R-квадрат становить лише 0.008, тобто модель пояснює дуже малу частину варіації даних.

Чи це випадковість? Ні

Чому ці два підходи дають однаковий результат? Відповідь у їхній математичній основі.

У лінійній регресії, коли обробка дорівнює 1, це означає, що користувач отримав новий банер, і середня тривалість сесії для цієї групи. Коли 0 — для тих, хто не отримав. Тому коефіцієнт обробки фактично є різницею між двома групами.

Зі свого боку, нульова гіпотеза T-тесту (відсутність різниці між групами) і нульова гіпотеза коефіцієнта обробки у регресії — однакові. Коли гіпотези співпадають, і T-статистика, і P-значення будуть однаковими.

Чому варто використовувати лінійну регресію?

Проста порівняння середніх здається достатнім, але реальний світ набагато складніший.

Насправді, лише обробка не може пояснити всі зміни — часто присутні систематичні похибки. Наприклад:

• Старі користувачі частіше взаємодіють із новим банером, ніж нові
• Реакція користувачів залежить від їхніх демографічних характеристик

Хоча випадкове розподілення допомагає зменшити цю проблему, воно не може її повністю усунути. Саме тому нам потрібні контрольні змінні (коваріати).

Додавши до моделі середню тривалість сесії користувача перед експериментом як контроль, ми одразу бачимо покращення: R-квадрат зростає до 0.86, що означає, що тепер ми пояснюємо 86% варіації даних.

Новий оцінений ефект обробки становить 0.47 хвилин.

Який показник більш точний?

Зараз маємо два різні оцінки ефекту обробки: 0.56 і 0.47. Який з них ближчий до реальності?

У реальних симуляціях справжній ефект був встановлений у 0.5. Очевидно, що з урахуванням контрольних змінних — 0.47 є більш точним, з похибкою лише 0.03. Це демонструє, що контроль ключових ковариат значно підвищує точність оцінки.