چرا یک روش موفق، همیشه جواب نمی‌دهد؟
نتیجه خوب در گذشته، شروع یک بررسی است. برای فهمیدن اینکه یک روش در موقعیت تازه هم کاربرد دارد، باید بدانیم چگونه انتخاب شده، روی چه داده‌ای امتحان شده و چه شرایطی ممکن است تغییر کرده باشد. این پرسش‌ها از تبلیغات یک کسب‌وکار تا ارزیابی مدل‌های داده‌محور کاربرد دارند.
یک فروشگاه، چند متن تبلیغاتی را در زمان‌های مختلف امتحان می‌کند. یکی از متن‌ها بیشترین سفارش را به همراه دارد و به‌عنوان فرمول موفق انتخاب می‌شود. ماه بعد همان متن دوباره منتشر می‌شود، اما نتیجه قبلی تکرار نمی‌شود. آیا متن ضعیف شده، مشتریان تغییر کرده‌اند یا برداشت اولیه از موفقیت، کامل نبوده است؟
برای پاسخ، باید از عدد نهایی عقب‌تر برویم و مسیر رسیدن به آن را ببینیم. ممکن است تفاوت در مخاطبان، زمان اجرا یا تعداد بررسی‌ها نقش داشته باشد. یک نتیجه خوب، اطلاعات ارزشمندی است؛ اما برای تبدیل‌کردن آن به یک قاعده قابل استفاده، پرسش‌های دیگری هم لازم داریم.
بهترین نتیجه، از میان چند تلاش انتخاب شده است؟
فرض کنید یک تیم فقط دو پیشنهاد را بررسی کرده و تیمی دیگر صدها ترکیب از متن، تصویر و زمان انتشار را امتحان کرده است. هر دو از بهترین نتیجه خود حرف می‌زنند، اما برای قضاوت باید تعداد تلاش‌ها را هم بدانیم. با بررسی گزینه‌های بیشتر، فرصت پیدا کردن نتیجه‌ای که بخشی از برتری آن اتفاقی است نیز بیشتر می‌شود.
این موضوع به معنی بی‌فایده‌بودن آزمایش‌های متعدد نیست. مسئله زمانی ایجاد می‌شود که فقط نتیجه برنده را ببینیم و فراموش کنیم چه تعداد گزینه دیگر کنار گذاشته شده‌اند. در چنین گزارشی، خواننده مسیر انتخاب را نمی‌بیند.
ثبت همه نسخه‌ها کمک می‌کند نتیجه در زمینه درست خوانده شود. اگر یک روش از میان تعداد زیادی تنظیم انتخاب شده، به بررسی تازه‌ای نیاز دارد تا معلوم شود برتری آن به همان نمونه محدود وابسته نبوده است. عنوان «بهترین» بدون توضیح محدوده مقایسه، اطلاعات کافی نمی‌دهد.
وقتی روش، فقط با نمونه‌های قبلی سازگار شده است
دانش‌آموزی را تصور کنید که پاسخ چند برگه امتحانی را حفظ کرده است. اگر دوباره همان سؤال‌ها را ببیند، نمره خوبی می‌گیرد؛ اما هنوز نمی‌دانیم مفهوم را یاد گرفته یا فقط پاسخ‌ها را به خاطر سپرده است. سؤال‌های تازه می‌توانند تفاوت را روشن‌تر کنند.
در تحلیل داده نیز ممکن است روشی چنان با جزئیات نمونه‌های قبلی تنظیم شود که در همان مجموعه عالی به نظر برسد، اما در نمونه تازه عملکرد ضعیف‌تری داشته باشد. این مسئله «بیش‌برازش» نام دارد.
آزمون تازه باید واقعاً تازه بماند
در مثال فروشگاه، می‌توان نسخه منتخب را ثبت کرد و عملکرد آن را در یک بررسی تازه و قابل مقایسه سنجید. پیش از اجرا، باید معلوم باشد چه چیزی اندازه‌گیری می‌شود و نتیجه با چه مبنایی مقایسه خواهد شد. تعداد سفارش، درآمد و سود پس از هزینه تبلیغ، معیارهای یکسانی نیستند.
اما اگر بعد از هر نتیجه نامطلوب، متن یا شرایط انتخاب را تغییر دهیم و دوباره همان اطلاعات را معیار موفقیت بگذاریم، دیگر یک ارزیابی مستقل نداریم. اطلاعات آزمون وارد فرایند اصلاح شده است. بهتر است تغییرها با نسخه مشخص ثبت شوند و تأیید نهایی با اطلاعاتی انجام شود که در آن اصلاح‌ها دخالت نداشته‌اند.
این تفکیک در گزارش‌های تاریخی بازارهای مالی هم اهمیت دارد. مقاله سی‌پیپ درباره خطاهای ارزیابی روش‌ها با داده‌های گذشته ، نمونه‌های تخصصی‌تری از بیش‌برازش، انتخاب نمونه و تفاوت آزمون با اجرای واقعی را بررسی می‌کند.
شاید روش عوض نشده، اما محیط تغییر کرده است
همیشه مشکل از انتخاب اولیه نیست. روشی ممکن است در شرایط قبلی مفید بوده باشد، اما بخشی از محیط تغییر کرده باشد. یک فروشگاه شاید با مشتریان تازه، قیمت‌های متفاوت یا محدودیت در ارسال روبه‌رو شده باشد. در چنین وضعیتی، تکرار متن تبلیغ به معنی تکرار تمام شرایط قبلی نیست.
برای بررسی، بهتر است شرایط مهم همراه نتیجه ثبت شوند: نوع مخاطب، زمان اجرا، قیمت، کانال انتشار و امکانات ارائه خدمت. بعداً می‌توان دید تفاوت عملکرد با کدام تغییرها هم‌زمان شده است؛ هرچند این هم‌زمانی به‌تنهایی علت را اثبات نمی‌کند.
در داده‌هایی که ترتیب زمانی دارند، ارزیابی هم باید با پرسش واقعی سازگار باشد. اگر هدف استفاده در آینده است، نمی‌توان اطلاعاتی را که آن زمان در دسترس نبوده وارد تصمیم گذشته کرد. همچنین نمونه‌های بسیار مشابه نباید تصویری گمراه‌کننده از استقلال آزمون بسازند.
میانگین خوب، همه تجربه‌ها را نشان نمی‌دهد
فرض کنید یک روش در چند دوره بررسی شده و میانگین نتیجه آن مناسب است. هنوز لازم است بدانیم عملکرد در تک‌تک دوره‌ها چگونه بوده است. شاید بیشتر نتیجه مثبت از یک دوره استثنایی آمده باشد و بقیه دوره‌ها وضعیت متفاوتی داشته باشند.
دیدن تعداد مشاهده‌ها، پراکندگی نتیجه‌ها و هزینه اجرا، تصویر کامل‌تری می‌دهد. در مثال تبلیغات، افزایش سفارش ممکن است با هزینه بیشتر یا سفارش‌های کم‌ارزش‌تر همراه شده باشد. بنابراین باید همان معیاری را بررسی کنیم که به هدف کسب‌وکار مربوط است.
از طرف دیگر، یک دوره ضعیف هم برای کنارگذاشتن فوری روش کافی نیست. کیفیت داده و تغییر شرایط باید بررسی شوند. بهتر است پیش از آزمون روشن کنیم چه نوع نتیجه‌ای نیازمند بازبینی است؛ تصمیم‌گیری فقط بر اساس خوشایند یا ناخوشایندبودن آخرین عدد، ارزیابی را ناپایدار می‌کند.
پیش از اعتماد به یک نتیجه، این چهار سؤال را بپرسیم
برای مرور یک گزارش موفقیت، می‌توان از چهار پرسش شروع کرد:
روش چگونه انتخاب شده است؟ تعداد نسخه‌ها و تغییرهای مهم را بدانیم، نه فقط نتیجه نسخه برنده را.
آیا ارزیابی مستقل داشته است؟ مشخص شود کدام اطلاعات برای ساختن روش استفاده شده و کدام بخش برای بررسی بعدی کنار گذاشته شده است.
در چه شرایطی بررسی شده است؟ زمان، نمونه، معیار و هزینه‌ها باید به اندازه‌ای روشن باشند که بتوان محدوده نتیجه را فهمید.
چه چیزی می‌تواند نتیجه را تغییر دهد؟ محدودیت‌ها و فرض‌ها بخشی از گزارش‌اند و نباید از معرفی نهایی حذف شوند.
در مطالعه گزارش‌های سی‌پیپ نیز می‌توان همین پرسش‌ها را همراه داشت و نتیجه تاریخی را کنار روش بررسی و محدودیت‌هایش خواند.
هدف این نگاه، بی‌اعتمادی به تجربه‌های گذشته نیست. تجربه زمانی مفیدتر می‌شود که بدانیم چه چیزی را نشان داده و چه چیزی هنوز نیازمند بررسی است. به‌جای پرسیدن «این روش قبلاً جواب داده؟»، می‌توان یک سؤال کامل‌تر پرسید: «چه شواهدی داریم که نتیجه آن در شرایط تازه هم قابل دفاع باشد؟»