آیا گزارش «تستادی» از کاربردپذیری قابل استناد است؟
استارت‌آپ تستادی، پلتفرم آنلاین تست‌های کاربردپذیری اخیرا گزارشی منتشر کرده که در آن نتایج تست کاربردپذیری ۴ فروشگاه مطرح کشور از جمله دیجی‌کالا، اسنپ‌مارکت، مدیسه و اوکالا با یکدیگر مقایسه شده‌اند. تستادی در این گزارش با انجام یک سناریوی یکسان توسط کاربران عادی، میزان کاربردپذیری این چهار فروشگاه را از نظر سرعت، راحتی استفاده، دسته‌بندی کالا، صفحه خرید و صورت‌حساب، قابلیت جست‌وجوی محصولات را مورد بررسی قرار داده و بهترین گزینه‌ها در این زمینه را معرفی کرده است. حالا اما انتشار این گزارش در شبکه‌های اجتماعی و توسط برخی کارشناسان کسبوکارهای دیجیتال مورد انتقاد از جنبه‌های مثبت و منفی قرار گرفته است.
در ابتدای گزارش تستادی جدولی مقایسه‌ای از امکانات هر ۴ فروشگاه و نتیجه تست کاربردپذیری آن‌ها منتشر شده که این جدول باعث ایجاد بحث‌های مختلفی شده است . به ادعای گزارش تستادی، فاکتورهای این جدول بر اساس جزئیات و بخش‌هایی که از نظر کاربران در فرآیند خرید حائز اهمیت بوده و یا با ابهام و سردرگمی بیشتری در مواجهه با آن روبرو شده‌اند تقسیم‌بندی شده است. این جدول را در زیر مشاهده می‌کنید:
یافته‌های کلی از تست کاربردپذیری تستادی از ۴ فروشگاه بزرگ کشور
اسما کروبی، هم‌بنیان‌گذار شرکت TIARA STUDIO، آژانس تخصصی طراحی تجربه کاربری و طراحی و توسعه محصول یکی از کسانی بود که نسبت به انتشار این گزارش واکنش نشان داد. او در توییتی نوشت که نتایج این گزارش جهت‌دار است.
اسما کروبی در مورد دلیل این انتقادش اینطور توضیح می‌دهد که به باور او تستادی این گزارش را با اهداف مارکتینگی و احتمالا جذب مخاطب منتشر کرده است.
کروبی در توضیح اشکالات این گزارش په پیوست گفت: «نمودار اول این گزارش سطح کاربردپذیری محصولات مختلف را با یکدیگر مقایسه کرده و به همه آن‌ها رنگ قرمز داده شده است. اما وقتی متن گزارش را مطالعه کنید متوجه معیار دیگری به نام درصد تکمیل کار می‌شوید. در اکثر فرآیند‌های تست شده توسط تستر‌ها، این درصد تکمیل فرآیند ۱۰۰ درصد انجام شده است. در تست‌های کاربردپذیری نتیجه تست‌ها به این شکل اندازه‌گیری نمی‌شود. نسبت تست‌های تکمیل نشده، زمان انجام تست و شدت سختی را در اندازه می‌گیریم. نهاتیا این تست براساس تعداد مشکلاتی که داریم و اولویت آن‌ها درصد می‌گیرد.»
او در ادامه روند اشکالات این گزارش توضیح داد: «نکته دوم این که وقتی یک تسک کامل می‌شود یعنی آن تسک Fail نشده پس به این معنی است که کاربر آن تست را با موفقیت انجام داده به همین دلیل نمی‌توان ادعا کرد کاردبرد‌پذیری در این مرحله شکست داشته، شاید بهینه نبوده باشد اما نمی‌توان گفت وجود ندارد.»
به اعتقاد کروبی، نکته دیگر بحث زمان اجرای تست‌ها است که در این گزارش به‌طور مشخص وجود ندارد. او در مورد این مشکل گفت: «آیا زمان اتمام تست‌ها در ۳ دقیقه اتفاق افتاده یا در ۳۰ ثانیه؟ چیزی که باید با این تایم‌آپ‌ها درنظر گرفته می‌شد حالت میانگین آن‌هاست. برای مثال میانگین زمان انجام تست سبد خرید ۲ دقیقه است. حالا کاربر برای یک فروشگاه، در تست سبد خرید ۵ دقیقه وقت صرف کرده است. پس در نتیجه این تسک با شکست کاربردپذیری روبه‌رو می‌شود. درغیر این صورت این تسک و این تست Fail نمی‌شود.»
مشکل چهارم از دیدگاه کروبی این است که نتایج براساس نظر کاربران است نه رفتار کاربران. او در این خصوص بیان کرد: «خیلی از نتایجی که در نمودار جمع‌بندی شده بر اساس جواب‌هایی بوده که از کاربر سوال شده و کاربر هم پاسخ داده است. در حالی که تست کاربردپذیری تست رفتاری است و براساس رفتار کاربر نتیجه‌گیری می‌شود نه بر اساس نظر کاربر. وقتی یک معیار کمّی را بر اساس نظر کاربر جایگزین می‌کنند نمی‌توان انتظار نتیجه‌گیری درستی داشت. سوالاتی که انتهای تست از کاربر پرسیده می‌شود که آیا راحت بود یا سخت بود منظور این نیست که از این جواب‌ها نتیجه‌گیری کنیم. بلکه هدف این است که جواب کاربر را با رفتارش در تست بسنجیم که در نتیجه آن مدل ذهنی کاربر حاصل می‌شود.»
کروبی معتقد است اشکال آخر این گزارش واضح نبودن روند اجرای تست و جرئیات آن است. او در این خصوص گفت: «تنها چیزی که در این گزارش نشان داده شده نتیجه‌گیری‌ها است. توضیح این که تست در چه شرایطی انجام شده، چه سوالاتی پرسیده شده و چه میزان راهنمایی و توضیح داده شده در هیچ‌کجای این گزارش نیامده است.»
کروبی هدف احتمالی بعدی را پی‌آر منفی می‌داند و معتقد است این نتایج با هدف اطلاع‌رسانی منتشر نشده است. به باور او اگر هم هدف قضاوت مردم باشد باید درنظر گرفت که این نتایج ایراد دارند.
آشنایی کاربران با تست‌های کاربردپذیری
به باور کارشناسان و فعالان حوزه دیجیتال از جمله اسما کروبی اجرای کار تحقیقاتی مانند گزارش تستادی، چارچوب مشخصی دارد. به باور این گروه از انتخاب شرکت‌کننده‌ها تا شیوه اجرا باید در دسترس باشد و کار تحقیقاتی نمی‌تواند درحکم یک گزارش بازاریابی باشد.
اما مدیر تستادی هدف از تهیه این گزارش را آشنایی بیشتر کاربران با تست‌های کاربردپذیری عنوان می‌کنند. غزل مقصودی، مدیر استارت‌آپ تستادی، در مورد انتقاد‌های واردشده به این گزارش و البته هدف از انتشار آن به پیوست گفت: «بسیاری از مردم دانش کافی راجع به تست‌های کاربردپذیری ندارند و فکر می‌کنند هزینه و تجهیزات بسیار بالایی برای این کار نیاز است. هدف ما از این گزارش معرفی تست کاربردپذیری و البته استارت‌آپ تستادی بوده تا اینکه مردم عادی و صاحبان کسبوکارهای کوچک بدانند به راحتی و باکمترین هزینه می‌شود تست کاربردپذیری از محصول گرفت.» او ادامه داد: «روند اجرای تست‌ها کاملا روی پلتفرم تستادی و به صورت ریموت اجرا شده است. تست‌ها کاملا بر اساس رفتار کاربر بوده و سوالاتی که پرسیدیم دخالتی در نتیجه تست‌ها نداشته است. ویدئو‌های روند اجرای تست‌ها موجود است و هرکس خواست می‌تواند آن‌ها را چک کند.» او در مورد تستر‌ها و شرایط تست توضیح داد: «تستر‌ها به‌صورت تصادفی از سراسر ایران انتخاب شده و تست‌ها روی اپلیکیشن موبایل در شرایط واقعی انجام می‌شود.» مقصودی در مورد این که آیا این گزارش باعث ایجاد ذهنیت منفی نسبت به ۴ فروشگاه مورد تست شده توضیح داد: «خیر، این مورد اصلا درست نیست چرا که کارکرد این گزارش، گزارش دادن یا هشدار دادن به این ۴ فروشگاه نبوده و نیست. بلکه هدف معرفی تستادی و قابلیت‌های آن بوده است. نکته مهم‌تر اینکه هدف این گزارش افراد متخصص در این زمینه نیستند؛ چرا که آن‌ها احتیاجی به گزارش ما ندارند. آن‌ها هم خود توانایی انجام این تست‌ها را داشته و هم به‌طور مداوم درحال اجرای این تست‌ها هستند. این گزارش برای افرادی است که فکر می‌کنند تست گرفتن از محصول کار سخت و پیچیده‌ای است.»
مقصودی در انتها به بازخود‌های مثبتی که از انتشار این گزارش گرفته‌اند اشاره کرد و گفت: «از هرگونه کامنت و نقطه نظر در زمینه این گزارشات استقبال می‌کنیم. سعی می‌کنیم انتقاد‌هایی که به‌صورت خصوصی و عمومی مطرح شد را در گزارش‌های بعدی لحاظ کنیم. هدف ما این بود که آدم‌های عادی که آشنایی با این نوع گزارش‌ها ندارند با آن آشنا شوند و به همین دلیل هم تا حد امکان توضیحات و مفاهیم را ساده کردیم تا برای همه قابل فهم باشد.» همچنین مدیر استارت‌آپ تستادی از انتشار گزارش کاربردپذیری بعدی در حوزه دیگری خبر داد که در آینده نزدیک منتشر می‌شود.
می‌توانید فایل کامل گزارش اخیر تستادی در مورد کابردپذیری ۴ فروشگاه آنلاین را از اینجا مطالعه کنید.