سنجش دوم کیفیت جستجو: برتینا، گوگل و ذره‌بین، دو هفته بعد

دو هفته پس از سنجش اول کیفیت جستجو، همان آزمون را دوباره انجام دادیم: ۱۶۸ جستجو در سه جستجوگر برتینا، گوگل و ذره‌بین، از تهران، در دسکتاپ و موبایل و بدون ورود به حساب. ۱۴۰ جستجو همان جستجوهای سنجش اول‌اند تا تغییر این دو هفته دیده شود، و ۲۸ جستجوی تازه برای قیمت‌ها، بورس، ورزش، رویدادها و خبرهای روز اضافه شد.

این بار قیمت‌هایی را هم که هر جستجوگر نشان داد با قیمت بازار در همان دقیقه مقایسه کردیم. این نوشته خلاصهٔ نتیجه است؛ گزارش کامل، با تصویر و امتیاز و یادداشت هر ۱۶۸ جستجو، برای دانلود آمده است.

خلاصهٔ نتیجه

در همهٔ ۱۶۸ جستجو، میانگین امتیاز برتینا ۸٫۸۳، گوگل ۸٫۲۷ و ذره‌بین ۷٫۲۶ از ۱۰ بود. برتینا در برابر گوگل ۱۰۴ برد، ۱۹ مساوی و ۴۵ باخت داشت و در برابر ذره‌بین ۱۴۴ برد، ۱۳ مساوی و ۱۱ باخت. برد و باخت یعنی اختلاف بیش از ۰٫۲۵ امتیاز در یک جستجو.

بدون ۳۰ جستجوی سایت‌های رسمی‌ای که گوگل از بیرون ایران نمی‌بیند، در ۱۳۸ جستجوی دیگر برتینا ۸٫۷۷ و گوگل ۸٫۵۰ گرفتند: ۷۶ برد، ۱۹ مساوی و ۴۳ باخت برای برتینا.

دو هفته بعد: همان جستجوها

همان ۱۴۰ جستجوی سنجش اول با همان روش و همان معیار امتیاز دوباره سنجیده شد. برتینا از ۸٫۴۵ به ۸٫۸۴ رسید، گوگل از ۸٫۰۹ به ۸٫۲۰ و ذره‌بین از ۷٫۴۵ به ۷٫۲۶. برتینا در ۵۶ جستجو امتیاز بیشتر و در ۱۶ جستجو امتیاز کمتر از سنجش اول گرفت. برتینا در برابر گوگل روی همین جستجوها در سنجش اول ۷۷ برد و ۴۹ باخت داشت و در سنجش دوم ۹۱ برد و ۳۴ باخت.

یک قاعدهٔ امتیاز در این سنجش اضافه شد: قیمت اشتباه، امتیاز «ویژگی‌ها» را صفر می‌کند، همان‌طور که پاسخ اشتباه هوش مصنوعی می‌کند. این قاعده بر سنجش اول هم اعمال شد؛ مبدل ارز گوگل در سنجش اول برای «قیمت یورو امروز» هر یورو را حدود ۲۰۸ هزار تومان نشان داده بود، در برابر حدود ۳۰۰ هزار تومان بازار آزاد. برای همین میانگین گوگل در سنجش اول اینجا ۸٫۰۹ است، نه ۸٫۱۰ منتشرشده.

قاعدهٔ دوم، یکسانی داوری: ۵ پاسخ ذخیره‌شدهٔ هوش مصنوعی برتینا در هر دو سنجش کلمه‌به‌کلمه یکسان بود و این بار با دقت بیشتر خوانده شد و خطا داشت، از جمله نشانی آیه‌های «سکینه». همان داوری بر سنجش اول هم اعمال شد؛ برای همین میانگین برتینا در سنجش اول اینجا ۸٫۴۵ است، نه ۸٫۴۹ منتشرشده.

درستی قیمت‌ها

در ۱۲ جستجوی قیمت ارز، طلا، سکه و رمزارز، عددی که هر جستجوگر نشان داد با قیمت بازار در همان دقیقه مقایسه شد. مرجع، میانهٔ چند سایت قیمت است. فاصلهٔ بیش از ۲٪ برای ارز، طلا و سکه و بیش از ۱٪ برای رمزارز «قیمت اشتباه» شمرده شد.

• برتینا: در هر ۱۲ جستجو عدد نشان داد و هر ۱۲ عدد درست بود؛ بیشترین فاصله با بازار ۰٫۵۴٪.
• گوگل: در ۵ جستجو عدد نشان داد و هر ۵ عدد قیمت اشتباه بود، حدود ۲۹٪ کمتر از بازار آزاد: دلار، تتر، بیت‌کوین و درهم. در ۷ جستجوی دیگر، مثل «قیمت دلار» و «قیمت سکه امروز»، عددی نشان نداد و فقط پیوند آورد.
• ذره‌بین: برای «قیمت دلار»، «قیمت انس طلا» و «قیمت درهم» ویجت قیمت درست نشان داد و در بقیه عددی نشان نداد.

روز ضبط جمعه بود؛ بازار آزاد ارز و طلا بسته بود و هر سه جستجوگر و سایت‌های مرجع آخرین قیمت پنجشنبه را نشان دادند. تتر، بیت‌کوین و انس در همان ساعت معامله می‌شدند.

کارت‌های پاسخ

برتینا برای قیمت ارز، طلا، سکه، تتر و بیت‌کوین، شاخص بورس و سهم، نتیجه و جدول فوتبال و فرمول یک، ساعت، اوقات شرعی، هوا و تقویم، پاسخ را در کارتی بالای صفحه نشان می‌دهد؛ با منبع، زمان به‌روزرسانی و در قیمت‌ها نمودار و تبدیل. در «قیمت و ابزارهای روزمره» میانگین برتینا ۹٫۳۶، گوگل ۸٫۸۲ و ذره‌بین ۷٫۹۱ است. گوگل برای ساعت، هوا، جدول لیگ و سهام خارجی پنل دارد؛ ذره‌بین برای چند قیمت و شاخص بورس ویجت دارد ولی ویجت هوایی که در سنجش اول نشان داد این بار نیامد.

رویدادها

برتینا اکنون جستجوی رویداد دارد. برای ۴ از ۶ جستجوی رویداد این سنجش، جعبهٔ «رویدادها» بالای نتایج آمد: تا سه رویداد پیش رو با تاریخ، شهر و محل و پیوند «همه در رویدادها». تب «رویدادها» فهرست کامل، صافی شهر و نوع، تقویم و صفحهٔ هر رویداد را دارد. گوگل از تهران و ذره‌بین برای این جستجوها بخش رویداد نشان ندادند و فقط پیوند سایت‌های فروش بلیت و خبرها آوردند.

سایت‌ها و سامانه‌های رسمی

گروه سامانه‌ها و سایت‌های رسمی ۴۸ جستجو دارد، از جمله ۳۰ سایتی که گوگل از بیرون ایران نمی‌بیند. میانگین این گروه: برتینا ۸٫۹۷، گوگل ۷٫۵۳ و ذره‌بین ۶٫۹۴. در آن ۳۰ سایت، سایت رسمی در دسکتاپ در ۳۰ جستجو نتیجهٔ اول برتینا بود، در برابر ۱۷ جستجو در گوگل و ۱۸ جستجو در ذره‌بین. این گروه عمداً از همین نوع انتخاب شده و نمونهٔ عادی جستجوها نیست.

نتیجه بر اساس نوع جستجو

اخبار و پاسخ هوش مصنوعی

اخبار

برتینا بلوک اخبار در صفحهٔ نتایج و تب «اخبار» دارد؛ گوگل «داستان‌های برتر» و تب اخبار؛ ذره‌بین تب اخبار ندارد.

پاسخ هوش مصنوعی

بدون ورود، روی ۱۰۵ از ۱۶۸ صفحهٔ برتینا پاسخ هوش مصنوعی آمد و روی ۶۳ صفحه کادر «وارد شوید». از ۱۰۵ پاسخ، ۷۵ درست، ۲۴ نیمه‌درست و ۶ اشتباه بود. با ورود به حساب، ۲۰ پرسش دوباره جستجو شد: ۷ پاسخ درست، ۱۲ نیمه‌درست (خطای جزئی یا متن نامفهوم) و ۱ اشتباه. گوگل از تهران در هیچ‌یک از صفحه‌ها پاسخ هوش مصنوعی نشان نداد و ذره‌بین در صفحهٔ نتایج پاسخ هوش مصنوعی ندارد.

جاهایی که گوگل بهتر بود و کاستی‌های برتینا

• جستجوی محلی: گوگل با پنل «جاها» (نقشه، تلفن، ساعت کار) جلوتر است: ۸٫۹۵ در برابر ۸٫۳۶.
• شلوغی صفحه: امتیاز نمایش برتینا ۱٫۵۶ از ۲ است، در برابر ۱٫۹۴ گوگل و ۱٫۹۵ ذره‌بین. نوار خبر برتینا گاهی خبرهای کهنه یا بی‌ربط نشان داد.
• پاسخ هوش مصنوعی: بدون ورود بیشتر صفحه‌ها کادر «وارد شوید» دارند، و با ورود هم بخشی از پاسخ‌ها خطای جزئی یا متن نامفهوم داشت.
• دامنهٔ شبیه سایت بانک: برای «بام سازمانی بانک ملی» و «بانک ملی» یکی از نتیجه‌های برتینا دامنهٔ bmi-ir.com با عنوان «bmi.ir - بانک ملّی ایران» بود؛ این دامنهٔ رسمی بانک نیست (دامنهٔ رسمی bmi.ir است).

روش سنجش

• جستجوها: همان ۱۴۰ جستجوی سنجش اول و ۲۸ جستجوی تازه؛ هر جا جستجوی واقعی هم‌نوع در هفت روز پیش از سنجش بود، همان به کار رفت.
• محل و زمان: تهران، ۲۲ آبان ۱۴۰۵، در مرورگر Chrome، بدون ورود به حساب و با پروفایل تازه؛ هر صفحه در دسکتاپ و موبایل. جستجوهای قیمت در هر سه جستجوگر هم‌زمان ضبط شد.
• امتیاز از ۱۰، در چهار بخش: جای پاسخ درست یا سایت رسمی (۴)، کیفیت بقیهٔ نتایج بالا (۲)، ویژگی‌ها مثل پاسخ هوش مصنوعی درست، کارت پاسخ، پنل مکان و اخبار (۲)، و نمایش و شلوغی صفحه (۲). پاسخ اشتباه هوش مصنوعی و قیمت اشتباه امتیاز ویژگی‌ها را صفر می‌کنند.
• ارزیاب: امتیازها را یک ارزیاب هوش مصنوعی داد و برای هر امتیاز یادداشت نوشت؛ داوری انسانی دوم انجام نشده است.

اگر فقط درستی و کیفیت نتایج را بشماریم (از ۶): برتینا ۵٫۷۷، گوگل ۵٫۵۸ و ذره‌بین ۵٫۲۲؛ و بدون ۳۰ سایت رسمی: برتینا ۵٫۷۵، گوگل ۵٫۷۲ و ذره‌بین ۵٫۲۴.

سرعت

زمان از شروع بارگذاری تا نمایش اولین نتیجه، برای ۴۰ جستجوی تکراری و ۴۰ جستجوی تازه (نام مکان و شهر که پیش از آزمون جستجو نشده بود). گوگل در هر دو حالت سریع‌ترین بود. برتینا در جستجوی تکراری از ذره‌بین سریع‌تر و در جستجوی تازه کندتر بود و همهٔ ۸۰ جستجو را نتیجه داد. صفحه‌های برتینا و ذره‌بین این بار از یک شبکهٔ دیگر تهران باز شد، پس عددها با سنجش اول کاملاً قابل مقایسه نیستند.

محدودیت‌های این سنجش

• یک روز (جمعه) و یک محل (تهران). نتیجهٔ گوگل و ذره‌بین برای کاربران دیگر یا در ساعت دیگر می‌تواند فرق کند.
• صفحه‌های اصلی بدون ورود ضبط شد؛ بخش جداگانهٔ پاسخ هوش مصنوعی با ورود به یک حساب کاربری.
• امتیازها را یک ارزیاب هوش مصنوعی داده است، با یادداشت برای هر امتیاز؛ داوری انسانی دوم انجام نشده است.
• ۳۰ جستجوی «سایت‌هایی که گوگل نمی‌بیند» عمداً انتخاب شده است و نمونهٔ عادی جستجوها نیست؛ جستجوهای واقعی هم به دست ما انتخاب شده‌اند، نه تصادفی.
• آزمون سرعت فقط ۴۰ + ۴۰ جستجو از یک محل است؛ آزمون بار انجام نشده است.

گزارش کامل

گزارش کامل روش و معیار امتیاز، جدول قیمت‌ها، مقایسهٔ دو سنجش، نتیجه به تفکیک موضوع و پیوستی با تصویر صفحهٔ نتایج، امتیاز و یادداشت هر ۱۶۸ جستجو را در بر دارد. تصویرها همان‌اند که در زمان سنجش ضبط شدند.

جستجوگرهای سنجیده‌شده: برتینا، گوگل، ذره‌بین. امتیازها و یادداشت‌ها، تصویرهای کامل صفحه‌ها و داده‌های سنجش نزد برتینا نگه‌داری می‌شوند.