سنجش کیفیت جستجو: برتینا، گوگل و ذره‌بین
· برتینا
جستجوگر خوب کاربر را زود به جای درست می‌رساند: به سایت رسمی، به مکان درست، به خبر تازه یا به پاسخ درست. برای اینکه ببینیم برتینا در این کار کجا ایستاده است، ۱۴۰ جستجو را در سه جستجوگر برتینا، گوگل و ذره‌بین انجام دادیم، صفحهٔ نتایج هر کدام را ضبط کردیم و به هر صفحه از ۱۰ امتیاز دادیم. همهٔ جستجوها از تهران، در دسکتاپ و موبایل و بدون ورود به حساب کاربری انجام شد.
این نوشته خلاصهٔ نتیجه است، با تصویر چند صفحهٔ نتایج. گزارش کامل، با تصویر و امتیاز و یادداشت هر ۱۴۰ جستجو، برای دانلود آمده است.
خلاصهٔ نتیجه
میانگین امتیاز در همهٔ ۱۴۰ جستجو (از ۱۰)
- برتینا
- ۸٫۴۹
- گوگل
- ۸٫۱۰
- ذره‌بین
- ۷٫۴۵
سایت رسمی نتیجهٔ اول، در ۳۰ سایتی که گوگل از بیرون ایران نمی‌بیند (دسکتاپ)
- برتینا
- ۳۰از ۳۰
- گوگل
- ۱۱از ۳۰
- ذره‌بین
- ۲۱از ۳۰
میانگین امتیاز بدون آن ۳۰ جستجو (از ۱۰)
- برتینا
- ۸٫۳۴
- گوگل
- ۸٫۴۴
- ذره‌بین
- ۷٫۴۵
در همهٔ ۱۴۰ جستجو، میانگین امتیاز برتینا ۸٫۴۹، گوگل ۸٫۱۰ و ذره‌بین ۷٫۴۵ از ۱۰ بود. برتینا در برابر گوگل ۷۸ برد، ۱۳ مساوی و ۴۹ باخت داشت و در برابر ذره‌بین ۱۰۴ برد، ۱۵ مساوی و ۲۱ باخت. برد و باخت یعنی اختلاف بیش از ۰٫۲۵ امتیاز در یک جستجو.
بیشترین برتری برتینا در سایت‌ها و سامانه‌های رسمی ایرانی است که گوگل از بیرون ایران به آن‌ها دسترسی ندارد یا آن‌ها را ضعیف می‌بیند. در ۳۰ جستجو از این نوع، سایت رسمی در دسکتاپ در همهٔ ۳۰ جستجو نتیجهٔ اول برتینا بود، در برابر ۱۱ جستجو در گوگل و ۲۱ جستجو در ذره‌بین.
این ۳۰ جستجو عمداً از همین نوع انتخاب شده‌اند و نمونهٔ عادی جستجوها نیستند. بدون آن‌ها، در ۱۱۰ جستجوی دیگر، برتینا (۸٫۳۴) و گوگل (۸٫۴۴) نزدیک‌اند: ۵۰ برد، ۱۱ مساوی و ۴۹ باخت. گوگل در جستجوهای محلی، قیمت و ابزارهای روزمره و پرسش‌های اطلاعاتی جلوتر است و صفحهٔ نتایج برتینا شلوغ‌تر است. در برابر ذره‌بین، میانگین برتینا در همهٔ ۱۵ نوع جستجو بالاتر است.
روش سنجش
- جستجوها: ۶۰ جستجو از جستجوهای واقعی کاربران در هفت روز پیش از سنجش، که طوری انتخاب شدند که همهٔ نوع‌ها را بپوشانند؛ ۵۰ جستجوی دیگر برای نوع‌هایی که در آن‌ها کم بودند (مکان، خبر، خرید، مقاله، املای متفاوت، نام چندمعنایی)؛ و ۳۰ جستجو با نام سایت‌های رسمی ایرانی که گوگل از بیرون ایران نمی‌بیند.
- محل و زمان: تهران، ۷ آبان ۱۴۰۵، در مرورگر Chrome، بدون ورود به حساب و با پروفایل تازه. هر صفحه هم در دسکتاپ و هم در موبایل باز و ضبط شد.
- امتیاز از ۱۰، در چهار بخش: جای پاسخ درست یا سایت رسمی (۴ امتیاز)، کیفیت بقیهٔ نتایج بالا (۲)، ویژگی‌ها مثل پاسخ هوش مصنوعی درست، پنل مکان، اخبار و ویجت (۲)، و نمایش و شلوغی صفحه (۲). پاسخ اشتباه هوش مصنوعی امتیاز ویژگی‌ها را صفر می‌کند.
- ارزیاب: امتیازها را یک ارزیاب هوش مصنوعی داد و برای هر امتیاز یادداشت نوشت؛ داوری انسانی دوم انجام نشده است. یادداشت هر امتیاز در گزارش کامل آمده است.
بخش «ویژگی‌ها» به جستجوگری که امکانات بیشتری دارد امتیاز بیشتری می‌دهد. برای همین درستی و کیفیت نتایج را جدا هم حساب کردیم (از ۶): برتینا ۵٫۶۸، گوگل ۵٫۴۳ و ذره‌بین ۵٫۴۱؛ و بدون ۳۰ سایت رسمی: برتینا ۵٫۶۳، گوگل ۵٫۶۸ و ذره‌بین ۵٫۳۸.
سایت‌ها و سامانه‌های رسمی
گروه سامانه‌ها و سایت‌های رسمی ۴۶ جستجو دارد، از جمله ۳۰ سایتی که گوگل از بیرون ایران نمی‌بیند. این سایت‌ها برای کاربر داخل ایران باز می‌شوند، ولی گوگل صفحه‌هایشان را از بیرون نمی‌تواند بخواند؛ پس گاهی به‌جای سایت رسمی صفحه‌های دیگری می‌آورد یا عنوان درستی از آن ندارد. میانگین امتیاز این گروه: برتینا ۸٫۷۴، گوگل ۷٫۰۵ و ذره‌بین ۷٫۳۹؛ و در آن ۳۰ سایت: برتینا ۹٫۰۲، گوگل ۶٫۸۵ و ذره‌بین ۷٫۴۷.
ضعف گوگل در این گروه بیشتر در دسکتاپ است: در موبایل سایت رسمی را در ۲۵ از ۳۰ جستجو اول آورد (برتینا ۳۰، ذره‌بین ۲۰). کاستی‌های برتینا در همین گروه: گاهی صفحهٔ اصلی سازمان به‌جای صفحهٔ کار آمد، عنوان بعضی سایت‌های رسمی فقط نام دامنه است، و در دسکتاپ بلوک اخبار و پنل مکان گاهی بالای سایت رسمی می‌آیند.
نتیجه بر اساس نوع جستجو
برتینا بیشترین برتری را در سایت‌های رسمی و مقالات علمی (۹٫۲۵ در برابر ۸٫۰۰ گوگل) دارد. گوگل در جستجوهای محلی (۹٫۳۶ در برابر ۸٫۳۶) جلوتر است، چون پنل «جاها» با نقشه دارد و صفحه‌اش شلوغ نیست؛ در قیمت و ابزارهای روزمره (۹٫۰۰ در برابر ۸٫۰۸) به‌خاطر ویجت هوا، تبدیل ارز و ساعت؛ و در پرسش‌های اطلاعاتی (۸٫۲۶ در برابر ۷٫۶۵) چون پاسخ‌های اشتباه هوش مصنوعی برتینا امتیازش را پایین آورد.
| نوع جستجو | تعداد | برتینا | گوگل | ذره‌بین |
|---|---|---|---|---|
| سامانه‌ها و سایت‌های رسمی | ۴۶ | ۸٫۷۴ | ۷٫۰۵ | ۷٫۳۹ |
| پرسش‌های اطلاعاتی | ۱۷ | ۷٫۶۵ | ۸٫۲۶ | ۷٫۵۰ |
| قیمت و ابزارهای روزمره | ۱۲ | ۸٫۰۸ | ۹٫۰۰ | ۸٫۰۴ |
| محلی و مکان‌ها | ۱۱ | ۸٫۳۶ | ۹٫۳۶ | ۶٫۷۳ |
| اخبار | ۸ | ۸٫۶۹ | ۸٫۹۴ | ۷٫۰۶ |
| وب‌اپ‌ها و برندها | ۸ | ۸٫۵۶ | ۸٫۰۶ | ۷٫۳۱ |
| ویدیو | ۷ | ۹٫۰۰ | ۸٫۹۳ | ۸٫۲۹ |
| خرید | ۶ | ۸٫۴۲ | ۸٫۵۰ | ۷٫۶۷ |
| املا و نگارش متفاوت | ۵ | ۷٫۹۰ | ۸٫۱۰ | ۵٫۹۰ |
| پرسش‌های مناسب پاسخ هوش مصنوعی | ۵ | ۸٫۹۰ | ۸٫۵۰ | ۸٫۰۰ |
| تصویر | ۴ | ۹٫۱۲ | ۹٫۱۲ | ۹٫۰۰ |
| مذهبی و فرهنگی | ۴ | ۸٫۵۰ | ۸٫۵۰ | ۸٫۰۰ |
| ابزارهای هوش مصنوعی | ۳ | ۸٫۶۷ | ۸٫۱۷ | ۶٫۱۷ |
| مقالات علمی | ۲ | ۹٫۲۵ | ۸٫۰۰ | ۷٫۲۵ |
| نام‌های چندمعنایی | ۲ | ۸٫۲۵ | ۷٫۲۵ | ۷٫۷۵ |
مکان‌ها، اخبار و پاسخ هوش مصنوعی
مکان‌ها
برتینا برای جستجوهای محلی پنل مکان (نام، امتیاز، نشانی، تلفن) را در صفحهٔ نتایج و تب «مکان‌یاب» را با نقشه نشان می‌دهد. ذره‌بین مکان‌یاب ندارد و برای همین جستجوها فقط مقاله و فهرست سایت‌های دیگر می‌آورد. گوگل از تهران در ۷ از ۱۱ جستجوی محلی پنل «جاها» را با نقشه، تلفن و ساعت کار نشان داد؛ پس در مکان‌ها برتینا از ذره‌بین بسیار جلوتر است ولی از گوگل عقب‌تر.
اخبار
برتینا هم بلوک اخبار در صفحهٔ نتایج دارد و هم تب اخبار جدا؛ ذره‌بین تب اخبار ندارد. از آن طرف، بلوک اخبار برتینا روی بسیاری از جستجوهای غیرخبری هم می‌آید و صفحه را شلوغ می‌کند.
پاسخ هوش مصنوعی
برتینا بالای نتایج پاسخ هوش مصنوعی نشان می‌دهد. در این سنجش (دسکتاپ، بدون ورود) روی ۹۶ از ۱۴۰ صفحه پاسخ آمد و ۸۲ پاسخ درست بود. ۹ پاسخ دربارهٔ موضوع دیگری بود، ۱ پاسخ خطای واقعی داشت و ۴ پاسخ جمله‌های فارسی نامفهوم داشت. روی ۴۴ صفحه هم به‌جای پاسخ، کادر «وارد شوید» آمد. گوگل در ایران AI Overviews را ارائه نمی‌کند و ذره‌بین در صفحهٔ نتایج پاسخ هوش مصنوعی ندارد؛ پس در این سنجش پاسخ هوش مصنوعی فقط در برتینا بود.
تب‌های تخصصی
برتینا هفت نوع جستجو دارد: همه، اخبار، مکان‌یاب، راهنمای خرید، تصاویر، ویدیو و مقالات علمی؛ ذره‌بین سه نوع. تب «مقالات علمی» برتینا مقاله‌های نشریات ایرانی و دانشگاهی را می‌آورد.
جاهایی که گوگل بهتر بود
برتینا در برابر گوگل ۴۹ بار و در برابر ذره‌بین ۲۱ بار باخت. سه علت تکرار می‌شود: پاسخ اشتباه هوش مصنوعی، که امتیاز ویژگی‌ها را صفر می‌کند؛ ویجت‌ها و پنل‌هایی که گوگل دارد و برتینا ندارد (پنل «جاها»، هوا، تبدیل ارز، ساعت، نتیجهٔ زندهٔ بازی)؛ و بلوک‌های بی‌جا که صفحهٔ برتینا را شلوغ‌تر از گوگل می‌کنند. امتیاز نمایش برتینا ۱٫۵۰ از ۲ است، در برابر ۱٫۹۰ گوگل و ۱٫۹۶ ذره‌بین.
سرعت
جدا از ضبط صفحه‌ها، در همان مرورگر و از تهران، زمان از شروع بارگذاری تا نمایش اولین نتیجه را برای دو گروه ۴۰تایی اندازه گرفتیم: «تکراری»، جستجوهای پرتکرار؛ و «تازه»، نام مکان و شهر که پیش از آزمون در هیچ‌کدام از سه جستجوگر جستجو نشده بود. گوگل در هر دو حالت سریع‌ترین بود. برتینا در جستجوی تکراری از ذره‌بین سریع‌تر و در جستجوی تازه کندتر بود. ذره‌بین چند جستجو را در ۳۰ ثانیه نتیجه نداد.
| جستجوگر | تکراری: میانه | تکراری: ۹۰٪ زیر | تازه: میانه | تازه: ۹۰٪ زیر |
|---|---|---|---|---|
| برتینانتیجه داد: تکراری ۴۰ از ۴۰، تازه ۴۰ از ۴۰ | ۱٫۱ | ۱٫۳ | ۳٫۵ | ۴٫۹ |
| گوگلنتیجه داد: تکراری ۴۰ از ۴۰، تازه ۴۰ از ۴۰ | ۰٫۷ | ۱٫۲ | ۱٫۲ | ۱٫۲ |
| ذره‌بیننتیجه داد: تکراری ۳۸ از ۴۰، تازه ۳۵ از ۴۰ | ۱٫۹ | ۴٫۹ | ۲٫۸ | ۴٫۹ |
محدودیت‌های این سنجش
- یک روز و یک محل (تهران). نتیجهٔ گوگل و ذره‌بین برای کاربران دیگر یا در ساعت دیگر می‌تواند فرق کند.
- همه بدون ورود. کاربر واردشدهٔ برتینا پاسخ هوش مصنوعی بیشتری می‌بیند.
- امتیازها را یک ارزیاب هوش مصنوعی داده است، با یادداشت برای هر امتیاز؛ داوری انسانی دوم انجام نشده است.
- ۳۰ جستجوی «سایت‌هایی که گوگل نمی‌بیند» عمداً از جایی انتخاب شده که برتینا برای آن ساخته شده است؛ این گروه نمونهٔ عادی جستجوها نیست. ۶۰ جستجوی واقعی هم به دست ما انتخاب شده‌اند، نه تصادفی.
- آزمون سرعت فقط ۴۰ + ۴۰ جستجو از یک محل است؛ آزمون بار و پایداری انجام نشده است.
گزارش کامل
گزارش کامل روش و معیارهای امتیاز، نتیجه به تفکیک موضوع و پیوستی با تصویر صفحهٔ نتایج، امتیاز و یادداشت هر ۱۴۰ جستجو را در بر دارد. تصویرها همان‌اند که در زمان سنجش ضبط شدند.
جستجوگرهای سنجیده‌شده: برتینا، گوگل، ذره‌بین. امتیازها و یادداشت‌ها، تصویرهای کامل صفحه‌ها و داده‌های سنجش نزد برتینا نگه‌داری می‌شوند.