BertinaBot: خزندهٔ موتور جستجوی برتینا
آخرین به‌روزرسانی: ۲۶ مهر ۱۴۰۵
BertinaBot چیست؟
BertinaBot خزندهٔ (crawler) موتور جستجوی فارسی برتینا است. متن صفحهٔ اصلی سایت‌ها را می‌خواند تا خلاصهٔ نتایج جستجو بهتر شود و نمایهٔ جستجوی خود برتینا ساخته شود. این خزنده خودش را پنهان نمی‌کند، از robots.txt پیروی می‌کند و اگر سایتی آن را نپذیرد، با شناسهٔ دیگری دوباره تلاش نمی‌کند.
شناسهٔ BertinaBot
همهٔ درخواست‌های این خزنده، از جمله درخواست robots.txt، این سرآیند را دارند:
Mozilla/5.0 (compatible; BertinaBot/1.0; +https://search.bertina.ir/bot)BertinaBot چه چیزی را می‌خواند
- فقط فایل robots.txt و صفحهٔ اصلی هر دامنه؛ به صفحه‌های دیگر سایت نمی‌رود.
- JavaScript اجرا نمی‌کند و تصویر، ویدیو یا فایل دانلود نمی‌کند.
- از هر صفحه فقط عنوان، توضیح متا، سرتیترها و متن قابل‌مشاهده را نگه می‌دارد (حداکثر ۲۰ هزار نویسه)، نه کد صفحه را.
- در هر دور خزش به هر دامنه یک بار سر می‌زند و دورها پیوسته نیستند. هم‌زمان بیش از دو اتصال به یک نشانی IP باز نمی‌کند و Crawl-delay را تا ۱۰ ثانیه رعایت می‌کند.
کنترل دسترسی BertinaBot با robots.txt
نام این خزنده در robots.txt همان BertinaBot است (بزرگی و کوچکی حروف مهم نیست). برای بستن کامل سایت:
User-agent: BertinaBot
Disallow: /برای بستن فقط یک مسیر:
User-agent: BertinaBot
Disallow: /private/- اگر برای BertinaBot گروه جداگانه‌ای نباشد، قواعد گروه «*» اعمال می‌شود.
- اگر robots.txt خطای 4xx برگرداند (مثلاً وجود نداشته باشد)، محدودیتی در نظر گرفته نمی‌شود.
- اگر robots.txt خطای 5xx یا ۴۲۹ بدهد یا در دسترس نباشد، BertinaBot صفحه را نمی‌خواند.
دستورهای noindex و nosnippet
BertinaBot دستورهای noindex و nosnippet و max-snippet و noarchive را از تگ متای robots (یا متای bertinabot) و سرآیند X-Robots-Tag ثبت می‌کند و برتینا هنگام استفاده از این متن در نتایج جستجو به آن‌ها پایبند است.
نشانی‌های IP خزنده
سایت‌های ایرانی از داخل ایران و بقیهٔ سایت‌ها از خارج ایران خوانده می‌شوند. اگر درخواستی با این شناسه از نشانی دیگری دیدید، از BertinaBot نیست.
| نشانی IP | محل |
|---|---|
| 185.88.153.114 | داخل ایران |
| 159.69.165.83 | خارج از ایران |
دیگر ابزارهای برتینا که به سایت شما سر می‌زنند
این ابزارها متن سایت را برای نمایهٔ جستجو جمع نمی‌کنند و robots.txt را نمی‌خوانند:
- BertinaAccessibilityProbe
یک درخواست HEAD به صفحهٔ اصلی، حدوداً هفته‌ای یک بار (اگر سایت در دسترس نبود، روزی یک بار)، فقط برای این‌که بدانیم سایت از داخل و خارج ایران باز می‌شود یا نه. متنی ذخیره نمی‌کند.
BertinaAccessibilityProbe/0.1 (+https://search.bertina.ir) - BertinaLanguageDetector
یک بار برای هر دامنه، فقط ۸ کیلوبایت اول صفحهٔ اصلی را می‌خواند تا زبان سایت را تشخیص دهد.
BertinaLanguageDetector/0.1 (+https://search.bertina.ir; offline content classifier)
تماس
اگر BertinaBot برای سایت شما مشکلی ایجاد کرده است، از طریق صفحه تماس برتینا خبر دهید.
BertinaBot (English)
BertinaBot is the crawler of Bertina, a Persian-language web search engine. It reads the homepage text of websites to improve search-result snippets and to build Bertina's own search index. It identifies itself honestly, obeys robots.txt, and never retries a refused site with a different user agent.
User agent
Mozilla/5.0 (compatible; BertinaBot/1.0; +https://search.bertina.ir/bot)What it fetches
- Only robots.txt and the homepage of each domain; it does not follow links.
- No JavaScript is executed; no images, video or downloads are fetched.
- It keeps the title, meta description, headings and visible text (up to 20,000 characters), not the HTML.
- One visit per domain per crawl, and crawls are occasional, not continuous. At most two concurrent connections per IP address; Crawl-delay is honoured up to 10 seconds.
Controlling it with robots.txt
The robots.txt token is BertinaBot (case-insensitive). To block the whole site:
User-agent: BertinaBot
Disallow: /- Without a BertinaBot group, the rules of the «*» group apply.
- A 4xx response for robots.txt (e.g. missing) means no restrictions.
- A 5xx or 429 response, or an unreachable robots.txt, means the page is not fetched.
- noindex, nosnippet, max-snippet and noarchive in the robots (or bertinabot) meta tag and in X-Robots-Tag are recorded, and Bertina honours them when it uses the text.
IP addresses
- 185.88.153.114 (inside Iran)
- 159.69.165.83 (outside Iran)
Other Bertina agents
These do not collect text for the index and do not read robots.txt:
- BertinaAccessibilityProbe: One HEAD request to the homepage about once a week (daily while the site is unreachable), only to learn whether the site opens from inside and outside Iran. Stores no content.
- BertinaLanguageDetector: Once per domain, reads only the first 8 KB of the homepage to detect the site's language.
Contact
If BertinaBot causes a problem for your site, please tell us via Bertina's contact page.
Bertina uses the IP2Location LITE database for IP geolocation.