Список пошукових ботів для User-agent в robots.txt

Категорії статей: пошукові системи ; 21.07.2010

Для заборони індексації вашого сайту або певних розділів ресурсу пошуковими ботами використовується два методи: використання мета тегів на конкретній сторінці сайту або створення файлу robots.txt. Частенько у вебмайстрів виникають питання що до ідентифікаторів ботів тієї або іншої пошукової системи.

пошукові боти

Знаючи значення User-agent для пошукових ботів, можна заборонити, або навпаки, відкрити доступ тому або іншому боту, наприклад наступними рядками:

User-agent: *
Disallow: /

User-agent: Mediapartners-Google
Disallow:

Верхні рядки заборонять всім ботам індексувати контент, окрім бота AdSense (якщо на сайті показуються оголошення AdSense).

Нижче приведений список ботів які використовуються відомим пошуковим системами.

http://www.google.com - Googlebot
http://www.msn.com - MSNBot
http://www.aol.com - Slurp
http://www.live.com - MSNBot
http://www.ask.com - Teoma
http://www.alexa.com - ia_archiver
http://www.lycos.com - Lycos
http://www.altavista.com - Scooter
http://www.rambler.ru - StackRambler
http://www.ya.ru - Yandex
http://www.aport.ru - Aport
http://mail.ru - Mail.Ru
http://www.webalta.ru - WebAlta

Примітка:
В деяких крупних пошукових систем окрім основних пошукових ботів існують також роботи для індексації блогів, новин, зображень і так далі. Ось деякі з них:

Googlebot-Mobile виконує обхід сторінок для включення їх в індекс для мобільних пристроїв.
Googlebot-Image сканує сторінки для включення в індекс картинок.
Mediapartners-Google сканує сторінки для визначення вмісту AdSense оголошень.
Adsbot-Google сканує сторінки для визначення якості цільових сторінок AdWords.
MSNBot-NewsBlogs - сканує для пошуку новин в мережі Інтернет.
MSNBot-Products - сканує для пошуку продуктів, які можна придбати в Інтернеті.
MSNBot-Media - сканує сторінки для пошуку мультимедійних файлів.

По зовнішнім джерелам

Залишити коментар

Перепечатка любых материалов © 2013 без разрешения автора запрещена. | 2.26MB | 0.02Sec ad Google