http___blog.superhosting.bg_good-vs-bad-bots.html_2.xml
http___blog.resellerspanel.com_latest-news_new-googlebot-news-agent.html.xml
1.1 2.1 2.2 2.3 2.4 2.5 2.6 3.1 3.2 3.3 3.4 3.5 3.6 4.1 5.1 6.1 6.2 6.3 7.1 8.1 9.1 10.1 11.1 12.1 13.1 13.2 14.1 15.1 15.2 16.1 16.2 16.3 17.1 17.2 17.3 18.1 18.2 19.1 20.1 21.1 22.1 23.1 23.2 23.3 24.1 24.2 25.1 25.2 26.1 27.1 28.1 29.1 30.1 31.1 32.1 33.1 33.2 34.1 35.1 36.1 36.2 36.3 37.1 37.2 39.1 41.1 41.2 43.1 45.1 45.2 46.1 47.1 48.1 50.1 52.1 54.1 54.2 56.1 56.2 57.1 59.1 59.2 61.1 63.1 64.1
Добрите ботове vs лошите ботове и вашият сайт! В тази публикация един от дългогодишните колеги в техническия екип на нашата хостинг компания СуперХостинг.БГ - Митко, се постара да синтезира максимално, иначе огромния обем от информация по темата - индексиране от ботове. Следващите редове ще ви дадат отговори на въпросите: Кои са добри и кои лоши ботове? Как да определяте кои директории в хостинг акаунта ви да се индексират? Как да се предпазвате и да блокирате лошите ботове? А иначе, си знаете :)... разчитаме и вие да споделите ноу хау като коментари под публикацията. Когато става въпрос за вашия сайт, е много важно заедно да елиминираме възможността за “непослушание” от страна на лошите ботове и единствено "възпитаните", добри роботи да индексират съдържанието ви. Сайтовете Ви денонощно се обхождат от ботове (роботи), най-често на търсачки, като например Googlebot , msnbot, YandexBot, bingbot и др. Тези роботи индексират съдържанието на сайтовете, с цел да предоставят по-точни и актуални резултати при търсене. Те се стремят да обходят възможно най-много, а ако е възможно и всички страници от сайта ви. Вие можете да изберете кои директории да не се обхождат от тези ботове, като използвате robots.txt файл в основната (root) директория на сайта. Преди да започне обхождане на сайта робота проверява robots.txt файла, от където разбира кои директории могат да бъдат индексирани и кои не. Синтаксиса на файла е доста опростен: User-agent: * Disallow: / В User-agent се описва за кой бот важат изброените ограничения, а в Disallow се изброяват забранените директории. В посочения пример с wildcard (*) се посочва, че правилата важат за абсолютно всички ботове, а Disallow: / забранява достъпа до основната директория, т.е. и до всички нейни поддиректории. Ако пропуснете "/" в Disallow, това ще значи, че няма ограничение за директория и ботовете са свободни да обхождат всички директории в хостинг акаунта ви. За да ограничите достъп на Googlebot до /tmp директорията, например, robots.txt файла трябва да изглежда по следния начин: User-agent: Googlebot Disallow: /tmp Можете да забраните достъп и до конректен файл: User-agent: Googlebot Disallow: /DirectoryName/FileName.html Ако не сте сигурни за точното име на бота, който желаете да ограничите, можете да го видите в статистиката Awstats или в Raw Access Log- а на сайта. Подробна информация за robots.txt файла и начина му на употреба можете да намерите на следния адрес: В сайта е включен също списък на голям брой роботи и кратко описание за всеки. Съществуват и други роботи, които предпочитат да пропуснат проверката на файла robots.txt и обхождат съдържанието на сайта, въпреки забраните описани в този файл. Такива ботове наричаме "лоши". При обхождането на сайт от лошите ботове, това не ви носи позитиви за по-добро позициониране на сайта в мрежата, а напротив - сайта се сканира, за да се направи опит за злоупотреба с него. Това включва пробив в сигурността, публикуване на СПАМ в контактни форми, събиране на вашите имейл адреси, на които после се изпраща СПАМ и много други. За тези ботове се налага да използваме .htaccess файла, ако желаем да ограничим достъпа им. Единият вариант е да блокираме ботовете по IP адреса им по познатия начин - deny from IP . Този начин обаче най-често не дава желания резултат, понеже лошите ботове използват различни IP адреси и ще се наложи да блокирате нови и нови IP адреси. В крайна сметка може да се окаже, че сте блокирали половината азиатски (например) IP адреси и досадния бот да продължава да “рови” из страниците Ви. По-ефективен метод за блокиране на лоши роботи е използването на User-agent- а, с който се представя робота. Можем да ограничим този User-agent с простичък Rewrite в .htaccess: RewriteCond %{HTTP_USER_AGENT} ^(.*)Surfbot [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^(.*)ChinaClaw [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^(.*)Zeus [NC] RewriteRule .* - [F] В този пример роботите Surfbot, ChinaClaw и Zeus ще получат 403 Forbidden при опит да достъпят съдържанието на директорията, в която е поставен .htaccess файла. Можете да добавяте и още роботи, като е необходимо да се добави [OR] (или) в края на всеки ред, освен на последния User-agent. (Все пак да споменем, че добавянето на твърде много правила в .htaccess файла да забави зареждането на сайта в някои случаи.) При такова блокиране е препоръчително да съществуват страниците за грешки 404 Not Found и 403 Forbidden. В случай, че тези страници се генерират динамично от системата Ви, това може да доведе до допълнително излишно натоварване. Друг начин за блокиране по User-agent е с използване на SetEnvIfNoCase отново в .htaccess файла. Ето и пример SetEnvIfNoCase User-Agent "^Surfbot" bad_bot SetEnvIfNoCase User-Agent "^ChinaClaw" bad_bot SetEnvIfNoCase User-Agent "^Zeus" bad_bot Order Allow,Deny Allow from all Deny from env=bad_bot В първата част се дефинират User-Agent-и, които ще бъдат разпознати като лоши, а във втората част се блокират всички заявки (GET, POST, HEAD) от такива роботи. В Интернет пространството има много публикувани примери за блокиране на лоши ботове по User-Agent чрез .htaccess . В някои от примерите са включени известни лоши роботи като: - http://en.linuxreviews.org/HOWTO_stop_automated_spam-bots_using_.htaccess - http://www.askapache.com/htaccess/blocking-bad-bots-and-scrapers-with-htaccess.html Ако решите да използвате тези примери, е добре да ги прегледате, за да не блокирате някой робот, който би трябвало да може да обхожда сайта ви. Можете и да добавите бот, който ви досажда, а не е включен в списъка. Сайтът е ваш, съответно и правилата, и свободата за действие в него са ваши! А понеже вашия сайт използва нашия хостинг, то ние го чувстваме и приемаме като задължение да сме ви полезни със съвети как най-добре да работят приложенията ви! Какво ще кажете, успяхме ли и този път? Благодаря ви за страхотната, супер полезна статия. Както винаги, доста полезна информация! Благодаря ви Няма ли начин да се направи нещо подобно както е в примера, но за good_bot и съответно да приемаме заявки само от тях ? Както винаги любимият ми хостинг ме изненада приятно. Супер сте Имам само 1 въпрос “(Все пак да споменем, че добавянето на твърде много правила в .htaccess файла да забави зареждането на сайта в някои случаи.)” Колко е максимално допустимият брой ботове които можем да добавим в черния списък много интересно наистина Благодаря за полезната информация, в доста случай “лошите” ботове натоварват доста сайтовете и изразходват от процесорното Ви време Супер препоръки наистина. Специално за спама може да се възползвам от съветите Аз използвам един скрипт, който автоматично улавя и добавя лошите ботове в хтакцеса, за блокиране. Работи без засечка. Можете да научите повече тук: http://www.braemoor.co.uk/software/robottrapphp.shtml […] интернет пространството има „добри“ и „лоши“ ботове. Най-често опитите за злоупотреби и компрометиране на […] […] както и допълнителна информация относно това дали Google бота е засякъл злонамерен […] Това с ловенето на роботите ми се струва много полезно, но какво става ако се блокира примерно googlebot по грешка. Напоследък имам много атаки от роботи и със сигурност трябва да предприема нещо, но ми се струва доста рисково, да не блокирам нещо, което не трябва.
1.1 2.1 3.1 4.1 4.2 4.3 5.1 6.1 7.1 8.1 9.1 10.1 11.1 12.1 13.1 14.1 15.1 16.1 17.1 18.1 19.1 20.1 21.1 22.1 23.1 24.1 25.1 26.1
January 12th, 2010 By admin Latest News In the beginning of December, Google released a new user agent, the Googlebot-News. Just like the regular Googlebot, this bot will crawl your website for any news, which will later be indexed in Google News. This can give additional edge to people who are running their own news-oriented sites and want to get better Google rankings. With this new addition, you can now choose which sections of your site will be crawled by the news bot and which can be crawled by the regular Googlebot with the help of the robots.txt file Here is how you can manage both the regular Google bot and the Google news bot: User-agent: Googlebot Disallow: This will allow for all pages to be crawled by both the news and the general Googlebot If you wish to prevent the Google news bot from visiting your site, but you wish to allow visits from the general bot, you can use the following lines: User-agent: Googlebot Disallow: User-agent: Googlebot-News Disallow: / If you change the place of the Googlebot-News and the Googlebot in the last setup, you will allow the Googlebot-News to crawl your website and forbid the Googlebot to do so. You can also disallow certain folders of your website for both bots: User-agent: Googlebot Disallow: /latest_news User-agent: Googlebot-News Disallow: /archives This way, the news bot will not visit the /archives folder, and the Googlebot will not visit the /latest_news folder. Tags: Google, googlebot, googlebot-news, robots.txt This entry was posted on Tuesday, January 12th, 2010 at 9:22 am and is filed under Latest News. You can follow any responses to this entry through the RSS 2.0 feed. You can leave a response, or trackback from your own site.