http___blog.superhosting.bg_good-vs-bad-bots.html_1.xml
http___www.w3mate.com_block-seo-tools-bots-from-finding-your-backlinks_.xml
1.1 2.1 2.2 2.3 2.4 2.5 2.6 3.1 3.2 3.3 3.4 3.5 3.6 4.1 5.1 6.1 6.2 6.3 7.1 8.1 9.1 10.1 11.1 12.1 13.1 13.2 14.1 15.1 15.2 16.1 16.2 16.3 17.1 17.2 17.3 18.1 18.2 19.1 20.1 21.1 22.1 23.1 23.2 23.3 24.1 24.2 25.1 25.2 26.1 27.1 28.1 30.1 31.1 32.1 34.1 35.1 35.2 36.1 37.1 38.1 38.2 38.3 39.1 39.2 40.1 41.1 42.1 43.1 44.1 45.1 46.1 46.2 46.3 46.4 47.1 47.2 48.1 48.2 49.1 50.1 50.2 51.1 52.1
Добрите ботове vs лошите ботове и вашият сайт! В тази публикация един от дългогодишните колеги в техническия екип на нашата хостинг компания СуперХостинг.БГ – Митко, се постара да синтезира максимално, иначе огромния обем от информация по темата – индексиране от ботове. Следващите редове ще ви дадат отговори на въпросите: Кои са добри и кои лоши ботове? Как да определяте кои директории в хостинг акаунта ви да се индексират? Как да се предпазвате и да блокирате лошите ботове? … А иначе, си знаете :)… разчитаме и вие да споделите ноу хау като коментари под публикацията. Когато става въпрос за вашия сайт, е много важно заедно да елиминираме възможността за “непослушание” от страна на лошите ботове и единствено „възпитаните“, добри роботи да индексират съдържанието ви. Сайтовете Ви денонощно се обхождат от ботове (роботи), най-често на търсачки, като например Googlebot , msnbot, YandexBot, bingbot и др. Тези роботи индексират съдържанието на сайтовете, с цел да предоставят по-точни и актуални резултати при търсене. Те се стремят да обходят възможно най-много, а ако е възможно и всички страници от сайта ви. Вие можете да изберете кои директории да не се обхождат от тези ботове, като използвате robots.txt файл в основната (root) директория на сайта. Преди да започне обхождане на сайта робота проверява robots.txt файла, от където разбира кои директории могат да бъдат индексирани и кои не. Синтаксиса на файла е доста опростен: User-agent: * Disallow: / В User-agent се описва за кой бот важат изброените ограничения, а в Disallow се изброяват забранените директории. В посочения пример с wildcard (*) се посочва, че правилата важат за абсолютно всички ботове, а Disallow: / забранява достъпа до основната директория, т.е. и до всички нейни поддиректории. Ако пропуснете "/" в Disallow, това ще значи, че няма ограничение за директория и ботовете са свободни да обхождат всички директории в хостинг акаунта ви. За да ограничите достъп на Googlebot до /tmp директорията, например, robots.txt файла трябва да изглежда по следния начин: User-agent: Googlebot Disallow: /tmp Можете да забраните достъп и до конректен файл: User-agent: Googlebot Disallow: /DirectoryName/FileName.html Ако не сте сигурни за точното име на бота, който желаете да ограничите, можете да го видите в статистиката Awstats или в Raw Access Log- а на сайта. Подробна информация за robots.txt файла и начина му на употреба можете да намерите на следния адрес: В сайта е включен също списък на голям брой роботи и кратко описание за всеки. Съществуват и други роботи, които предпочитат да пропуснат проверката на файла robots.txt и обхождат съдържанието на сайта, въпреки забраните описани в този файл. Такива ботове наричаме "лоши". При обхождането на сайт от лошите ботове, това не ви носи позитиви за по-добро позициониране на сайта в мрежата, а напротив – сайта се сканира, за да се направи опит за злоупотреба с него. Това включва пробив в сигурността, публикуване на СПАМ в контактни форми, събиране на вашите имейл адреси, на които после се изпраща СПАМ и много други. За тези ботове се налага да използваме .htaccess файла, ако желаем да ограничим достъпа им. Единият вариант е да блокираме ботовете по IP адреса им по познатия начин – deny from IP . Този начин обаче най-често не дава желания резултат, понеже лошите ботове използват различни IP адреси и ще се наложи да блокирате нови и нови IP адреси. В крайна сметка може да се окаже, че сте блокирали половината азиатски (например) IP адреси и досадния бот да продължава да “рови” из страниците Ви. По-ефективен метод за блокиране на лоши роботи е използването на User-agent- а, с който се представя робота. Можем да ограничим този User-agent с простичък Rewrite в .htaccess: RewriteCond %{HTTP_USER_AGENT} ^(.*)Surfbot [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^(.*)ChinaClaw [NC,OR] RewriteCond %{HTTP_USER_AGENT} ^(.*)Zeus [NC] RewriteRule .* – [F] В този пример роботите Surfbot, ChinaClaw и Zeus ще получат 403 Forbidden при опит да достъпят съдържанието на директорията, в която е поставен .htaccess файла. Можете да добавяте и още роботи, като е необходимо да се добави [OR] (или) в края на всеки ред, освен на последния User-agent. (Все пак да споменем, че добавянето на твърде много правила в .htaccess файла да забави зареждането на сайта в някои случаи.) При такова блокиране е препоръчително да съществуват страниците за грешки 404 Not Found и 403 Forbidden. В случай, че тези страници се генерират динамично от системата Ви, това може да доведе до допълнително излишно натоварване. Друг начин за блокиране по User-agent е с използване на SetEnvIfNoCase отново в .htaccess файла. Ето и пример SetEnvIfNoCase User-Agent "^Surfbot" bad_bot SetEnvIfNoCase User-Agent "^ChinaClaw" bad_bot SetEnvIfNoCase User-Agent "^Zeus" bad_bot Order Allow,Deny Allow from all Deny from env=bad_bot В първата част се дефинират User-Agent-и, които ще бъдат разпознати като лоши, а във втората част се блокират всички заявки (GET, POST, HEAD) от такива роботи. В Интернет пространството има много публикувани примери за блокиране на лоши ботове по User-Agent чрез .htaccess . В някои от примерите са включени известни лоши роботи като: - http://en.linuxreviews.org/HOWTO_stop_automated_spam-bots_using_.htaccess - http://www.askapache.com/htaccess/blocking-bad-bots-and-scrapers-with-htaccess.html Ако решите да използвате тези примери, е добре да ги прегледате, за да не блокирате някой робот, който би трябвало да може да обхожда сайта ви. Можете и да добавите бот, който ви досажда, а не е включен в списъка. Сайтът е ваш, съответно и правилата, и свободата за действие в него са ваши! А понеже вашия сайт използва нашия хостинг, то ние го чувстваме и приемаме като задължение да сме ви полезни със съвети как най-добре да работят приложенията ви! Какво ще кажете, успяхме ли и този път? Препоръчани статии Оставете коментар Коментара към "Добрите ботове vs лошите ботове и вашият сайт! Това с ловенето на роботите ми се струва много полезно, но какво става ако се блокира примерно googlebot по грешка. Напоследък имам много атаки от роботи и със сигурност трябва да предприема нещо, но ми се струва доста рисково, да не блокирам нещо, което не трябва. Здравейте, Блокирането на ботове трябва да се извършва с повишено внимание. Препоръчваме предварително да се прегледат заявките от ботове в Access логовете, както и какъв User Agent е записан. След това да се блокира например по User Agent. По този начин ще бъде ограничен достъпа само за описаните User Agent-и. След блокиране може да се тества достъпа до сайта, като се смени User Agent-a. Затова може да се ползва например допълнителен плъгин към браузъра или Curl (при Unix системи). Аз използвам един скрипт, който автоматично улавя и добавя лошите ботове в хтакцеса, за блокиране. Работи без засечка. Можете да научите повече тук: http://www.braemoor.co.uk/software/robottrapphp.shtml Супер препоръки наистина. Специално за спама може да се възползвам от съветите 😉 Благодаря за полезната информация, в доста случай „лошите“ ботове натоварват доста сайтовете и изразходват от процесорното Ви време 🙂 много интересно наистина
1.1 1.2 1.3 1.4 2.1 2.2 2.3 2.4 3.1 3.2 4.1 4.2 5.1 5.2 5.3 6.1 7.1 8.1 9.1 10.1
The current and most common SEO practice to improve your SERP is to compare your website with the link profile of your competition and find out where you are lacking. Auditing your competition’s backlink profile is THE best SEO strategy to adopt as of today. All one has to do is find out those links that are helping the website to rank and if they are achievable (like directories etc.) then go ahead and build them to your site as well. Further, improving the on page health of the website and fine tuning the website with a clean code can easily get you on top of your competition. Now lets go to the other side of the court and think about this scenario. Imagine you are ranking high and you should be aware that this can be done by your competition as well! How can you save yourselves from this danger and keep your valuable backlink properties secret? Read on.. Basically, most of the SEO companies use Industry wide SEO tools like Majestic SEO, MOZ, ahref, Market Samurai (uses majestic api) etc. to find your competition. Attached is a screenshot from how you can easily find your competitor’s backlinks using Market Samurai keyword research tool. The best approach to save your backlink profile is to block these tools (and their bots) from crawling your website and finding information about your website to aid competition. All you have to do is add the first set of instructions to your robots.txt file (root of domain) and the below line of commands to your .htaccess file on the root. The first set blocks the bots using the robots.txt file and the second set of lines help you block the bots that don’t listen to your robots.txt. Having the below information updated in your robots.txt and .htaccess file is all you need to do to achieve this. Let me know how it went and if it worked for you like it did for me! Below are the lines that would go in your robots.txt file #Code to block the bots from Robots File User-agent: AhrefsBot Disallow: / User-agent: Alexibot Disallow: / User-agent: MJ12bot Disallow: / User-agent: SurveyBot Disallow: / User-agent: Xenu’s Disallow: / User-agent: Xenu’s Link Sleuth 1.1c Disallow: / User-agent: rogerbot Disallow:/ Below are the lines that would go in your .htaccess file SetEnvIfNoCase User-Agent .*rogerbot.* dangerbot SetEnvIfNoCase User-Agent .*mj12bot.* dangerbot SetEnvIfNoCase User-Agent .*ahrefsbot.* dangerbot Order Allow,Deny Allow from all Deny from env=dangerbot