SEO - do plików robots.txt dodaliśmy dyrektywę spowalniającą indeksowanie

Do standardowego pliku robots.txt dodaliśmy dyrektywę "Crawl-delay: 1" która oznacza, że robot jednej wyszukiwarki powinien indeksować kolejne strony nie szybciej niż co 1 sekunda. Oczekujemy, że zmniejszy to przeciążenia serwerów gdy strona sklepu jest indeksowana nawet przez kilka robotów na raz.

Robot wyszukiwarki w celu zindeksowania jej zawartości odwiedza kolejno strony sklepu, wczytyjąc je. Działanie jest analogiczne do odwiedzin klientów. Jeżeli robi to w tempie np. kilkanaście stron na sekundę i w tym czasie spotka się np. z innym robotem (np. na raz stronę indeksuje Google, Bing, Twenga i kilka innych robotów), to nie trudno o przeciążenie serwera.

W przypadku robota wyszukiwarki Google sprawa nie jest tak oczywista, gdyż robot ten potrafi ignorować taką dyrektywę. Dlatego, jeżeli obserwują Państwo przeciążenia serwera, powinni Państwo również dostosować prędkość indeksowania w narzędziu Google Webmaster Tools.

Problem jest istotny i obserwujemy go coraz częściej u klientów. Ilość robotów i szybkość ich indeksacji rośnie i roboty te potrafią wygenerować nawet 50% żądań do średniej wielkości sklepu. Ilość żądań pokazana jest również w statystykach AwStats w części poświęconej tzw. "crawlers". Czasami nasi klienci zapominają o tym, że mimo iż ten ruch w AwStats nie jest ujmowany, jak również my nie naliczamy za niego opłat, nie oznacza to, że takie odwiedziny nie wpływają na obciążenie serwera.