Do standardowego pliku robots.txt dodaliśmy dyrektywę "Crawl-delay: 1" która oznacza, że robot jednej wyszukiwarki powinien indeksować kolejne strony nie szybciej niż co 1 sekunda. Oczekujemy, że zmniejszy to przeciążenia serwerów gdy strona sklepu jest indeksowana nawet przez kilka robotów na raz.
więcej