Optymalizacja WWW
Powyższa reguła zezwala na dostęp do wszystkich stron serwisu dla wszystkich robotów. Polecenie User-Agent służy do określenia, jakich robotów reguła ma dotyczyć, * oznacza, że wszystkich. Wykaz najpopularniejszych robotów internetowych można odnaleźć na stronie http://spiders.pl/ , poza ich nazwą można tam odnaleźć dla jakich wyszukiwarek pracuje dany robot. Drugie polecenia „Disallow” określa elementy (podstrony) witryny, które mają zostać zablokowane dla robotów.Każdy chce w nim zaistnieć, zabłysnąć, znaleźć jak najwięcej klientów. Nie każdemu jednak to się uda, miejsce jest dla niewielu. Na każde hasło potencjalny odwiedzający znajdzie nie więcej niż 20 stron z pierwszych dwóch stron wyników. Jeśli jesteśmy dalej to musimy mieć duże szczęście lub strony konkurencji prezentują niską jakość. W niniejszej pracy zaprezentowano tematykę pozycjonowania stron internetowych, dziedzinę nauki, której rozwój zdeterminowały potrzeby użytkowników Internetu.
Taki zabieg wskazuje wyszukiwarce, że popularność strony rośnie, optymalizacja WWW witryna indeksowana jest na coraz wyższej pozycji. Kiedy zaś klient nie zdecyduje się na kontynuację współpracy, linki do jego strony są usuwane. Tymczasem mechanizmy odczytują takie drastyczne zmiany w popularności strony jako próbę manipulacji wynikami. Konsekwencje mogą być dla witryny takiego klienta opłakane, włącznie z zablokowaniem i "wyrzuceniem" z wyszukiwarki na stałe - ostrzegają specjaliści z Adweb. Free CSS Egoistka przyjemna niespodziewanie publikuje twarde wierszyki.