Czasem zachodzi konieczność możliwie najszybszego wyindeksowania domeny z wyszukiwarki. Powodem może być chęć „ukrycia” zasobów o mniejszej wartości. To zabieg korzystny dla pozycjonowania, gdyż algorytm lepiej ocenia strony wysokiej jakości. Google daje nam taką możliwość. Usunąć z indeksu możemy całą witrynę albo wybraną podstronę – tymczasowo lub na stałe. Poinformowanie robotów indeksujących o tym, żeby nie podążały za linkami, nie jest skomplikowane. Co ciekawe, w przeciwieństwie do procesu indeksacji, który może trwać nawet kilka miesięcy, wyindeksowanie strony odbywa się niemal automatycznie. Sprawdź, w jaki sposób usunąć witrynę z Google.
Blokowanie indeksacji zasobów i danych adresów URL przez plik robots.txt
Plik robots.txt odpowiada za komunikację z robotami Google. Za jego pośrednictwem można poinformować je o tym, że nie chcemy, by indeksowały konkretne treści. Należy to zrobić, tworząc dany plik w katalogu głównym hosta lub, jeśli ten już istnieje, odpowiednio go konfigurując.
- Zablokowanie dostępu do całej witryny:
User-agent: *
Disallow: /
Gdzie * oznacza wszystkie roboty, a symbol [/] informuje, że chcemy zablokować całą zawartość strony.
Inne konfiguracje to m.in.:
- Zablokowanie dostępu do jednego folderu:
User-agent: *
Disallow: /folder/ - Zablokowanie dostępu do wskazanej podstrony:
User-agent: *
Disallow: /file.html
Jeśli niepowołany adresu URL został już zaindeksowany, blokowanie go w pliku robots.txt nie przyniesie zamierzanego efektu.
Jak usunąć stronę z wyszukiwarki Google, wykorzystując meta tagi?
Znacznik meta robots może posłużyć do powiadomienia robotów crawlujących o tym, by ignorowały wskazaną treść. Meta tag należy wstawić w nagłówku, w sekcji <head>. Jeżeli chcemy wyindeksować witrynę z Google, musimy użyć następującego znacznika:
<meta name=”robots” content=”noindex, nofollow”>
Po zastosowaniu meta tagu, roboty nie będą indeksowały strony, ani podążały za linkami. Zawartość witryny zniknie z zasobów wyszukiwarki. Jest to najskuteczniejszy sposób na to, jak usunąć stronę z Google. Dopóki znacznik pozostanie widoczny, boty będą stosowały się do polecenia.
Jak wyindeksować stronę z Google przy pomocy narzędzi dla webmasterów?
Ten sposób umożliwia szybkie usunięcie witryny z wyszukiwarki, ale tylko na pewien czas. Potrzebny jest dostęp do Google Search Console, które pozwala n a czasowe usunięcie niechcianej treści. Przy pomocy kilku kliknięć w sekcji Indeks, można zgłosić stronę do usunięcia:
Tymczasowe usunięcia – Nowa prośba – Tymczasowe usunięcie adresu URL
Jeśli prośba zostanie rozpatrzona pozytywnie, strona tymczasowo nie będzie indeksowana (przez ok. 6 miesięcy). Po tym czasie prośbę można ponowić.