Jak zoptymalizować swoje roboty.plik txt

SEO wykracza daleko poza badania słów kluczowych i budowanie linków zwrotnych. Istnieje również techniczna strona SEO, która w dużym stopniu wpłynie na ranking wyszukiwania.

To jest obszar, gdzie Twoje roboty.plik txt stanie się czynnikiem.

Z mojego doświadczenia wynika, że większość ludzi nie jest zbyt obeznana z robotami.pliki txt i nie wiem od czego zacząć. To właśnie zainspirowało mnie do stworzenia tego przewodnika.

Zacznijmy od podstaw. Czym dokładnie jest robot.plik txt?

Gdy bot Wyszukiwarki indeksuje stronę internetową, korzysta z robotów.plik txt, aby określić, które części witryny muszą być indeksowane.

Mapy witryn są hostowane w folderze głównym i w robotach.plik txt. Tworzysz mapę witryny, aby ułatwić wyszukiwarkom indeksowanie treści.

Pomyśl o swoich robotach.plik txt jak przewodnik lub Instrukcja obsługi dla botów. To przewodnik, który ma zasady, których muszą przestrzegać. Te reguły informują roboty indeksujące, co mogą przeglądać (np. strony w mapie witryny) i jakie części Witryny są ograniczone.

Jeśli Twoje roboty.plik txt nie jest odpowiednio zoptymalizowany, może powodować poważne problemy z SEO dla Twojej witryny.

Dlatego ważne jest, abyś dokładnie zrozumiał, jak to działa i co musisz zrobić, aby upewnić się, że ten techniczny komponent witryny ci pomaga, a nie szkodzi.

Znajdź swoje roboty.plik txt

Zanim cokolwiek zrobisz, pierwszym krokiem jest sprawdzenie, czy masz roboty.na początek plik txt. Niektórzy z Was pewnie nigdy tu nie przychodzili.

Najprostszym sposobem, aby sprawdzić, czy Twoja witryna już go ma, jest umieszczenie adresu URL witryny w przeglądarce internetowej, a następnie / roboty.txt.

Oto jak wygląda szybki kiełek.

Quicksprout Robots.txt

Kiedy to zrobisz, wydarzy się jedna z trzech rzeczy.

  1. Znajdziesz robota.plik txt, który wygląda jak ten powyżej. (Chociaż jeśli nigdy nie poświęciłeś czasu na optymalizację, prawdopodobnie nie jest to tak dogłębne).
  2. Znajdziesz robota.plik txt, który jest całkowicie pusty, ale przynajmniej skonfigurowany.
  3. Otrzymasz błąd 404, ponieważ ta strona nie istnieje.

Większość z was prawdopodobnie wpadnie w dwa najlepsze scenariusze. Nie powinieneś dostać błędu 404, ponieważ większość stron internetowych będzie miała roboty.konfiguracja pliku txt domyślnie podczas tworzenia witryny. Te domyślne ustawienia powinny nadal istnieć, jeśli nigdy nie wprowadzono żadnych zmian.

Aby utworzyć lub edytować ten plik, po prostu przejdź do folderu głównego witryny.

Zmodyfikuj swoje roboty.zawartość txt

W większości przypadków zwykle nie chcesz za dużo z tym zadzierać. To nie jest coś, co będziesz często zmieniał.

Jedynym powodem, dla którego chcesz dodać coś do swoich robotów.plik txt jest, jeśli w Twojej witrynie są pewne strony, których nie chcesz, aby boty indeksowały i indeksowały.

Musisz zapoznać się ze składnią używaną dla poleceń. Otwórz więc zwykły edytor tekstu, aby napisać składnię.

Omówię składnię, która jest najczęściej używana.

Najpierw musisz zidentyfikować gąsienice. Jest to określane jako agent użytkownika.

User-agent: *

Powyższa składnia odnosi się do wszystkich wyszukiwarek indeksujących (Google, Yahoo, Bing itp.)

User-agent: Googlebot

Jak sama nazwa wskazuje, wartość ta przemawia bezpośrednio do robotów indeksujących Google.

Po zidentyfikowaniu robota możesz zezwolić lub zablokować zawartość w witrynie. Oto przykład, który widzieliśmy wcześniej w robotach Quick Sprout.plik txt.

User-agent: *

Disallow: / wp-content/

Ta strona jest używana dla naszego zaplecza administracyjnego dla WordPress. Więc to polecenie mówi wszystkim crawlerom (user-agent:*), aby nie indeksowali tej strony. Nie ma powodu, by boty traciły czas na przeszukiwanie tego.

Powiedzmy, że chcesz powiedzieć wszystkim botom, aby nie indeksowali tej konkretnej strony w Twojej witrynie. http://www.yourwebsite.com/samplepage1/

Składnia wyglądałaby tak:

User-agent: *

Disallow: / samplepage1/

Oto kolejny przykład:

Disallow:/*.gif$

Spowoduje to zablokowanie określonego typu pliku (w tym przypadku .gif). Możesz zapoznać się z tym wykresem Google, aby uzyskać bardziej powszechne zasady i przykłady.

Common Robot.txt Rules and Examples

Koncepcja jest bardzo prosta.

Jeśli chcesz wyłączyć strony, pliki lub zawartość witryny ze wszystkich robotów indeksujących (lub określonych robotów indeksujących), wystarczy znaleźć odpowiednie polecenie składni i dodać je do zwykłego edytora tekstu.

Po zakończeniu pisania poleceń po prostu skopiuj i wklej je do swoich robotów.plik txt.

Dlaczego roboty.plik txt musi być zoptymalizowany

Wiem, co niektórzy z was myślą. Po co miałbym to robić?

Oto, co musisz zrozumieć. Cel Twoich robotów.plik txt nie ma na celu całkowitego zablokowania stron lub Zawartości witryny z wyszukiwarki.

Zamiast tego starasz się zmaksymalizować wydajność ich budżetów. Wszystko, co robisz, to mówienie botom, że nie muszą indeksować stron, które nie są przeznaczone dla publiczności.

Oto podsumowanie tego, jak działa budżet indeksowania Google.

Dzieli się na dwie części:

  1. Limit rate Crawl
  2. Crawl demand

Limit rate crawl określa liczbę połączeń, które robot może wykonać w danej witrynie. Obejmuje to również ilość czasu między pobraniem.

Witryny, które szybko reagują, mają wyższy limit indeksowania, co oznacza, że mogą mieć więcej połączeń z botem. Z drugiej strony witryny, które spowalniają w wyniku indeksowania, nie będą indeksowane tak często.

Strony są również indeksowane na podstawie popytu. Oznacza to, że popularne strony internetowe są indeksowane częściej. Z drugiej strony witryny, które nie są popularne lub często aktualizowane, nie będą indeksowane tak często, nawet jeśli limit indeksowania nie został spełniony.

Optymalizując swoje roboty.plik txt, ułatwiasz pracę robotnikom. Według Google są to przykłady elementów wpływających na budżety indeksowania:

  • Identyfikatory sesji
  • Nawigacja fasetowana
  • Strony błędów
  • Strony, które zostały zhakowane
  • Duplicate content
  • Nieskończone przestrzenie i proxy
  • Zawartość niskiej jakości
  • Spam

Używając robotów.plik TXT aby uniemożliwić tego typu treści z robotów indeksujących, zapewnia to, że spędzają więcej czasu na odkrywaniu i indeksowaniu najlepszych treści w Twojej witrynie.

Oto wizualne porównanie witryn z i bez zoptymalizowanych robotów.plik txt.

Robots.txt Visual Comparison

Robot wyszukiwarek spędza więcej czasu, a zatem więcej budżetu indeksowania, na lewej stronie internetowej. Ale witryna po prawej stronie zapewnia, że indeksowane są tylko najlepsze treści.

Oto scenariusz, w którym chciałbyś wykorzystać roboty.plik txt.

Jak jestem pewien, że wiesz, powielanie treści jest szkodliwe dla SEO. Ale są pewne czasy, kiedy trzeba mieć na swojej stronie internetowej. Na przykład niektórzy z was mogą mieć wersje przystosowane do druku określonych stron. To zduplikowana treść. Możesz więc powiedzieć botom, aby nie indeksowały tej przyjaznej do druku strony, optymalizując swoje roboty.składnia txt.

Testowanie robotów.plik txt

Po znalezieniu, zmodyfikowaniu i zoptymalizowaniu robotów.plik txt, nadszedł czas, aby przetestować wszystko, aby upewnić się, że działa poprawnie.

Aby to zrobić, musisz zalogować się na swoje konto Google Webmasters. Przejdź do” crawl ” z Pulpitu nawigacyjnego.

Webmaster Tools Crawl

Spowoduje to rozszerzenie menu.

Po rozszerzeniu będziesz szukać ” robotów.txt Tester” opcja.

Robots.txt Tester

Następnie wystarczy kliknąć przycisk “Testuj” w prawym dolnym rogu ekranu.

Robots.txt Test

Jeśli są jakieś problemy, możesz po prostu edytować składnię bezpośrednio w testerze. Kontynuuj testy, aż wszystko będzie gładkie.

Pamiętaj, że zmiany wprowadzone w testerze nie są zapisywane na twojej stronie. Musisz więc upewnić się, że kopiujesz i wklejasz wszelkie zmiany do rzeczywistych robotów.plik txt.

Warto również zauważyć, że to narzędzie służy tylko do testowania botów i robotów Google. Nie będzie w stanie przewidzieć, jak inne wyszukiwarki będą czytać Twoje roboty.plik txt.

Biorąc pod uwagę, że Google kontroluje 89,95% globalnego udziału w rynku wyszukiwarek, nie sądzę, że musisz przeprowadzać te testy przy użyciu jakichkolwiek innych narzędzi. Ale decyzja należy do ciebie.

Roboty.najlepsze praktyki txt

Twoje roboty.plik txt musi być nazwany ” robots.txt ” w celu znalezienia. Rozróżnia wielkość liter, czyli roboty.txt lub roboty.TXT nie byłby akceptowalny.

Roboty.plik txt musi zawsze znajdować się w folderze głównym witryny w katalogu najwyższego poziomu hosta.

Każdy może zobaczyć Twoje roboty.plik txt. Wszystko, co muszą zrobić, to wpisać nazwę adresu URL witryny za pomocą / robots.txt po domenie głównej, aby ją wyświetlić. Więc nie używaj tego jako podstępu lub oszustwa, ponieważ jest to zasadniczo Informacja publiczna.

W większości przypadków nie zalecałbym tworzenia szczegółowych zasad dla różnych robotów wyszukiwarek. Nie widzę korzyści z posiadania pewnego zestawu reguł dla Google, a innego zestawu reguł dla Bing. Jest to znacznie mniej mylące, jeśli Twoje reguły dotyczą wszystkich agentów użytkowników.

Dodawanie składni disallow do robotów.plik txt nie uniemożliwi indeksowania tej strony. Zamiast tego musisz użyć znacznika noindex.

Roboty wyszukiwarek są niezwykle zaawansowane. Zasadniczo przeglądają zawartość witryny w taki sam sposób, w jaki zrobiłaby to prawdziwa osoba. Jeśli więc Twoja witryna używa CSS i JS do działania, nie powinieneś blokować tych folderów w robotach.plik txt. Będzie to poważny błąd SEO, jeśli roboty indeksujące nie zobaczą funkcjonującej wersji Twojej witryny.

Jeśli chcesz swoje roboty.plik txt, który zostanie rozpoznany natychmiast po jego aktualizacji, prześlij go bezpośrednio do Google, zamiast czekać na zindeksowanie witryny.

Łącza nie można przekazywać z zablokowanych stron do miejsc docelowych łącza. Oznacza to, że linki na stronach, które są niedozwolone, będą uważane za nofollow. Tak więc niektóre linki nie będą indeksowane, chyba że znajdują się na innych stronach dostępnych przez wyszukiwarki.

Roboty.plik txt nie zastępuje blokowania prywatnych danych użytkownika i innych poufnych informacji przed pokazaniem się w SERP. Jak powiedziałem wcześniej, niedozwolone strony nadal mogą być indeksowane. Musisz więc upewnić się, że te strony są chronione hasłem i używać dyrektywy noindex meta.

Mapy witryn powinny być umieszczone na dole robotów.plik txt.

Wniosek

To był twój kurs na wszystko, co musisz wiedzieć o robotach.pliki txt.

Wiem, że wiele z tych informacji było trochę technicznych, ale nie daj się zastraszyć. Podstawowe koncepcje i zastosowania Twoich robotów.txt są dość łatwe do zrozumienia.

Pamiętaj, że nie jest to coś, co będziesz chciał modyfikować zbyt często. Niezwykle ważne jest również przetestowanie wszystkiego przed zapisaniem zmian. Upewnij się, że dwa razy i trzy razy sprawdzić wszystko.

Jeden błąd może spowodować, że wyszukiwarka całkowicie przestanie indeksować Twoją witrynę. Byłoby to druzgocące dla twojej pozycji SEO. Więc tylko wprowadzać zmiany, które są absolutnie konieczne.

Po prawidłowej optymalizacji Twoja strona będzie skutecznie indeksowana przez budżet indeksowania Google. Zwiększa to szanse, że twoja najlepsza zawartość zostanie odpowiednio zauważona, zindeksowana i sklasyfikowana.

Total
0
Shares
Related Posts