Fisierul Robots.txt este folosit pentru a da anumite informatii si pentru a ghida robotii web. Atunci cand un bot viziteaza o anumita pagina web, acesta verifica in primul rand fisierul robots.txt pentru a afla daca exista pagini pe care nu are voie sa le acceseze si care sunt acestea.
Este important de stiut insa ca indiferent de informqatiile continute in fisierul robots.txt, acestia pot decide sa ignore fisierul. Insa este foarte important pentru botii oficiali care vor respecta directiile date in fisier. De exemplu este important sa interzicem paginile paginile sau site-ul in constructie, deoarece nu este deloc indicat ca google sa indexeze paginile incomplete, cu text duplicat sau "lorem Ipsum" care vin odata cu tema folosita.
Aceasta unealta va crea automat pentru voi continutul fisierului robots.txt.
Unealta este foarte simplu de folosit, faceti selectiile de permisiuni din dropdown-ul de mai sus, pentru cei mai cunoscuti boti. Apoi copiati continutul intr-un fisier txt.
Acesta poate fi ulterior urcat pe server in directorul radacina ( Root) al site-ului, astfel incat sa fie afisat in formatul: www.nume-domeniu/robots.txt
Inregistreaza-te pe site pentru a avea acces gratuit la peste 50 de unelte SEO care te vor ajuta sa iti testezi si optimizezi site-ul.
Inregistreaza-te si Testeaza-ti Site-ul