Generator Robots.txt

Unelte SEO Gratuite

Generator Robots.txt


Implicit - toti robotii sunt:  
    
Intarziere acces crawlere:
    
Harta site: (a nu se completa daca nu aveti) 
     
Cauta Robots: Google
  Google Image
  Google Mobile
  MSN Search
  Yahoo
  Yahoo MM
  Yahoo Blogs
  Ask/Teoma
  GigaBlast
  DMOZ Checker
  Nutch
  Alexa/Wayback
  Baidu
  Naver
  MSN PicSearch
   
Directoare restrictionate: Calea este relativ la radacina si trebuie sa contina un slash la final "/"
 
 
 
 
 
 
   



Acum, creati fisier 'robots.txt' la directorul radacina. Copiati si lipiti de mai sus textul in fisierul text


Despre Generator Robots.txt

Fisierul Robots.txt este folosit pentru a da anumite informatii si pentru a ghida robotii web. Atunci cand un bot viziteaza o anumita pagina web, acesta verifica in primul rand fisierul robots.txt pentru a afla daca exista pagini pe care nu are voie sa le acceseze si care sunt acestea.

Este important de stiut insa ca indiferent de informqatiile continute in fisierul robots.txt, acestia pot decide sa ignore fisierul. Insa este foarte important pentru botii oficiali care vor respecta directiile date in fisier. De exemplu este important sa interzicem paginile paginile sau site-ul in constructie, deoarece nu este deloc indicat ca google sa indexeze paginile incomplete, cu text duplicat sau "lorem Ipsum" care vin odata cu tema folosita. 

Aceasta unealta va crea automat pentru voi continutul fisierului robots.txt.
Unealta este foarte simplu de folosit, faceti selectiile de permisiuni din dropdown-ul de mai sus, pentru cei mai cunoscuti boti. Apoi copiati continutul intr-un fisier txt.
Acesta poate fi ulterior urcat pe server in directorul radacina ( Root) al site-ului, astfel incat sa fie afisat in formatul: www.nume-domeniu/robots.txt 

 


Unelte SEO Gratuite

Inregistreaza-te pe site pentru a avea acces gratuit la peste 50 de unelte SEO care te vor ajuta sa iti testezi si optimizezi site-ul.

Inregistreaza-te si Testeaza-ti Site-ul


Optimizare Viteza Site

Mareste Viteza Acum