Maak een robot.txt file aan

Maak een robot.txt file aan

Een robot.xtx file is een gewoon tekstbestand. Daarom dat het ook eindigt met txt. Je website mag maar 1 robot.txt file hebben. Het is niet zo moeilijk om zo’n file aan te maken.

Om te beginnen moet je weten dat een robot.txt file volgende syntax heeft. De syntax van het robots.txt bestand ziet er als volgt uit:

User-agent: [naam spider] Disallow: [naam bestand of directory]

Stap 1

Je maakt een nieuw txt bestand. Dit kan met je HTML editor.

Stap 2

Je vult de syntax in die hier boven staat. Je begint dus met User-agent: [de naam van je spider]. Deze spider zorgt ervoor dat je delen van je website kan kiezen, die je niet wil laten indexeren.

Stap 3

Achter Disallow: komt de locatie en naam van de bestanden die je niet wil laten indexeren. Je staat dit dus niet toe; you disallow.

Er zijn vele tekens met een betekenis. Zo wil een schuine streep (/) na disallow zeggen dat je voor alle directories geen toegang wil geven. Een * achter user-agent wil zeggen dat je alle robots bedoeld. Een schuine streep achter disallow en een * achter user-agent, wil dus zeggen dat alle robots alle directories mogen bezoeken.

Hier kan je een voorbeeld zien.

User-agent: *
Disallow: /directory1/
Disallow: /directory2/
Disallow: /directory3/

De tekst tussen de strepen wil zeggen: alle directories behalve de directories 1, 2 en 3.

Zo zijn er nog heel veel tekens die een betekenis hebben. Deze moet je natuurlijk kennen. Gelukkig zijn ze makkelijk op te zoeken op het internet.