Eine Anleitung für den Crawler

Damit Seiten bei den Suchmaschinen weit oben gelistet werden, ist es nicht nur wichtig, tollen Content zu haben, auch die technische Seite sollte nicht vernachlässigt werden.

Ganz oben auf der Optimierungsliste sollte die robots.txt und die meta robots tags stehen.

Die robots.txt gibt an, inwieweit ein Bot die Website crawlt. Als “Türsteher” erlauben sie, welcher Crawler welche Verzeichnisse durchsuchen darf.

Die meta robots tags steuern den Crawler und legen für jede html-Seite fest, was der Crawler mit der Indexierung und den Links der Seite machen soll.

Detaillierte technische Infos finden sich bei online-marketing.de

 

Leave a Reply

Your email address will not be published. Required fields are marked *