WordPress – die robots.txt optimieren
Im Ordner von WordPress kann eine robots.txt Textdatei angelegt werden, die Suchmaschinen wie Google Anweisungen gibt, welche Order oder Dateien vom Googlebot durchsucht und in den Index aufgenommen werden sollen. Alle großen Suchmaschinen halten sich daran. Die robots.txt kann jedoch im Gegensatz zur .htaccess den Zugriff nicht verbieten. Die Experten sind sich uneins darüber, wie wichtig oder sinnvoll eine robots.txt ist. Da sie bei richtiger Konfiguration nicht schadet, kann das Anlegen dieser Datei grundsätzlich empfohlen werden.