Magento ist in der Lage sogenannte Multi-Shops zu betreiben. Dabei wird mit einer Magento Installation innerhalb eines Webspaces eine beliebige Anzahl unterschiedlicher Domains bzw. Untershops verwaltet. Häufig möchte man dann für diese unterschiedlichen Domains dann jedoch unterschiedliche robots.txt Dateien übergeben, damit man Suchdiensten (wie z.B. google oder bing) bezielt die gewünschten Informationen zur Indexierung zukommen lassen kann.
Da es sich bei dem obigen Sachverhalt um das selbe Verzeichnis auf dem Server (Webspace oder DocumentRoot genannt) handelt, kann man jetzt nicht beliebig häufig die robots.txt ablegen, da google & co exakt nur nach DIESEM Dateinamen im Hauptverzeichnis der Domain schaut.
Magento verfügt von Haus aus über eine sogenannte .htaccess Datei, welche üblicherweise im Hauptverzeichnis des Webspace liegt. Hierüber werden in der Regel die suchmaschinenfreundlichen URLs des Shops bzw. der Website und eine Menge andere Dinge organisiert. Mit dieser Datei kann man jedoch auch Umleitungen bauen, um so der Suchmaschine einen andere Datei (mit einem anderen Namen) als robots.txt zu "verkaufen" oder aber einfach auf ein Unterverzeichnis zu verweisen.
RewriteCond %{HTTP_HOST} ^.*?domain1\.com$ [NC]
RewriteRule ^robots\.txt$ robots/domain1/robots.txt
RewriteCond %{HTTP_HOST} ^.*?domain2\.de$ [NC]
RewriteRule ^robots\.txt$ robots/domain2/robots.txt
RewriteCond %{HTTP_HOST} ^.*?domain3\.de$ [NC]
RewriteRule ^robots\.txt$ robots/domain3/robots.txt
RewriteCond %{HTTP_HOST} ^.*?domain4\.de$ [NC]
RewriteRule ^robots\.txt$ robots/domain4/robots.txt
Im obigen Beispiel haben wir nun eine Abfrage für die unterschiedlichen Domains (domain1,...,domain4) gemacht. Sobald nun also ein Crawler einer Suchmaschine auf die Domain kommt und die robots.txt lesen möchte, verweisen wir die Anfrage auf das jeweilige Unterverzeichnis und die darin enthaltene Datei - robots/domain1/robots.txt
Idealerweise nach RewriteEngine on und vor
RewriteRule .* index.php [L]