Bei der Suche aus der Masse herausstechen, bessere Umsatzpotentiale generieren und so Wettbewerbsvorteile schaffen – schon kleine Anpassungen der Website-Konfiguration können große Verbesserungen im Suchmaschinen-Ranking bewirken. Das Zauberwort dafür: Technisches SEO. Dies ist ein Auszug aus dem Buch Technisches SEO – Mit nachhaltiger Suchmaschinenoptimierung zum Erfolg Crawling- & Indexierungssteuerung Als Crawling wird die automatische Analyse von URLs durch sogenannte Crawler, Spider oder Robots von Suchmaschinen bezeichnet. Das Crawling ist ein notwendiger Vorgang, damit ein Dokument überhaupt über Suchmaschinen gefunden werden kann. Es steht Ihnen als Webmaster frei, einzelne URLs, Verzeichnisse oder den gesamten Hostnamen von der Analyse durch Suchmaschinen auszuschließen. Als Instrument steht Ihnen dazu die Datei robots.txt zur Verfügung. Die Gründe, einen (Teil-)Ausschluss von Dokumenten zu vollziehen, können vielfältig sein und sind abhängig von der jeweiligen Website. Zum Beispiel kann es sein, dass auf einer Webseite vorhandene persönliche Informationen nicht über Suchmaschinen gefunden oder (interne oder externe) Duplikate unsichtbar gemacht werden sollen. Sie können aber nicht nur das Crawling beeinflussen, sondern auch Dokumente von der Indexierung ausschließen. Mit einer solchen, beispielsweise über die Meta-Robots-Angaben definierbaren Konfiguration können …