User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php # --- Backend & Systemendpunkte -------------------------------------- Disallow: /wp-login.php Disallow: /xmlrpc.php # --- Interne Suche (unendlicher Crawl-Space) ------------------------- Disallow: /*?s= Disallow: /*&s= # --- Kommentar-/Trackback-Artefakte ---------------------------------- Disallow: /*/trackback/ Disallow: /*?replytocom= # --- Feeds (Duplicate Content, kein Rankingwert) --------------------- Disallow: /*/feed/ Disallow: /comments/feed/ # --- Bewusst NICHT gesperrt ------------------------------------------ # /wp-content/ und /wp-includes/ bleiben offen, sonst kann Google # CSS/JS nicht rendern (Core Web Vitals, Mobile Usability). # /wp-json/ bleibt offen, solange das Theme per REST nachlaedt. # --- Aggressive SEO-/Data-Crawler blockieren ------------------------- # ACHTUNG robots.txt-Gruppen-Logik: Ab der naechsten User-agent-Zeile # beginnt eine NEUE Gruppe -- Leerzeilen und Kommentare trennen KEINE # Gruppen. Alles was hier folgt gilt NUR fuer die aufgelisteten Bots, # nicht fuer User-agent: *. Deine Zusatzregeln aus dem Extra-Feld # werden vom Plugin AUTOMATISCH VOR diese Bot-Gruppe eingefuegt, damit # sie zur *-Gruppe gehoeren -- nicht am Ende, wo sie faelschlich zu # den Bots gehoeren wuerden. User-agent: AhrefsBot User-agent: AhrefsSiteAudit User-agent: barkrowler User-agent: DataForSeoBot User-agent: dotbot User-agent: rogerbot User-agent: SemrushBot User-agent: SiteAuditBot User-agent: SemrushBot-BA User-agent: discobot User-agent: beautybot User-agent: Linguee Disallow: / Sitemap: https://www.waldhotel-stuttgart.de/sitemaps.xml