# robots.txt # # __ __ _ _ __ _ _ _ _ _ # | \/ | (_) | |/ / (_) | | (_) | (_) # | \ / | ___ _ _ __ | ' / __ _ _ __ ___ _ ___| |__ _| |__ __ _ _ # | |\/| |/ _ \ | '_ \ | < / _` | '_ ` _ \| / __| '_ \| | '_ \ / _` | | # | | | | __/ | | | | | . \ (_| | | | | | | \__ \ | | | | |_) | (_| | | # |_| |_|\___|_|_| |_| |_|\_\__,_|_| |_| |_|_|___/_| |_|_|_.__/ \__,_|_| # # This file is used to allow crawlers to index our site. # It is NOT used for any other purpose, such as filtering # impressions or clicks. User-agent: * Allow: / Disallow: /warenkorb/ # Merkliste: derzeit bewusst ueber User-agent: * zugelassen. # Diese Zeilen bleiben aus Dokumentationsgruenden kommentiert. # Google Search / Bildersuche / Google-KI-Funktionen # User-agent: Googlebot # User-agent: Googlebot-Image # User-agent: Google-Extended # Intern eingesetzte SEO-Werkzeuge # User-agent: AhrefsBot # User-agent: AhrefsSiteAudit # Soll einer dieser Bots spaeter gesperrt werden, einen eigenen aktiven Block # mit User-agent und Disallow: / anlegen. # Training generativer Modelle und Trainingskorpora blockieren User-agent: GPTBot User-agent: Applebot-Extended User-agent: ClaudeBot User-agent: Amazonbot User-agent: CCBot User-agent: Bytespider Disallow: / # Weitere Massendaten-/Scraping-Bots: nur blockieren, sofern nicht betrieblich genutzt User-agent: ImagesiftBot User-agent: Diffbot User-agent: omgili User-agent: omgilibot User-agent: PetalBot User-agent: BLEXBot User-agent: SemrushBot User-agent: MJ12bot User-agent: DotBot User-agent: DataForSeoBot Disallow: / Sitemap: https://www.mein-kamishibai.de/sitemap.xml