# Robots.txt for Pila-Lesy Křikava
# Tento soubor říká vyhledávačům, co mohou a co nemohou procházet

# Allow all search engines to index the site, except for certain parts
User-agent: *
Disallow: /private/         # Zabraňuje přístupu do soukromých a citlivých oblastí
Disallow: /admin/           # Zabraňuje přístupu do administrační oblasti
Disallow: /stranky/prihlaseni   # Zabraňuje přístupu na stránky pro přihlášení (konkrétní stránka)
Disallow: /stranky/kontakty   # Zabraňuje přístupu na stránku s kontakty

# Specify the crawl delay for bots to avoid overloading the server
Crawl-delay: 10             # Určuje zpoždění mezi požadavky na stránku pro roboty

# Sitemap location
Sitemap: https://lesykrikava.cz/sitemap.xml  # Umístění souboru Sitemap pro vyhledávače

# Allow Googlebot to fully access the site
User-agent: Googlebot
Disallow:                     # Googlebot může procházet všechny oblasti (bez omezení)

# Block specific bots or non-compliant bots
User-agent: BadBot
Disallow: /                  # Blokuje nechtěné roboty, kteří neplní pravidla

# Block other specific non-compliant bots (optional)
User-agent: SemrushBot
Disallow: /                  # Blokuje SemrushBot, pokud není žádoucí přístup

User-agent: AhrefsBot
Disallow: /                  # Blokuje AhrefsBot, pokud není žádoucí přístup

# Allow Googlebot-Image to index images
User-agent: Googlebot-Image
Disallow: /private/         # Allowed to index images but avoid private areas