# OJO CON ESTE FICHERO: un rastreador aplica UN SOLO grupo, el del User-agent
# mas especifico que le encaje, e ignora el resto. Hasta el 2026-08-19 aqui habia
# un grupo "User-agent: Googlebot" con "Disallow:" vacio, y eso significaba que
# NINGUNA de las reglas de "User-agent: *" le aplicaba a Google: ni /api/, ni las
# 45 paginas de busqueda. Por eso acabo rastreando /api/mi-cuenta/edades.
#
# Regla: lo que se prohiba abajo hay que repetirlo aqui, o no ponerle grupo
# propio a Googlebot. Se le deja grupo propio solo para los bots de anuncios,
# que SI deben poder entrar en todo.

User-agent: Googlebot
# Copia EXACTA de las reglas de busqueda y de ?q= / ?orden= del grupo "*" de
# abajo. Faltaban hasta el 2026-09-19: Google solo aplica este grupo, asi que
# podia rastrear los buscadores de los 50 idiomas y cada listado reordenado.
# Si se toca una lista, se toca la otra.
Disallow: /*/anazitisi$
Disallow: /*/ara$
Disallow: /*/bahth$
Disallow: /*/baranje$
Disallow: /*/bilatu$
Disallow: /*/buscar$
Disallow: /*/cari$
Disallow: /*/cautare$
Disallow: /*/cerca$
Disallow: /*/cercar$
Disallow: /*/dzieba$
Disallow: /*/feleg$
Disallow: /*/geomssaeg$
Disallow: /*/haku$
Disallow: /*/hladat$
Disallow: /*/hledat$
Disallow: /*/jostoju$
Disallow: /*/kensaku$
Disallow: /*/kereses$
Disallow: /*/kerko$
Disallow: /*/khan-ha$
Disallow: /*/khipus$
Disallow: /*/khoj$
Disallow: /*/khunjun$
Disallow: /*/maghanap$
Disallow: /*/meklet$
Disallow: /*/otsing$
Disallow: /*/paieska$
Disallow: /*/pesquisar$
Disallow: /*/poisk$
Disallow: /*/poshuk$
Disallow: /*/pretraga$
Disallow: /*/pretrazi$
Disallow: /*/recherche$
Disallow: /*/rechercher$
Disallow: /*/search$
Disallow: /*/soeg$
Disallow: /*/soek$
Disallow: /*/sok$
Disallow: /*/sousuo$
Disallow: /*/suche$
Disallow: /*/szukaj$
Disallow: /*/tarsene$
Disallow: /*/tim-kiem$
Disallow: /*/zoeken$
Disallow: /*?q=
Disallow: /*?*q=
Disallow: /*?orden=
Disallow: /*?*orden=
Disallow: /api/
Disallow: /dl/
Disallow: /unsubscribe/
Disallow: /preferences/
# /cdn-cgi/ es de Cloudflare, no nuestro. Su ofuscador de emails convierte cada
# mailto: en un enlace a /cdn-cgi/l/email-protection, que sin JavaScript es un
# 404: 708 enlaces internos a un 404 en el rastreo del 2026-09-19.
Disallow: /cdn-cgi/

# NO añadir aqui /*/favorito. Devuelven 410 a proposito, y para que Google los
# retire tiene que poder rastrearlos y VER ese 410: bloquearlos en robots.txt
# consigue justo lo contrario, que se queden en el indice como "bloqueados" para
# siempre. Lo que impide que vuelvan a aparecer es que la URL ya no se escribe en
# el HTML (ver card-fav-heart y favorite-heart), no una regla aqui.

# Los bots de anuncios necesitan ver la pagina entera para poder subastarla.
User-agent: Mediapartners-Google
Disallow:

User-agent: Google-Display-Ads-bot
Disallow:

User-agent: MJ12bot
Disallow: /

User-agent: TikTokSpider
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: meta-webindexer
Disallow: /

User-agent: Barkrowler
Disallow: /

User-agent: Amzn-SearchBot
Disallow: /

User-agent: *
# Bloquear paginas de busqueda en todos los idiomas. Viven bajo prefijo de
# locale (/{locale}/{termino}); el $ ancla el final del path para no pillar
# slugs de cuentos que empiecen por el mismo termino.
Disallow: /*/anazitisi$
Disallow: /*/ara$
Disallow: /*/bahth$
Disallow: /*/baranje$
Disallow: /*/bilatu$
Disallow: /*/buscar$
Disallow: /*/cari$
Disallow: /*/cautare$
Disallow: /*/cerca$
Disallow: /*/cercar$
Disallow: /*/dzieba$
Disallow: /*/feleg$
Disallow: /*/geomssaeg$
Disallow: /*/haku$
Disallow: /*/hladat$
Disallow: /*/hledat$
Disallow: /*/jostoju$
Disallow: /*/kensaku$
Disallow: /*/kereses$
Disallow: /*/kerko$
Disallow: /*/khan-ha$
Disallow: /*/khipus$
Disallow: /*/khoj$
Disallow: /*/khunjun$
Disallow: /*/maghanap$
Disallow: /*/meklet$
Disallow: /*/otsing$
Disallow: /*/paieska$
Disallow: /*/pesquisar$
Disallow: /*/poisk$
Disallow: /*/poshuk$
Disallow: /*/pretraga$
Disallow: /*/pretrazi$
Disallow: /*/recherche$
Disallow: /*/rechercher$
Disallow: /*/search$
Disallow: /*/soeg$
Disallow: /*/soek$
Disallow: /*/sok$
Disallow: /*/sousuo$
Disallow: /*/suche$
Disallow: /*/szukaj$
Disallow: /*/tarsene$
Disallow: /*/tim-kiem$
Disallow: /*/zoeken$
Disallow: /*?q=
Disallow: /*?*q=
Disallow: /*?orden=
Disallow: /*?*orden=
Disallow: /api/
Disallow: /dl/
Disallow: /unsubscribe/
Disallow: /preferences/
Disallow: /cdn-cgi/

Sitemap: https://runruneando.com/sitemap.xml