Halloween DealsAmazon USHalloween week deals: useful picks before month-endAmazon US: current deals, useful picks and tech finds.Check DealsWindows FixRecommendedWindows errors stealing your time? Find the fix fastScan stability, cleanup and performance issues.Fix NowHalloween DealsAmazon USOctober picks are moving - compare before checkoutAmazon US: current deals, useful picks and tech finds.See Picks×
FREEDOM251

Freedom251 › Blog › ChatGPT Search

Por qué tu web no aparece en ChatGPT o Perplexity: auditoría de crawlers, robots.txt y WAF

By Freedom251 Team · · 7 min read

Special offer. See more information about Outbyte and uninstall instructions. Please review EULA and Privacy policy.

No hay respaldo verificable para afirmar que el 90% de las webs sean invisibles para ChatGPT y Perplexity. Lo que sí puedes comprobar es si los agentes pertinentes tienen permiso para acceder a tus páginas y si el servidor, el CDN o el WAF les permiten llegar hasta el contenido. Superar esas comprobaciones hace posible el acceso técnico; no garantiza que un sistema recupere o cite tu página en una respuesta concreta.

Qué significa realmente que una web sea «invisible»

La palabra puede referirse a situaciones distintas, y cada una necesita una comprobación diferente. Que una regla de robots.txt permita rastrear una ruta no demuestra que la página sea accesible desde la red, que se seleccione como fuente o que alguien llegue al sitio desde una cita.

As an Amazon Associate I earn from qualifying purchases.

Estado Qué ocurre Qué evidencia buscar
Bloqueo declarado Una regla de robots.txt impide al agente acceder a una ruta. Las reglas publicadas para el agente específico y la ruta solicitada.
Bloqueo técnico El agente puede estar permitido en robots.txt, pero el WAF, CDN o servidor rechaza o desafía la solicitud. Respuesta HTTP, redirecciones y registros de la aplicación, CDN o WAF.
Sin selección como fuente La página se puede recuperar, pero no aparece como referencia para una consulta determinada. Observaciones repetidas de respuestas para consultas concretas; el acceso técnico por sí solo no explica la selección.
Sin tráfico referido La página aparece enlazada, pero no se registran visitas atribuibles a esa referencia. Analítica y registros de visitas, interpretados según cómo el sitio mida el tráfico referido.

Las fuentes oficiales de OpenAI, Perplexity y Cloudflare citadas en este artículo no aportan una cifra que establezca qué porcentaje de webs está en cualquiera de esos estados. Por eso, «el 90%» no debe tratarse como una estadística confirmada: faltan una definición de invisibilidad, una población, un método y un periodo atribuibles.

Special offer. See more information about Outbyte and uninstall instructions. Please review EULA and Privacy policy.

Qué agentes revisar y qué controla cada uno

No existe un único «bot de IA» que represente todas las funciones. OpenAI y Perplexity describen agentes distintos y controles independientes. Antes de cambiar una regla, decide qué uso quieres permitir o restringir.

#1 Best Overall
Teacher Record Book
  • Keep track of everything from attendance to test scores
  • Spiral bound
  • Measures 8-1/2" x 11"
Agente Función descrita por la empresa Implicación para la auditoría
OAI-SearchBot OpenAI lo usa para mostrar sitios en las funciones de búsqueda de ChatGPT. Si quieres optar a aparecer como fuente en ChatGPT Search, OpenAI recomienda no bloquearlo y permitir las solicitudes desde sus rangos IP publicados. Según OpenAI, si lo excluyes, el sitio no aparecerá en respuestas de búsqueda, aunque puede aparecer como enlace de navegación.
GPTBot OpenAI lo describe como un agente relacionado con el rastreo para posible entrenamiento. Su control es independiente del de OAI-SearchBot. Permitir uno no significa que debas permitir el otro.
PerplexityBot Perplexity lo describe como un crawler que ayuda a que sitios aparezcan enlazados en resultados; afirma que no lo usa para rastrear contenido destinado a modelos fundacionales. Comprueba sus permisos y el acceso de red por separado. Para reglas de WAF, Perplexity recomienda validar las IP además de comprobar el agente.
Perplexity-User Puede visitar una página para responder a una solicitud iniciada por una persona y enlazarla. Perplexity indica que generalmente ignora robots.txt en este caso, porque la visita parte de la petición del usuario. No lo confundas con el crawler PerplexityBot.

La distinción importa en ambas plataformas: bloquear «todos los bots» con una regla general puede impedir una función de búsqueda aunque la intención fuera restringir otro tipo de rastreo. Define el propósito de cada regla y verifica su efecto agente por agente.

Auditoría forense: sigue la solicitud hasta la página

La comprobación debe cubrir tanto las reglas declaradas como el recorrido real de una solicitud. Una revisión de robots.txt aislada no detecta un desafío del CDN, un rechazo del WAF ni una página que requiere autenticación.

1. Delimita qué quieres medir

Registra si investigas acceso técnico, presencia como fuente o visitas referidas. Elige las páginas y rutas relevantes, y anota la fecha y la hora de cada prueba. No uses «invisible» como sustituto de esos resultados: no son equivalentes.

Special offer. See more information about Outbyte and uninstall instructions. Please review EULA and Privacy policy.

2. Revisa robots.txt por agente y ruta

  1. Abre el robots.txt publicado en el dominio que sirve el contenido.
  2. Busca las reglas específicas para OAI-SearchBot, GPTBot, PerplexityBot y, cuando corresponda, Perplexity-User.
  3. Comprueba si la ruta que quieres que se pueda rastrear está permitida y si una regla más amplia o una configuración generada por el CMS cambia el resultado.
  4. Guarda una copia o registra la configuración revisada, junto con la ruta y la fecha.

Interpreta el resultado según la función del agente: por ejemplo, las recomendaciones de OpenAI para búsqueda se refieren a OAI-SearchBot, no a GPTBot.

3. Comprueba la respuesta de la ruta

Solicita las páginas representativas con el agente correspondiente y registra la URL, el momento de la prueba, el código HTTP, las redirecciones y el contenido recibido. Sigue las prácticas autorizadas de tu proveedor y las instrucciones oficiales de cada plataforma.

  • 403: investiga si una regla de aplicación, CDN o WAF está rechazando la solicitud.
  • 429: revisa límites de tasa y controles automáticos que puedan afectar a ese agente.
  • Redirecciones repetidas o inesperadas: confirma que el destino final sea accesible y no dependa de una sesión.
  • Respuesta con desafío, CAPTCHA o error de resolución: comprueba si la solicitud se detiene antes de recibir el contenido de la página.

OpenAI recomienda revisar respuestas HTTP y registros al diagnosticar problemas de acceso de sus crawlers. El resultado de una prueba confirma únicamente esa solicitud, ruta y momento: no demuestra que todas las páginas o ubicaciones se comporten igual.

4. Sigue el paso por WAF, CDN y servidor

Revisa las reglas y eventos de mitigación para encontrar bloqueos por reputación, desafíos JavaScript, CAPTCHA, autenticación, restricciones geográficas o rate limiting. Una solicitud permitida por robots.txt todavía puede detenerse en cualquiera de estas capas. La guía de OpenAI señala estas capas como causas posibles de problemas de acceso y aconseja consultar registros y mitigaciones.

Free tools Windows power users keep installed

One-click scans. No signup required.

Special offer. See more information about Outbyte and uninstall instructions. Please review EULA and Privacy policy.

Para Perplexity, su guía recomienda combinar la comprobación de la cadena de agente con la verificación de las IP oficiales. Usa los endpoints JSON oficiales vigentes para obtener esa información, mantenla actualizada y revisa los logs después de modificar reglas. Perplexity indica que sus rangos se actualizan regularmente; no copies una lista antigua sin validarla.

5. Verifica qué contenido llega

Una conexión aceptada no basta si la respuesta no contiene el contenido que quieres que se descubra. Comprueba que la página no exija una sesión, una interacción humana o una secuencia de scripts inaccesible para la solicitud examinada, y que la respuesta incluya el texto principal.

El artículo técnico de Perplexity sobre ingeniería de búsqueda describe comprensión del contenido con granularidad fina y un tratamiento que depende de la estructura de los resultados. No ofrece una lista universal de ajustes de renderizado que garantice la aparición en respuestas. No conviertas una observación sobre extracción de contenido en una receta de posicionamiento.

Independent reader supportYour contribution helps us test, update, and keep practical guides available for everyone.Support on Ko-Fi

Cómo interpretar lo que encuentras

La evidencia responde a preguntas diferentes según dónde se mida. Mantén separados los registros técnicos de las observaciones de búsqueda para no atribuir a una causa un resultado que esos datos no demuestran.

Special offer. See more information about Outbyte and uninstall instructions. Please review EULA and Privacy policy.
Hallazgo Qué permite concluir Qué no permite concluir
Una regla de robots.txt permite al agente acceder a la ruta. La política declarada para esa combinación de agente y ruta no la bloquea. Que el CDN acepte la solicitud, que el agente haya visitado la página o que la página vaya a citarse.
Una solicitud concreta recibe el contenido esperado. Ese agente obtuvo esa respuesta en ese momento y por esa ruta. Que todas las rutas, solicitudes futuras o ubicaciones tengan el mismo resultado.
Una regla de firewall rechaza una solicitud y el evento aparece en los logs. Hay un bloqueo técnico que merece revisión según la política editorial. Que ese bloqueo sea la única razón por la que una página no aparezca como fuente.
Una página se observa citada en una respuesta. Hay una observación de selección para esa consulta y ese momento. Que vaya a citarse de forma consistente para otras consultas o que genere tráfico medible.

Para medir la presencia como fuente, lleva un registro de consultas, fechas, páginas y citas observadas. Para medir el acceso, conserva las respuestas HTTP y los logs. Son series de evidencia distintas; una no sustituye a la otra.

Qué puede cambiar después de ajustar el acceso

OpenAI indica que los cambios pueden tardar aproximadamente 24 horas en reflejarse en sus sistemas de búsqueda. Perplexity indica que los cambios pueden tardar hasta 24 horas. Esos plazos describen la propagación de ajustes, no la probabilidad de que una página sea indexada, seleccionada o citada.

Como los agentes, las direcciones IP y las recomendaciones de firewall pueden cambiar, valida las listas en la documentación oficial vigente antes de crear una allowlist. La referencia de crawlers de Cloudflare citada para este artículo figura como actualizada el 23 de abril de 2026; las páginas de OpenAI y Perplexity se consultaron el 5 de octubre de 2026.

RAG: por qué acceso no equivale a una cita

RAG, o generación aumentada por recuperación, describe un flujo en el que un sistema recupera información de páginas o índices y la utiliza para formular una respuesta, a menudo con enlaces a fuentes. Para quien administra una web, el acceso técnico es una condición que puede permitir recuperar contenido; no obliga a que una página se elija para cada pregunta.

Special offer. See more information about Outbyte and uninstall instructions. Please review EULA and Privacy policy.

Por eso una auditoría de crawlers puede encontrar y corregir obstáculos concretos —por ejemplo, una regla de robots.txt o un desafío del WAF—, pero no demuestra por sí sola cómo se resolverá una consulta ni qué fuente se preferirá. La documentación disponible de OpenAI y Perplexity explica agentes y controles de acceso, no una tasa global de webs invisibles ni una garantía de citas.

Product prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on Amazon at the time of purchase will apply.

ChatGPT SearchcrawlersPerplexityRAGRobots.txtSEO técnicoWAF

Leave a Reply

Your email address will not be published. Required fields are marked *

Special offer. See more information about Outbyte and uninstall instructions. Please review EULA and Privacy policy.

Recommended PC Tool
Recommended PC Tool
Outdated Drivers Are Slowing You DownFree scan - exact matches
Windows Errors? Fix Them Before They SpreadFree repair scan

Two free Windows tools

One Free Minute Could Fix That PC

Before you go - each of these free tools takes about a minute and tackles what quietly slows a Windows PC down.

Special offer. View Outbyte info, uninstall instructions, EULA, and Privacy Policy.