# go2.yt - Arquivo Robots.txt
# Última atualização: 2025-04-28

User-agent: *
Allow: /
Allow: /geradores/
Allow: /conversores/
Allow: /validadores/
Allow: /formatadores/
Allow: /ferramentas/
Allow: /termos-de-uso
Allow: /politica-de-privacidade
Allow: /contato

# Páginas específicas com alta prioridade
Allow: /geradores/cpf
Allow: /geradores/cnpj
Allow: /geradores/pessoa
Allow: /geradores/senha
Allow: /geradores/qrcode
Allow: /geradores/lorem-ipsum
Allow: /conversores/moedas
Allow: /conversores/criptomoedas
Allow: /conversores/base64
Allow: /conversores/json-php
Allow: /conversores/medidas
Allow: /validadores/cpf
Allow: /validadores/cnpj
Allow: /formatadores/css
Allow: /formatadores/js
Allow: /formatadores/json
Allow: /formatadores/html
Allow: /ferramentas/meu-ip
Allow: /ferramentas/info-ip

# Arquivos e diretórios específicos bloqueados
Disallow: /js/
Disallow: /storage/
Disallow: /up/
Disallow: /teste-adsense/
Disallow: /api/
Disallow: /api//

# Bloquear parâmetros e URLs duplicadas
Disallow: /*?*utm_
Disallow: /*?*fbclid=
Disallow: /*?*gclid=
Disallow: /*?*ref=
Disallow: /*?*source=

# Arquivos essenciais para verificações
Allow: /ads.txt
Allow: /favicon.ico
Allow: /sitemap.xml
Allow: /robot.txt
Allow: /humans.txt
Allow: /googlebdfa5bf181a1d31f.html

# Configurações específicas para Googlebot
User-agent: Googlebot
Allow: /
Crawl-delay: 1

# Configurações específicas para Googlebot-Image
User-agent: Googlebot-Image
Allow: /
Allow: /storage/images/

# Configurações específicas para Bingbot
User-agent: Bingbot
Allow: /
Crawl-delay: 2

# Configurações para outros robôs
User-agent: Yandex
Crawl-delay: 3

User-agent: Baidu
Crawl-delay: 3

# Configurações para rastreadores de alto consumo de recursos
User-agent: AhrefsBot
Crawl-delay: 5

User-agent: SemrushBot
Crawl-delay: 5

User-agent: MJ12bot
Crawl-delay: 5

# Sitemap
Sitemap: https://go2.yt/sitemap.xml
Sitemap: https://go2.yt/sitemap