트래픽 증발을 막는 Robots.txt 문법과 실전 설정 템플릿

# 프로덕션 서버에 잘못 배포된 치명적 2줄
User-agent: *
Disallow: /

[구글봇의 웹사이트 접속 및 robots.txt 평가 흐름도]

[구글봇 접속 시도: example.com/page-1]
                   │
                   ▼
┌─────────────────────────────────────────────────────────────┐
│ 1단계: 루트 경로의 https://example.com/robots.txt 요청      │
├─────────────────────────────────────────────────────────────┤
│ ├─ 파일 없음 (404 Not Found): 전체 사이트 크롤링 허용으로 간주│
│ ├─ 서버 에러 (5xx Server Error): 사이트 보호를 위해 크롤링 중단│
│ ├─ 접근 거부 (403 Forbidden): 전체 크롤링 차단으로 간주      │
│ └─ 파일 정상 (200 OK): 내부 규칙 파싱 및 24시간 로컬 캐싱    │
└──────────────────────────────┬──────────────────────────────┘
                               │
                               ▼
┌─────────────────────────────────────────────────────────────┐
│ 2단계: 요청 URL이 Disallow 규칙에 매칭되는가?               │
│ ├─ [매칭됨]: 크롤링 차단 (단, 외부 링크가 있으면 URL만 색인) │
│ └─ [매칭 안 됨]: 정상 크롤링 및 렌더링 진행                  │
└─────────────────────────────────────────────────────────────┘

# RFC 9309 표준 와일드카드 문법 예시

# 1. 모든 크롤러에게 기본 허용
User-agent: *
Allow: /

# 2. 관리자 경로 전체 차단
Disallow: /admin/

# 3. 물음표(?)가 포함된 모든 검색/필터 파라미터 URL 차단
Disallow: /*?*

# 4. 특정 확장자(.pdf)로 끝나는 파일만 정밀 차단
Disallow: /*.pdf$

# 5. 차단된 폴더(/admin/) 내부의 특정 공개 파일만 예외 허용
Allow: /admin/public-preview.html

# 6. XML 사이트맵 인덱스 위치 선언
Sitemap: https://example.com/sitemap.xml

Disallow: /articles/
Allow: /articles/seo-guide.html

[현업 3대 robots.txt 실수와 해결책]

1. CSS/JS 리소스를 차단하는 구시대적 실수
   - 잘못된 설정: Disallow: /assets/ (또는 /*.js$)
   - 결과: 구글봇이 모바일 레이아웃과 폰트를 렌더링하지 못해 '모바일 친화적이지 않음' 페널티 부여.
   - 해결: CSS와 JS 파일은 반드시 Allow로 100% 개방해야 함.

2. Disallow와 noindex를 동시에 사용하는 모순
   - 상황: 본문에 <meta name="robots" content="noindex">를 넣고 robots.txt에서 Disallow함.
   - 결과: 구글봇이 페이지를 크롤링하지 못하므로 noindex 태그를 읽지 못함! 결국 URL만 구글 검색창에 흉하게 노출됨.
   - 해결: noindex를 적용할 페이지는 robots.txt에서 Disallow하면 안 됨!

3. CI/CD 배포 시 환경별 분기 누락
   - 해결: GitHub Actions 배포 스크립트에서 NODE_ENV == 'production'일 때만 운영용 템플릿 복사 강제.

# .github/workflows/deploy.yml 내 robots.txt 검증 단계
- name: Verify Robots.txt Safety
  run: |
    if grep -q "Disallow: /" public/robots.txt && ! grep -q "Allow: /" public/robots.txt; then
      echo "CRITICAL ERROR: Production robots.txt blocks all crawling!"
      exit 1
    fi

# The SEO Chronicle 표준 robots.txt 템플릿 (2026년 최신 사양)

# ==========================================
# 1. 모든 일반 검색 크롤러 공통 룰
# ==========================================
User-agent: *
Allow: /

# 비공개 백엔드 및 관리자 경로 차단
Disallow: /admin/
Disallow: /api/
Disallow: /checkout/
Disallow: /cart/
Disallow: /auth/

# 무한 생성 검색 파라미터 차단
Disallow: /*?*sort=
Disallow: /*?*filter=
Disallow: /*?*search=

# CSS 및 JS 리소스는 크롤러 렌더링을 위해 명시적 허용
Allow: /*.css$
Allow: /*.js$
Allow: /*.png$
Allow: /*.jpg$
Allow: /*.webp$

# ==========================================
# 2. AI 검색엔진 전용 크롤러 (트래픽 유입 허용)
# ==========================================
User-agent: PerplexityBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Allow: /

# ==========================================
# 3. XML 사이트맵 인덱스 위치 선언
# ==========================================
Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap-articles.xml