404 리디렉션 SEO에 미치는 영향

워드프레스로 작성된 글이지만 목록으로는 표시하되 내용이 노출되는 것은 원하지 않는 경우가 있었습니다. 그래서, functions.php 에 함수를 추가하여, 특정 카테고리의 글들은 404 페이지로 리디렉션 되도록 설정하였습니다.

원하는 대로 작동은 되었지만, 문득 크롤링을 하는 검색 로봇의 입장에서는 혼란스러울 것 같았습니다.

특정 포스트를 404로 리디렉션하면 SEO에 미치는 영향

이렇게 특정 카테고리의 포스트를 404 페이지로 리디렉션하면 SEO에 부정적인 영향을 미칠 가능성이 큽니다.  특히, 검색 엔진 평가에 나쁜 영향을 줄 수 있습니다.

SEO에 부정적인 영향

1. 검색엔진 크롤러가 혼란을 겪음

검색엔진 크롤러가 특정 카테고리의 포스트가 실제로 존재하지만 404 처리가 되어 있는 것을 감지하면,
이를 소프트 404(Soft 404)로 인식할 가능성이 큽니다.

소프트 404는 검색엔진이 해당 URL을 인덱스에서 제외하려고 시도하는 원인이 될 수 있습니다.

2. 사이트 신뢰도(Authority) 저하

기존에 존재하던 포스트가 404 페이지로 바뀌면, 해당 페이지에 대한
링크 가치(Link Equity)가 사라집니다.

이는 사이트 전체의 신뢰도를 낮추는 요소가 될 수 있습니다.

3. 사용자 경험(UX) 악화

사용자가 특정 카테고리를 클릭했을 때 404 페이지로 이동하면, 이탈률(Bounce Rate) 증가할 수 있습니다.

이것은 검색엔진이 해당 사이트의 콘텐츠 품질이 낮다고 평가하는 요소가 될 수 있습니다.

더 나은 해결책 (SEO 친화적인 방법)

그렇다면 어떻게 하는 것이 좋을까요.

다음과 같은 방법을 고려하는 것이 바람직합니다.

1. 301 리디렉션 (추천)

이동시킬 만한 다른 포스트가 있다면, 특정 카테고리의 포스트를 다른 관련 페이지로 301 리디렉션하면 SEO 손실을 최소화할 수 있습니다.

function redirect_specific_category_posts() {
    if (is_single() && has_category('차단할-카테고리')) {
        wp_redirect(home_url('/대체-페이지/'), 301);
        exit;
    }
}
add_action('template_redirect', 'redirect_specific_category_posts');

• 특정 카테고리(차단할-카테고리)에 속한 포스트를 /대체-페이지/로 이동
• 301 리디렉션을 사용하여 검색엔진이 새로운 페이지로 링크 가치를 전달하도록 유도

2. noindex, follow 메타 태그 사용

특정 카테고리를 검색엔진이 크롤링하지 않도록 설정하는 방법입니다. 

즉 검색엔진에게 여기는 보지 마라고 알려주는 것이죠. 아래 코드의 내용을 functions.php 에 넣어둡니다. ‘차단할-카테고리’ 에는 카테고리를 대표하는 slug 값을 넣어두면 됩니다.

function add_noindex_to_specific_category() {
    if (is_category('차단할-카테고리')) {
        echo '<meta name="robots" content="noindex, follow">';
    }
}
add_action('wp_head', 'add_noindex_to_specific_category');

• noindex: 검색엔진이 해당 페이지를 색인하지 않도록 설정
• follow: 내부 링크는 여전히 따라가도록 허용

3. 검색엔진 차단 (robots.txt 활용)

특정 카테고리 URL을 robots.txt 파일에서 차단하여 검색엔진이 크롤링하지 않도록 설정할 수 있습니다.

User-agent: *
Disallow: /category/차단할-카테고리/

이 방법이 가장 간단해 보입니다.

그러나, 이 방법은 해당 URL이 이미 검색엔진에 색인된 경우에는 효과가 적으므로 functions.php 에 함수를 넣는 방법과 병행하는 것이 좋겠네요.

결론

• 강제로 404 페이지로 리디렉션하는 것은 SEO에 부정적인 영향을 미칠 수 있음
• 대신, 301 리디렉션을 사용하여 다른 페이지로 유도하는 것이 가장 좋은 방법
• 검색엔진 색인을 방지하려면 noindex, follow 메타 태그를 활용
• robots.txt 파일을 수정하여 특정 카테고리를 크롤링하지 못하도록 설정 가능

이러한 방법을 활용하면 SEO를 보호하면서 사이트 운영을 효율적으로 할 수 있습니다. 🚀