birchholt 직접 해보고 남기는 기록

내부링크를 늘리면 크롤이 온다고 생각했는데, 제 사이트가 이미 반증하고 있었습니다

birchholt ·

서치 콘솔에 「발견됨 - 현재 색인이 생성되지 않음」이 쌓였습니다. 구글이 주소는 알고 있는데 가서 읽지는 않은 상태입니다.

무엇을 해야 하는지는 검색하면 금방 나옵니다. 내부링크를 늘려라. 홈에서 글로 가는 링크를 더 만들고, 글끼리 엮고, 아카이브 페이지를 만들라는 조언들입니다. 저도 그 계획을 세웠습니다. 홈에 뿌리는 글 개수를 6편에서 50편으로 올리고, 「전체 글」 아카이브를 한 장 만들고, 대표 글을 공지로 등록하는 안이었습니다.

계획을 실행하기 전에 한 가지만 확인했습니다. 내 사이트에서 인바운드를 가장 많이 받는 글은 지금 크롤이 오고 있나.

사이트가 이미 실험을 돌리고 있었습니다

블로그 글 전체를 받아서 링크 그래프를 그렸습니다. 그랬더니 인바운드 링크를 42회 받는 글이 다섯 편 있었습니다.

42는 우연한 숫자가 아니라 이 사이트가 만들 수 있는 상한입니다. 그 블로그의 self-canonical 페이지가 42장이고, 그 다섯 편은 42장 전부에서 링크를 받고 있었습니다. 홈에서도 받습니다. 더 늘릴 수가 없는 상태입니다.

그 다섯 편의 크롤 기록이 0회였습니다.

인바운드 링크크롤
최대 노출 글 5편42회 (사이트 상한)0회
나머지 글1~수 회대부분 0회

제가 세우려던 계획은 「인바운드를 늘리면 크롤이 온다」는 가정 위에 있었는데, 그 가정의 반례가 이미 제 서버에서 4주째 돌아가고 있었습니다. 자연실험이 끝나 있었고, 아무도 결과를 읽지 않았습니다.

이게 이 글에서 제가 가장 크게 틀린 지점입니다. 새 데이터를 만들 계획을 세우기 전에 이미 가진 데이터부터 봤어야 했습니다.

1차 문서를 열어봤습니다

가정이 깨졌으니 조언의 출처를 봤습니다. 구글의 크롤 예산 관리 문서를 처음부터 끝까지 읽었습니다.

internal link 라는 단어가 한 번도 나오지 않습니다.

크롤 수요를 정하는 요인으로 문서가 이름을 붙인 것은 셋입니다.

The primary factors you can influence are: Perceived inventory … Popularity: URLs that are more popular on the Internet tend to be crawled more often … Staleness — Large site owner’s guide to managing your crawl budget

「인터넷에서 인기 있는 URL」입니다. 내 사이트 안에서 몇 번 링크됐는지가 아닙니다.

내부링크를 크롤과 잇는 1차 문서 진술이 아예 없지는 않습니다. 딱 하나 있고, 그마저 조건부입니다. 구글이 크롤링 통념을 정리한 문서에서 이렇게 답합니다.

“The closer your content is to the home page the more important it is to Google.” — Partly true. … pages linked directly to the home page may be seen as more important, and therefore crawled more often. However, this doesn’t mean that these pages will be ranked more highly. — Myths about crawling

may be, 그리고 「자주 크롤될 수는 있어도 순위가 오르는 건 아니다」입니다. 제가 읽었던 조언들은 이 문장에서 조건절과 단서를 떼고 온 것이었습니다.

그리고 호스트가 다르면 예산도 다릅니다

계획 중에 「apex 홈에서 티스토리 블로그 글로 링크를 걸어 크롤을 유도한다」가 있었습니다. 이것도 같은 문서가 직접 부정합니다.

Google’s crawling infrastructure defines a site as a unique hostname. For example, https://www.example.com/ and https://code.example.com/ are treated as separate sites and have separate crawl budgets.

birchholt.com 과 그 아래 서브도메인 두 개는 구글에게 별개 사이트 셋입니다. 통념 문서가 말하는 “your site’s home page” 에 apex 홈은 해당하지 않습니다. 크롤 예산은 호스트를 건너가지 않습니다.

계획 5종을 다시 판정했습니다

같은 기준으로 원래 계획을 하나씩 봤습니다. 판정 기준은 하나로 뒀습니다 — 크롤이 도달하는 글이 실제로 몇 편 늘어나는가.

조치판정근거
홈에 뿌리는 글 6 → 50편❌ 무의미링크 탐색 실측상 20편이면 이미 도달률 100%. 그 이상은 도달 글 순증 0이고 홈만 37KB → 123KB
「전체 글」 아카이브 1장❌ 무의미도달 순증 0인데 평균 깊이가 오히려 나빠진다(0.81 → 2). 게다가 한 번도 크롤 안 된 URL을 하나 더 만든다
대표 글 공지 등록❌ 순증 ≈ 0그 글이 이미 최신 20편 안에 있다
apex 홈 → 서브도메인 링크❌ 불가호스트별 크롤 예산 분리
기존 글 날짜만 갱신❌ 문서가 직접 부정“no additional value in making pages artificially appear to be fresh”

다섯 개가 전부 떨어졌습니다. 그리고 두 번째 줄이 특히 아팠습니다 — 색인을 늘리려고 만든 페이지가 아직 한 번도 크롤 안 된 URL을 하나 더 만드는 것이었습니다. 도달 안 되는 페이지가 문제인데 도달 안 될 페이지를 추가하는 안이었습니다.

검증이 살려낸 것 두 개

전부 기각하고 끝났으면 이 글은 「하지 마라」만 남았을 겁니다. 그런데 같은 검증에서 반대 방향으로 두 개가 나왔습니다.

하나. 제가 앞선 조사에서 「이 플랫폼에는 이전 글·다음 글·관련 글 치환자가 없다」고 적어뒀는데, 공식 문서에 실재했습니다. 제 스킨 두 개 다 안 쓰고 있었습니다. 발행순으로 앞뒤를 잇는 사슬을 만들면 홈을 6편으로 둔 채로도 도달률이 23/57 → 57/57, 33/42 → 42/42 가 됩니다. 「없다」고 적어둔 것이 실은 안 찾아본 것이었습니다.

둘. 홈에 뜨는 글 개수가 관리자 화면에 없어서 「설정이 덮어썼나」 의심했는데, 설정 파일 안에만 있었습니다. 그리고 홈에 11개가 보이던 것은 설정 문제가 아니라 카드 6개 + 인기글 모듈 5개였습니다. 세어보지 않고 추론했던 숫자입니다.

그래서 무엇을 했나

아무것도 안 했습니다. 계획 전체를 보류했습니다.

색인이 안 되는 것은 사실이지만, 제가 손댈 수 있다고 믿었던 지렛대가 1차 문서에도 없고 제 사이트 데이터로도 반증됐습니다. 증상이 있다고 아무 조치나 하는 것보다, 효과 없는 조치를 안 하는 게 낫습니다. 효과 없는 조치는 시간만 쓰는 게 아니라 URL을 늘려 상태를 악화시킵니다.

다음에 확인할 것은 정해뒀습니다 — 서치 콘솔 URL 검사로 세 주소의 「최종 크롤링」 값만 보는 겁니다. 10분이면 되고 돈이 안 듭니다. 그게 나온 다음에 다시 판단하겠습니다.

정리

← 다른 기록 보기