네이버 1페이지인데 챗GPT는 왜 모를까요
네이버 검색 1페이지에 올라간 홈페이지인데, 챗GPT에게 물어보면 그 회사 이름조차 나오지 않는 경우가 있습니다. 담당자 입장에서는 SEO 작업을 다 끝냈는데 왜 AI 답변에는 보이지 않는지 의아할 수밖에 없습니다. 매스티지 현장에서 보면 이런 질문은 홈페이지 리뉴얼을 준비하는 기업·병원·법무법인 담당자들에게서 반복적으로 나옵니다.
네이버 검색 노출과 챗GPT·구글 AI 답변 노출은 서로 다른 크롤러와 정책 위에서 작동합니다. 네이버 검색엔진이 사이트를 수집하는 방식과, 챗GPT의 OAI-SearchBot이나 구글의 Google-Extended가 콘텐츠를 가져가는 방식은 별개이므로, 한쪽에서 허용된 페이지가 다른 쪽에서는 막혀 있을 수 있습니다. 따라서 홈페이지 운영 단계에서 robots.txt와 각 크롤러별 접근 허용 여부를 따로 점검해야 합니다.
무엇이 달라졌나 — 크롤러 단위로 나뉜 AI 노출 구조
OpenAI는 OAI-SearchBot과 GPTBot이라는 두 개의 robots.txt 태그를 두고 있으며, 웹마스터가 하나는 허용하고 다른 하나는 차단하는 식으로 독립적으로 관리할 수 있도록 설계했습니다. OpenAI 공식 문서에 따르면 OAI-SearchBot은 챗GPT의 검색 기능에서 웹사이트를 답변에 노출시키는 역할을 하며, 이 크롤러를 막아둔 사이트는 챗GPT 검색 답변에 나타나지 않습니다.
구글도 마찬가지입니다. 구글 개발자 문서는 Google Search가 Googlebot으로 사이트를 수집하는 것과 별개로, Gemini 앱과 Vertex AI API에는 Google-Extended라는 또 다른 크롤러가 쓰인다고 설명합니다. 즉 네이버 검색 결과에 반영되는 크롤링 로직과, 챗GPT·제미나이 같은 AI 서비스가 콘텐츠를 가져가는 로직은 애초에 다른 체계 위에서 움직입니다.
홈페이지 제작·리뉴얼에 미치는 영향
기존에는 홈페이지 제작사가 네이버 검색 최적화 체크리스트 정도만 확인하면 충분했습니다. 하지만 AI 검색이 상담 전 정보 탐색 경로로 쓰이기 시작하면서, robots.txt에 어떤 크롤러를 허용하고 차단했는지가 홈페이지 성과에 직접 영향을 주는 항목이 되었습니다. 특히 리뉴얼 과정에서 보안 목적으로 robots.txt를 과도하게 막아두거나, 이전 제작사가 설정해 둔 규칙을 그대로 두는 경우 특정 AI 크롤러만 차단되어 있을 수 있습니다.
기획·디자인·개발·운영 단계에서 반영할 점
기획 단계에서는 메뉴 구조와 사이트맵을 짤 때 어떤 페이지가 상담·문의로 이어지는 핵심 콘텐츠인지 먼저 정리하고, 그 페이지들이 크롤러 차단 대상이 아닌지 확인하는 항목을 설계 문서에 포함시키는 편이 좋습니다. 디자인·퍼블리싱 단계는 텍스트가 이미지나 스크립트 안에 묻히지 않도록, 핵심 정보가 읽을 수 있는 텍스트로 구성되게 만드는 작업에 가깝습니다. 개발 단계에서는 robots.txt와 서버 설정에서 OAI-SearchBot, GPTBot, Googlebot, Google-Extended 등 주요 크롤러의 허용 여부를 하나씩 확인하고 기록해 두어야 합니다. 운영 단계에서는 콘텐츠를 새로 올리거나 서버를 교체할 때마다 이 설정이 초기화되지 않았는지 주기적으로 점검하는 루틴이 필요합니다.
업종별로 보면 — 가상 사례
예를 들어 수출기업이 해외 바이어를 대상으로 영문 홈페이지를 운영한다면, 네이버보다 구글과 챗GPT 검색을 통해 처음 접촉이 이뤄지는 경우가 많아 Google-Extended와 OAI-SearchBot 허용 여부가 더 중요하게 작용할 수 있습니다. 예를 들어 법무법인이나 병원처럼 상담 전 정보 탐색이 긴 업종은, 전문 분야 소개 페이지가 AI 답변에서 아예 제외되면 잠재 상담 고객과의 접점 하나가 줄어드는 셈입니다. 업종에 따라 어떤 크롤러를 우선 점검할지는 달라지지만, 점검 자체를 생략해도 되는 업종은 없습니다.
크롤러별 역할 비교
| 크롤러 | 운영 주체 | 쓰이는 곳 |
|---|---|---|
| Googlebot | 구글 | 구글 검색 결과 |
| Google-Extended | 구글 | 제미나이 앱, Vertex AI API |
| OAI-SearchBot | OpenAI | 챗GPT 검색 답변 |
| GPTBot | OpenAI | 모델 학습용 수집(검색 답변과 별개로 허용·차단 가능) |
제작 전 체크리스트
- 현재 robots.txt에 OAI-SearchBot, GPTBot, Googlebot, Google-Extended가 각각 어떻게 설정되어 있는지 확인했는가
- 상담·문의로 이어지는 핵심 페이지가 크롤러 차단 목록에 포함되어 있지 않은가
- 리뉴얼 전후로 robots.txt 설정이 그대로 이관되는지 제작사에 확인했는가
- 핵심 정보가 이미지가 아닌 텍스트로 제공되고 있는가
- 네이버 검색 노출과 AI 답변 노출을 별도 항목으로 나눠 오픈 후 점검 계획을 세웠는가
한계와 주의할 점
크롤러를 허용한다고 해서 챗GPT나 구글 AI가 특정 페이지를 반드시 인용하거나 노출한다는 보장은 없습니다. 이번에 확인한 내용은 접근을 허용했는지 차단했는지에 관한 것이며, 실제로 어떤 콘텐츠가 답변에 선택되는지는 각 서비스의 내부 판단에 달려 있습니다. 또한 크롤러 정책은 서비스사 사정에 따라 바뀔 수 있으므로, 한 번 점검한 뒤 방치하지 않고 주기적으로 다시 확인하는 편이 안전합니다.
매스티지의 적용 방식
매스티지는 2004년부터 홈페이지를 기획·UI/UX·디자인·퍼블리싱·개발·운영까지 한 팀 안에서 진행해 온 과정에서, 약 500개 고객사의 홈페이지를 운영·유지관리해 왔습니다. 그 경험을 바탕으로 리뉴얼 프로젝트에서는 메뉴·사이트맵 설계 단계부터 핵심 페이지를 먼저 정리하고, 개발 단계에서 robots.txt와 주요 크롤러 허용 여부를 함께 점검하는 과정을 거칩니다. 병원, 법무법인, 기업, 정부지원사업 관련 홈페이지를 다뤄 온 경험을 바탕으로, 사람이 읽기 편한 화면 설계와 AI 답변 노출 가능성을 함께 고려해 오픈 후에도 노출 현황을 지속적으로 확인하는 쪽으로 운영을 이어가고 있습니다.
다음 행동
현재 운영 중인 홈페이지의 robots.txt 설정이나, 리뉴얼을 준비하면서 AI 검색 노출까지 고려한 화면설계가 궁금하다면 매스티지에 문의해 현황을 함께 점검해 볼 수 있습니다.
