GEO и AI-поиск
Как закрыть GPTBot, не блокируя OAI-SearchBot
Чтобы запретить GPTBot обходить сайт и оставить доступ OAI-SearchBot, задайте для них отдельные правила в robots.txt. Проверьте файл на нужном хосте: разрешение обхода не гарантирует появление страниц в ChatGPT Search.
Чтобы запретить GPTBot обходить сайт, но оставить доступ OAI-SearchBot, задайте для этих краулеров отдельные правила в robots.txt. OpenAI описывает их настройки как независимые. Однако разрешение OAI-SearchBot не гарантирует, что страницы появятся в ответах ChatGPT Search или будут процитированы.
Для чего нужны GPTBot и OAI-SearchBot
По документации OpenAI, GPTBot обходит контент, который может использоваться при обучении базовых моделей компании. OAI-SearchBot используется для обнаружения сайтов в поисковых функциях ChatGPT. OpenAI указывает, что настройки robots.txt для этих краулеров независимы.
OpenAI также сообщает, что сайт, запретивший обход OAI-SearchBot, не будет показываться в ответах ChatGPT Search, но все еще может появиться как навигационная ссылка. Если же доступ разрешен, это не означает, что сайт обязательно появится в ответах.
ChatGPT-User — другой агент. Он может обращаться к странице по действию пользователя в ChatGPT или Custom GPT, но не используется для определения того, появится ли контент в ChatGPT Search. OpenAI отдельно предупреждает, что правила robots.txt могут не применяться к таким пользовательским действиям. Для управления доступом в целях поиска документация указывает OAI-SearchBot.
| Краулер | Назначение по документации OpenAI | Что настраивать |
|---|---|---|
| GPTBot | Обходит контент, который может использоваться при обучении базовых моделей | Указать, какие пути не должен обходить краулер |
| OAI-SearchBot | Используется для обнаружения сайтов в ChatGPT Search | Разрешить доступ, если вы хотите открыть страницы этому краулеру |
| ChatGPT-User | Может обращаться к страницам по действиям пользователей | Не использовать его настройки для управления видимостью в ChatGPT Search |
Перед правкой robots.txt
Откройте файл нужного хоста
Проверьте robots.txt в корне именно того хоста, где опубликованы страницы, которые вы хотите настроить. Например, файл основного сайта не управляет автоматически правилами тестового поддомена. Если страницы размещены на нескольких хостах, проверьте файл каждого отдельно. Сохраните копию текущей версии, чтобы при необходимости восстановить прежние правила.
Проверьте существующие группы
Просмотрите все группы User-agent. Найдите правила для GPTBot и OAI-SearchBot, а также общие правила для *. Если для нужного краулера группа уже есть, сначала разберитесь в ее содержимом. Не добавляйте повторную группу, не проверив полный файл и то, как в нем заданы ограничения для нужных путей.
Поведение краулеров и их поддержка синтаксиса могут различаться. Документация Google объясняет, как robots.txt обрабатывает Google, а не OpenAI. Документация OpenAI подтверждает независимость настроек GPTBot и OAI-SearchBot, но не описывает все варианты обработки сложных сочетаний директив. Если файл содержит несколько групп или противоречащие друг другу правила, не полагайтесь на предположение, что одна новая строка отменит остальные. Сверьте текущую документацию нужного краулера или попросите технического специалиста проверить файл целиком.
Пример отдельных правил для двух краулеров
Если вы хотите запретить GPTBot обходить весь сайт и разрешить OAI-SearchBot доступ ко всем путям, правила могут выглядеть так:
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /В этом примере Disallow: / задает запрет обхода всех путей для GPTBot, а Allow: / указывает на доступ ко всем путям для OAI-SearchBot. Это пример распространенной записи правил, а не подтверждение того, что любая комбинация директив будет одинаково обработана всеми краулерами. В частности, документация OpenAI подтверждает независимость настроек этих агентов, но не дает исчерпывающего описания обработки всех вариантов синтаксиса. Проверьте весь файл и актуальные инструкции OpenAI перед публикацией.
Если вы хотите ограничить для GPTBot только отдельный раздел, укажите его путь вместо /. Сверьте путь с адресами страниц сайта, чтобы не запретить обход нужных материалов. Для разных настроек GPTBot и OAI-SearchBot задайте отдельные группы, как в примере.
Проверьте опубликованный файл
- Откройте публичный robots.txt. Перейдите к файлу на нужном хосте. Убедитесь, что отображается текст с вашими изменениями, а не ошибка или прежняя версия.
- Сверьте группу GPTBot. Проверьте, что директива соответствует выбранным ограничениям. В примере
Disallow: /задает запрет для всех путей. - Сверьте группу OAI-SearchBot. Убедитесь, что вы не запретили доступ к страницам, которые хотели открыть. В примере
Allow: /задает доступ ко всем путям. - Еще раз проверьте общие и повторяющиеся группы. Если вы не уверены, как взаимодействуют несколько директив, не считайте, что новая строка устранила возможное противоречие. Проверьте полный файл по документации соответствующего краулера или попросите технического специалиста оценить правила.
- Сохраните рабочую копию для отката. Зафиксируйте, что изменили. Если публичный файл не соответствует вашей задаче, восстановите копию, исправьте правила и снова проверьте файл на нужном хосте.
OpenAI сообщает, что ее поисковым системам может потребоваться около 24 часов после обновления robots.txt, чтобы учесть изменения. Это приблизительный срок обработки, а не гарантия, что изменения будут учтены в этот период или что страницы появятся в ChatGPT Search.
Что robots.txt не может сделать
Robots.txt — публичная инструкция краулерам, а не средство защиты данных. Любой посетитель может прочитать файл, а его директивы не заменяют контроль доступа к страницам. Для конфиденциальных материалов используйте пароль или другой способ ограничения доступа.
Google предупреждает, что URL, закрытый от обхода, все еще может появиться в Google Search, например если на него ведут ссылки с других страниц. Это описание поведения Google; его нельзя автоматически переносить на ChatGPT или другие поисковые системы. Подробности приведены во введении Google в robots.txt.
Наличие правила в опубликованном файле подтверждает только то, какие инструкции вы разместили. Само по себе оно не показывает, посещал ли краулер конкретную страницу.
Проверьте перед публикацией
- Вы правите файл нужного хоста и сохранили исходную версию.
- Вы проверили группы GPTBot, OAI-SearchBot и
*. - Правила для GPTBot и OAI-SearchBot заданы отдельно и соответствуют вашей задаче.
- Ограничения охватывают только выбранные пути и не используются вместо защиты конфиденциальных данных.
- После публикации вы открыли публичный файл и проверили его содержимое.
- Вы не считаете разрешение OAI-SearchBot гарантией появления сайта в ChatGPT Search.
Следующий шаг
Определите, какие страницы вы хотите закрыть для GPTBot и открыть для OAI-SearchBot, задайте отдельные правила и проверьте опубликованный файл на нужном хосте. Это инструкция для краулеров, а не защита конфиденциальных данных и не обещание видимости в ChatGPT Search.
Если вы также оцениваете присутствие компании в AI-поиске, ознакомьтесь с услугой GEO-продвижения. Настройка robots.txt — лишь одна из технических задач, связанных с доступом краулеров.
Поделиться статьей