В этом материале мы рассмотрим, как подключить Google Indexing Api для того, чтобы ускорить индексацию страниц и на примере одного проекта я покажу, как быстро проиндексировались страницы.
Через обычный инструмент Посмотреть как Googlebot в панели Google Search Console вы можете вручную добавить минимальное ограниченное количество страниц на индексацию в день (до 10).
Из каких этапов состоит процесс
- Подключение к GIA и Настройка Json-ключа
- Настройка скрипта отправки
- Предоставление доступа для технического аккаунта Google в GSC
- Запуск скрипта
- Увеличение квоты
1 этап. Создание проекта в Google Cloud Platform
Первым делом настроим доступ в консоли Indexing API. Переходим на Google Cloud Platform и создаём там проект.
- Количество создаваемых проектов ограничено. Поэтому, клиенту необходимо будет создать любой новый аккаунт Google и расшарить на него права владельца. Иначе на ваших корпоративных аккаунтах не хватит места, так как 1 сайт может использовать 30 проектов.
- Проект не привязан к сайту. Это значит, что множество сервисных аккаунтов, которые были созданы ранее и прокачаны, можно использовать для любого сайта.
Название проекта не принципиально, как и местоположение.
Возможные проблемы на данном этапе и их решение
Лимит на создание проектов с 1 Google аккаунта.
Решается отправкой формы.
Google говорит, что процесс может заниматься до 2-х рабочих дней, но на практике может и быстрее (до 10 минут).
2 этап. Создание сервисного аккаунта для отправки запросов
Создаем сервисный аккаунт, через который будем отправлять запросы по API.
Для этого переходим в «IAM и администрирование» — «Сервисные аккаунты» или перейдите по ссылке.
Далее нажимаем на «Создать сервисный аккаунт».
Откроется форма, в которой следует указать название сервисного аккаунта. Указанное на скриншоте ниже название — пример.
На следующем шаге обязательно указываем роль нашего аккаунта как — Владелец.
3 этап. Генерация Json ключа для сервисного аккаунта
Теперь в сервисных аккаунтах находим наш созданный и в списке колонки «Действия» выбираем пункт «Создать ключ».
Нам потребуется рекомендуемый формат JSON, после чего он автоматически скачается на Ваш компьютер.
4 этап. Включение Google Indexing API
После того, как:
- создали проект,
- внутри него создали сервисный аккаунт,
- предоставили ему права владельца
- сгенерировали json ключ,
необходимо в рамках проекта включить сам Indexing API. Для этого, в верхней строке поиска вбейте Indexing API и нажмите на нужный результат, либо перейдите по ссылке.
После нажмите кнопку Enable
Готово! В Google Cloud Platform все настройки закончены.
Возможные проблемы и их решение
Проблема по подключению Indexing Api в проекте, когда вместо кнопки включить появляется форма с заполнением. Показать скриншот нет возможности, так как проблема редкая, но если заметите такое — просто заполните форму на английском языке. Она несложная.
Информация для крупных проектов
Если у вас крупный проект и необходимо отправлять много страниц через API, то понадобится множество аккаунтов (например, штук 30 сразу). Для этого необходимо проделать все вышеперечисленные шаги заново:
- создать новый проект
- создать сервисный аккаунт
- предоставить права владельца
- сгенерировать ключ json для сервисного аккаунта
- включить API
Будьте внимательны, так как если забудете предоставить роль сервисного аккаунта, как владельца или включить API, то аккаунт работать не будет. Тоже самое касается и создание сервисных аккаунтов в одном проекте. Лимиты сейчас даются на проект, а не на аккаунт.
5 этап. Добавляем в созданный аккаунт владельца
Следующим этапом будет добавление созданного аккаунта (или аккаунтов) в Google Search Console как владельца домена. Для этого, необходимо перейти в меню настроек слева внизу.
Далее переходим в раздел “Пользователи и разрешения”
Справа наверху нажимаем кнопку “Добавить пользователя”
Вводим сервисную почту созданного ранее аккаунта и обязательно предоставляем права как владельца.
Если вы не наблюдаете раздела пользователи и разрешения, то значит — владелец проекта (клиент) не делегировал на Ваш аккаунт доступ как Владельца.
Нужно обратиться к клиенту и попросить делегировать доступ на аккаунт, с которого зашли в GSC доступ как Владелец. Теперь в «Пользователи и разрешения» в Search Console поля должны быть как на скриншоте ниже.
Настройка закончена, теперь переходим к самой отправке запросов через API с помощью скриптов.
Возможные проблемы и их решение
Если вы только что создали сервисный аккаунт и сразу добавляете его в GSC, то вы можете увидеть ошибку, когда аккаунт не добавляется и пишет примерно следующее: “Такого аккаунта не существует.
Решается просто — надо подождать несколько минут, обновить страницу и попробовать заново.
6 этап. Настройка скрипта для API
Рассмотрим 3 варианта настройки скриптов для отправки страниц для индексации в Google Indexing API:
- для небольших проектов
- для крупных проектов
- для индексации и удаления ссылок
6.1. Для небольших проектов
Данный метод подойдет для небольших проектов, либо для проектов, где есть незначительные проблемы с индексацией в Google. Так как отправлять запросы всё время придется вручную.
- Скачаем данный скрипт (с Гугл диска или GitHub).
- Открываем скаченный скрипт и разархивируем его, после этого сохраняем в удобной для вас папке на компьютере. Желательно, создать папку с названием проекта, чтобы не запутаться. Именно с ней мы будем работать.
- Открываем сохраненную папку и файл service_account.json
- Его содержимое нужно заменить на содержимое файла ранее скаченного JSON-ключа. В итоге файл будет выглядеть примерно так:
Запуск скрипта
- В папке со скриптом открываем файл urls.txt
- Вставляем туда url, которые нужно проиндексировать, и нажимаем сохранить. В сутки можно отправить около 200 шт. url с одного сервисного аккаунта. Поэтому в файл и добавляем 200 шт.
- Для следующих шагов нам нужно найти и скачать исходный код node.js по ссылке.
- Далее вызываем командную строку в той папке, в которой у нас хранится наш скрипт. Самый простой способ — открыть папку и наверху (где путь к этой папке) ввести cmd и нажать Enter.
- После того, как зашли в папку (путь может отличаться, перед использованием консоли нужно удостовериться, где лежит скрипт), необходимо загрузить нужные файлы библиотеки туда же. Делается это при помощи команд ниже.
В каждой новой строке добавляем значения, которые показаны ниже, при этом нужно немного подождать, пока не загрузятся данные. Добавлять точно в такой же последовательности, как указано ниже:
npm install requests
npm audit fix
npm audit fix —force
6. После того, как все файлы библиотеки установлены, запускаем последнюю команду node index.js
По итогу вы должны будете увидеть такую финальную картину (скрин ниже). Если вместо этого скрина вы увидели что-то другое, значит вернитесь к началу статьи и внимательно проверьте каждый пункт.
Когда в последующем вам нужно будет индексировать новые страницы на этом проекте, в файле urls удаляете старые урлы, меняете на новые и пересохраняете файл.
В командной строке C:\Users\user\Desktop\Roots\google-indexing-api-bulk-master> добавляете команду node index.js и нажимаете Enter (путь будет отличаться в зависимости от местоположения файла на Вашем компьютере).
Плюсы данного метода:
- Довольно быстрая настройка скрипта
- Отправка страниц производится за несколько секунд
Минусы данного метода:
- Всё надо делать вручную
6.2. Для крупных проектов
Данный метод подойдет для любого объёма проектов, но больше крупных, так как его можно 1 раз автоматизировать и ежедневно страницы сами будут отправляться через API.
- Скачиваем и устанавливаем последнюю версию Python. После установки, рекомендуется перезагрузить ПК.
- Проверяем, корректно ли установлен Python. Для этого, открываем командную строку и пишем команду python. Должны увидеть следующее:
- Для выхода, пишем команду exit()
- Далее, проверяем наличие нужного нам модуля pip. Для этого вводим в командную строку pip. Должны увидеть примерно следующее:
- Если отсутствует, переходим сюда: https://bootstrap.pypa.io/get-pip.py, сохраняем страницу.
- Запускаем скрипт get-pip.py через командную строку.
- Для корректной работы скрипта нам понадобятся несколько библиотек, которые легко установить путём ввода следующих команд точно в такой же последовательности, как указано ниже:
pip install google-api-python-client oauth2client
pip install —upgrade oauth2client
pip install mysql-connector-python - Настройка Python завершена! Приступаем к запуску скрипта.
- Скачиваем готовый архив со скриптом по ссылке
- Распаковываем в любую папку. Желательно создать папку с названием проекта, чтобы не запутаться.
- В папку json_keys закидываем наш json ключ от сервисного аккаунта (или аккаунтов).
- Сохраняем их в таком виде.
- Далее, в файл urls.csv вводим все URL, которые необходимо проиндексировать и нажимаем сохранить. Открываем файл main.py
- При удачной отправке вы должны увидеть следующее.
Все результаты записываются в файл result.txt в виде url;дата
Из файла urls.csv отправленные урлы автоматически удаляются, чтобы избежать повторных отправок одних и тех же страниц.
Автоматизация процесса
Данный процесс можно автоматизировать. Делается это просто, через стандартный планировщик задач Windows.
- Открываем его и нажимаем “Создать задачу”.
- Во вкладке “Общие” даём название задачи. Рекомендуется, чтобы не потерять, вводить значения в формате: название проекта — indexing API
- Во вкладке “Триггеры” создаём новый.
- Далее указываем параметры “Ежедневно” и задаём время, в которое будет включаться наш скрипт.
- Далее во вкладке “Действия” создаём действие “Запуск программы”.
- В поле “Программа или сценарий” указать путь к Python.
- В поле “Аргументы” указать наименование скрипта main.py.
- В поле “Рабочая папка” укажите папку, в которой расположен скрипт.
- Далее нажимаете ОК. Всё, теперь у Вас будет автоматически в заданное время ежедневно открываться скрипт и отправлять урлы для индексации.
Плюсы данного метода:
- Для крупных проектов 1 раз настроили и “забыли”.
Минусы данного метода:
- Более долгая первоначальная настройка скрипта.
- Если использовать множество проектов и сервисных аккаунтов, под что собственно и заточен этот скрипт, то их придётся долго создавать.
Для индексации/удаления страниц на сайте
Если вдруг нужно не проиндексировать, а удалить какие-то урлы, то воспользуемся данным скриптом. Для этого:
- В файл cred.json вставляем json сервисного аккаунта.
- В файл urls.txt вставляем нужные для удаление урлы.
- Запускаем google_indexing_api.py
- Далее нажимаем на варианты ответа, которые предлагает программа.
Как проверить, что всё работает
Чтобы проверить, что страницы отправлены на индексацию, достаточно посмотреть несколько выборочных постраничных отчетов в командной строке. Они должны отдавать код 200.
Если у Вас возникает ошибка и код ответа отличный от 200, то посмотрите список ошибок в документации.
Как увеличить квоту на обход URL и на сколько
По умолчанию Google предоставляет 200 URL на один проект в день для работы через Google Indexing API. С крупными объемами URL этого явно недостаточно. Можно попробовать запросить увеличение квоты для проекта.
После указанной настройки Google Indexing API необходимо следовать инструкции Google.
Нельзя запрашивать увеличение лимита более чем в два раза за одно обращение.
Т.е., в первое обращение нужно запросить увеличение лимита с 200 до 400 на проект. Через несколько дней после одобрения можно отправлять следующий запрос — с 400 до 800. И так далее.
Необходимо контролировать это и не забывать запрашивать новое расширение лимитов, следуя вышеописанным инструкциям.
Делается это следующим образом:
- Открываем дашборд по ссылке
- Выбираем нужный проект и открываем вкладку “Квоты”.
- Переходим по ссылке.
- Далее, необходимо заполнить форму. Обратите внимание на то, чтобы был корректно выбран аккаунт, с которого отправляете заявку.
Текст для отправки можете указать примерно такой.
Hello! I would like to increase the number of Quotas in Indexing API. It`s because I have a lot of pages on my site and the number of 200 is very low for me. Please give me more. Thank you!
Непонятно, когда и на сколько увеличиваются лимиты. Легче создать дополнительные проекты и внутри них сервисные аккаунты. Так как ждать увеличение квоты можно более месяца.
Как быстро индексируются страницы (реальный пример)
К сожалению, нет точного срока.
Какие-то могут быть добавлены в индекс уже через час, а каким-то нужно больше времени. На практике это занимает не более 3-х суток.
SEO-кейс для сайта в тематике промокоды
На примере ниже, по состоянию на 7 августа 2023 года в индекс было 76 страниц. 11 августа были отправлены новые страницы, у которых проведена базовая оптимизация и 12 августа (через сутки после отправки) все страницы были добавлены в индекс. В настоящий момент проиндексировано 158 страниц.
Таким образом, мы увеличили поисковый индекс для продвигаемого сайта более чем в 2 раза. И эти страницы уже начинают ранжироваться по релевантным поисковым запросам.
Рекомендую для дополнительного изучения
Как ускорить индексацию сайта в Яндексе и Google в 2023 году?
Практическое задание
- Настроить Google Indexing API.
- Выбрать вариант отправки страниц на индексацию в зависимости от того, какого размера продвигаемый сайт.
- Удалить ненужные страницы, которые находятся в индексе Google, при необходимости. Только откройте доступ к ним в файле robots.txt краулеру Google, чтобы он мог их просканировать и удалить из индекса, если они закрыты в нем.
Только после того, как страницы будут удалены, тогда и закройте этот раздел/страницы или файла обратно в файле robots.txt, если вы не хотите, чтобы краулер их сканировал. Но так как файл robots.txt — это рекомендация для поисковых систем, то советую использовать мета-тег noindex, nofollow для запрета индексации таких страниц.
Какую помощь по SEO могу еще предложить
