А по старому ip сайт не открывается?

Всё норм, главное что разобрались. Сейчас всё выясним

Я уже писал что я заходил на robots.txt по этому ip-адресу. Если просто зайти по этому ip-адресу то открывается google. Скорее всего там xray (впн)

Код ответа страницы 200?

Ну конечно

Ну мало ли. Скиньте сайт, так быстрее будет

А можно Вам в личные сообщения написать на возмездной основе?

Я уже не сеошник, по старой памяти тут) Пишите в общие, тут коллективно помогут

Не, тут все свои 🫡

Чатовый бот стирает моё сообщение, потому что там ссылки, не могу отправить сообщение

Хм

Мой сайт: laboratory (dot) technology Предыдущий ip-адрес, с которого google берёт robots.txt 109 120 134 193

Я написал, ещё раз всё равно стирает. Ну выше сайт и ip-адресс

Сел за комп, сейчас посмотрю

Спасибо большое

А окончание какое? com? ru?

technology

Так у вас код ответа не 200. У меня не открывается он

https

надо бы редирект

Там есть редирект

Вот тут неправильно написано, лишняя буква o

Ой, да, Я просто до этого три раза переписывал и уже устал переписывать и сделал ошибку

Спасибо, извините

Ура!

самая обычная ситуация, а когда «глаз замылен» - без стороннего взгляда найти очень сложно

Краулер просканировал всё без проблем, в robots.txt никаких ошибок нет

Ваш краулер или гугловский?

Мой с user agent google bot и yandex bot, с условием соблюдать robots.txt

А ну так да. Но откуда у него ip-адрес с которого он берёт robots.txt?