Вы можете и должны управлять поисковыми роботами. Закрывать ненужные страницы от индексации, ограничивать лимиты на сканирование страниц роботами и т. п.