Поисковикам (и яндексу тоже) наплевать на robots.txt

Я мало сталкивался с сайтами, но тей сайты что я делал сам и пытался посмотреть как работает robots.txt - никогда не видел, чтобы поисковики реально слушались его.
То что Яндекс сваливает на разработчиков - это правда. Разработчики сайтов часто безалаберно относятся к аутентификации. Но и то что Яндекс индексирует все что ему доступно, в том числе и с тегом "не индексировать" - тоже эмпирически подтвержденный факт. Единственный способ блокировать часть сайта от индексации поисковиками - поставить на нее пароль.

Так что мы еще услышим много новостей про новые сайты и про новые персональные данные на них.