Drupalユーザのひとりとして最初に言っておきたいのですが、Drupalデフォルトのrobots.txtにはまったくなんの問題もありません。

今とても話題になっている例のrobots.txtにも。

まぁ、別のところに問題はあって、脆弱性あるからさっさとアップデートしろや、と言われているバージョンである、6.26を使っていることがばれてしまうCHANGELOG.txtが放置されていることはちょっとまずいです。

DisallowされているURIにアクセスしてみればいいです。このサイトもDrupalだけど、ほとんどのURIはアクセス可能です。*.txtは色々経緯があって置いてないけれど。

まぁ、install.phpとかupdate.phpとかは常に置いておく必要のあるファイルではないけれど、置いといてそこにアクセスされたところでメッセージ表示されるだけであって別に実害はないし。僕のこのサイトも置きっぱなしです。アクセスしたけりゃどうぞ。

※update.phpはあるファイルのある変数をちょっと書き換えると、未ログインでもいくつかできちゃうことがあります。管理者パスワードがわからないとかいう状況にならないと、そんな書き換えをしなきゃいけない状況にはならないですけど。

/admin？何がまずいの？ブルートフォースアタックが可能？ってそれid/passでログインさせる全てのサイトはそうですよね？ちなみに、Drupalにはデフォルトの管理者ユーザというのはありません。最初のセットアップの時に管理者が任意で設定します。drushでインストールすると、デフォルトのadminユーザになっちゃうけど、あとから変更も可能ですし。

Drupalにはある思想があります。めちゃめちゃ乱暴に意訳すると、「拡張するならモジュールとテーマでやれ。アップデートできなくなるからコアには触るな」てな感じ。まぁ、ホワイトハウスで使われているDrupalなんかは相当コアに手を入れている感はありますけど、こういう特殊な例はおいとくとして、robots.txtに書かれているディレクトリ群は、全部コアに関わる部分なので基本的には触っちゃいけないし、Drupalで構築したサイトならば当然存在します。当然そこにあるものなので、そこにアクセスされて問題になるようには作られていないです。もちろん、まだ見つかってない問題がある可能性はありますが。

robots.txtは、ただ単にrobotはクロールしてくれるな、ということを書いてあるだけであって、別に隠そうとしているわけでもなんでもないので、アクセスしたけりゃすればいいんじゃないですか？大体、適当なページのソース表示したりすれば、Disallowされているフォルダのほとんどがそこに存在することは分かる訳ですし、そんなもん隠すわけないじゃないですか。

drupal.orgのrobots.txtもsitemap以外は同じですから、どうぞみなさんそこにもツッコんであげてください。