誰會想用 robots.txt 封鎖自己的網站呢?
歡迎搜尋引擎來爬都來不及了

話說今天有個合作的設計師來敘談
本來以為網站有什麼問題

他說沒有
是因為上線前 在我這邊放的 demo 網站
被 google 爬到了

以至於客人從 google 上 用他的品牌
找到了 demo 網站
但是 demo 網站並沒有營運
只是放著好看而已

怕客戶的客人搞混
所以叫我下掉

可是我架 demo 網站就是要給之後的客人看的啊
順便報價的時候也可以用

這時候
只好用一些方法把搜尋引擎檔掉了

上網查了一下
發現只要把 網頁的目錄 放入一個
robots.txt

裡面寫