Apakah itu robots.txt
Friday, October 10th, 2008robots.txt adalah file yang sangat penting jika suatu web ingin mudah di index oleh search engine, ketika search engine crawler datang di web kita, maka dia akan mencari file kusus yaitu file yang bernama robots.txt dan memberitahukan search engine spider bahwa halaman web tersebut harus di indek atau di abaikan
file robots.txt adalah file text yang [...]


