Cara Menulis Instruksi Robot.Txt
Robot.txt biasanya dipakai oleh para pemilik website untuk memberi perintah wacana isi websitenya kepada web robot dan sanggup di index oleh webrobot, search engine, menyerupai googlebot dan lainnya, biasanya disebut The Robots Exclusion Protocol.
Seperti apa cara kerja robot.txt?. Jika ada web robot, kita ambil teladan googlebot, saat googlebot melaksanakan penelusuran terhadap web kita untuk lalu ditampilkan di halaman index google, terlebih dahulu googblebot membaca isi dari robot.txt, dan akan melaksanakan penelusuran terhadap website kita sesuai dengan perintah yang ada pada robot.txt.
Berikut perintah pada robot.txt :
User-agent: *
Disallow: /
User-agent:*
Maksudnya ialah ijinkan semua bot atau search engine, menyerupai google, yahoo, dan lainnya untuk menelusuri web kita. apa saja yang di telusuri ?. perintah dibawahnya yang akan menjawab.
Disallow : /
Disallow maksudnya ialah tidak diijinkan , apa yang tidak dijinkan ?, tanda "/" itu artinya semua direktori dan file yang ada pada website. jadi maksud dari Disallow:/ semua direktori dan file yang ada tidak diijinkan untuk ditelusuri. robot tidak mengenal perintah allow , jadi kita harus memakai kata Disallow: untuk mengijinkan bot menelusuri semua yang ada pada website kita.
sehingga menjadi
User-agent: *
Disallow:
Contoh :
------------------------------
User-agent: *
Disallow:/Adminstrator/
Disallow:/cgi/
Disallow:/Component/login.php
Disallow:/Plugin
User-agent:botyangdinilaimembahayakan
Disallow:/
------------------------------
Ijinkan semua bot atau search engine kecuali botyangdinilaimembahayakan, Ijinkan menelusuri semua direktori dan file kecuali, direktori administrator, direktori cgi, file login pada direktori component, dan direktori plugin.
biar bermanfaat.
Sumber http://d0w3r.blogspot.com/
0 Response to "Cara Menulis Instruksi Robot.Txt"
Posting Komentar