Saturday, December 10, 2022
Robots.txt dirancang khusus untuk blogspot agar website Saudara berada di pencarian google. Robot.txt berguna untuk memberitahu mesin pencari google khususnya untuk pengindekan dan juga optimasi SEO, selain itu Robot.txt akan mempermudah website Saudara agar cepat di indek, dapat memberitahu mesin pencari google mana halaman yang boleh dan tidak boleh di indek.
Baca juga: 393 Backlink Redirect GOV dan EDU
Adapun dampak dari Robot.txt tersebut akan meningkatkan peringkat di SERP.
Pengertian Robots.txt
Robots.txt merupakan sekumpulan perintah agar mesin pencari google dapat dengan gampang menemukan website Saudara yang sangat berguna sebagai penunjuk jalan bagi mesin pencari google untuk menemukan keberadaan website Saudara.
Seberapa Penting Robots.txt?
Robots.txt dapat memerintahkan mesin pencari google, file atau data mana yang boleh di akses dan mana yang tidak boleh ditampilkan, walaupun tanpa adanya robots.txt tersebut, Google tetap akan melakukan proses "Crawl" keseluruh halam website Saudara.
Cara Setting Robots.txt di Blogspot
Penggunaan syntax pada robots.txt adalah Dissalow (melarang), berikut perintah robots.txt khusus untuk blogspot:
Fungsi perintah User-agent: * untuk mengizinkan googlebot, Bingbot, dan Yahoobot dan lainnya merayapi website Saudara.Sedangkan perintah untuk melarang semua robot pencarian masuk dan merayapi website Saudara, berikut contoh perintah seperti dibawah ini:
Sedangkan perintah untuk merayapi website sebagai berikut:
Jika Saudara hanya ingin website dirayapi oleh google bot sedangkan yang lain dilarang berikut ini perintahnya
Berikut ini contoh robots.txt untuk merayapi semua website blogspot
Meletakan Robots.txt di Blogspot
Klik setting, selanjutnya scroll ke bawah dan isikan perintah robots.txt pada "robots.txt kustom"
Selamat mencoba semoga bermanfaat