Cara Setting Robot.Txt pada Blogger Atau Blogspot Di Webmaster Tools
Robot.txt yang berada di webmaster tool adalah sebuah root (akar) pada sebuah situs. untuk mempelajari tentang file robots txt blog belajar berbagi akan mengupas dan menyajikannya untuk anda simak hingga tuntas, sehingga anda akan disulap untuk menjadi seorang yang mengenal dan memahami robot.txt pada webmaster tools sampai menjadi mahir dalam menguasainya. tentu dengan syarat harus melahap tulisan ini sampai tuntas.
Sebelum anda mengetahui lebih jauh robot.txt, sebaiknya anda mendaftarkan situs anda di webmaster tools. jika sudah mendaftar pada webmaster tools, silahkan terbang ke perayapan » penguji robots.txt
Contoh Default Robot.Txt Secara default robot.txt yang ada di webmaster tools milik belajar berbagi seperti dibawah ini :
Ketika mesin pencari seperti google ingin menjelajahi website anda, maka file yang pertama kali dijelajahi adalah file robots.txt. Dengan mengunjungi robots.txt ini, mesin pencari menjadi tahu apa yang harus mereka lakukan. Menjelajahi seluruh website anda secara keseluruhan, sebagian atau tidak sama sekali.
Sebenarnya, jika anda bisa membuat halaman website, maka anda pasti juga bisa membuat file robots.txt ini. Anda bisa membuatnya menggunakan notepad, WordPad atau Editor lainnya. Bahkan, anda juga bisa menungunjungi website tertentu dan kemudian mengcopy file robots.txt mereka dan paste di website anda, tentunya dengan beberapa penyesuaian. Beberapa Fungsi Robot adalah sebagai berikut
Pada bagian Beranda conteng All, Laman Arsip dan Penelusuran: conteng noindex, nofollow, noarchive, Default untuk Pos dan Laman: conteng All, Setelah selesai klik simpan perubahan
Karena waktu berbuka puasa sebentar lagi, maka saya akhiri tulisan tentang cara setting dan mengenal robot.txt pada blogger webmaster. semoga bermanfaat dan happy blogging
Robot.txt yang berada di webmaster tool adalah sebuah root (akar) pada sebuah situs. untuk mempelajari tentang file robots txt blog belajar berbagi akan mengupas dan menyajikannya untuk anda simak hingga tuntas, sehingga anda akan disulap untuk menjadi seorang yang mengenal dan memahami robot.txt pada webmaster tools sampai menjadi mahir dalam menguasainya. tentu dengan syarat harus melahap tulisan ini sampai tuntas.
Sebelum anda mengetahui lebih jauh robot.txt, sebaiknya anda mendaftarkan situs anda di webmaster tools. jika sudah mendaftar pada webmaster tools, silahkan terbang ke perayapan » penguji robots.txt
Baca Juga Pengertian Privacy PolicyAnda dapat mengontrol bagaimana mesin pencari seperti google berinteraksi dengan halaman website anda menggunakan file robots.txt. Isi dari file ini nantinya akan memberitahu crawler mesin pencari bagaimana seharusnya mereka mengunjungi website anda.
Contoh Default Robot.Txt Secara default robot.txt yang ada di webmaster tools milik belajar berbagi seperti dibawah ini :
User-agent: Mediapartners-GoogleKeterangan:
Disallow:
User-agent: *
Disallow: /search
Allow: /
Sitemap: http://www.ayokmoco.com/sitemap.xml
- User-agent: Mediapartners-Google:adalah sebagai perintah mengizinkan robots craw adsense untuk mengindeks seluruh website atau blog yang relevan dan tidak ada kaitannya dengan google search engine. jika anda sudah memiliki adsense maka jangan pernah menghapusnya karena sangat menguntungkan bagi situs anda.
- Disallow: artinya tidak ada batasan halaman untuk dirayapi oleh google
- User-agent: *: seluruh search engine atau mesin pencari yang diwakili oleh tanda * tersebut
- Disallow: /search: melarang robots google untuk merayapi labels yang berawalan /search contohnya http://imoul.blogspot.co.id/search/label/AdSense
- Allow: /: memberiarkan robots google merayapi seluruh halaman situs website/blog anda
- Sitemap: adalah sebuah alamat feed blog anda yang berisikan url-url halaman yang sudah anda buat misalnya judul postingan blog. untuk mengetahuinya silahkan rubah http://imoul dengan nama situs anda yang diakhiri /sitemap.xml
Ketika mesin pencari seperti google ingin menjelajahi website anda, maka file yang pertama kali dijelajahi adalah file robots.txt. Dengan mengunjungi robots.txt ini, mesin pencari menjadi tahu apa yang harus mereka lakukan. Menjelajahi seluruh website anda secara keseluruhan, sebagian atau tidak sama sekali.
Baca Juga Cara Membuat Safelink Di Blogger 2X KlikMasalah yang paling umum dari file robots.txt ini adalah jarang sekali para pemula mengetahui bagaimana cara menggunakan robots.txt ini. Padahal file ini sangat besar pengaruhnya pada SEO website yang anda lakukan.
Sebenarnya, jika anda bisa membuat halaman website, maka anda pasti juga bisa membuat file robots.txt ini. Anda bisa membuatnya menggunakan notepad, WordPad atau Editor lainnya. Bahkan, anda juga bisa menungunjungi website tertentu dan kemudian mengcopy file robots.txt mereka dan paste di website anda, tentunya dengan beberapa penyesuaian. Beberapa Fungsi Robot adalah sebagai berikut
- Non Gambar robot.txt hanya digunakan untuk mengontrol lalu lintas perayapan dan jangan menyia-nyiakan lalu lintas ini karena dapat mengakibatkan overload atau kelebihan perayapan yang tidak penting untuk dirayapi oleh google.
- Robot.txt bisa mencegah file gambar yang muncul di hasil pencarian google akan tetapi robot txt tidak mencegah halaman yang ditautkan oleh pengguna lain yang ngelink ke file gambar anda tersebut
- File sumber daya berfungsi untuk memblokir file gambar yang menurut anda tidak penting.
Untuk mengetahui keseluruhan tentang robot.txt webmaster seperti mempelajari tentang file robots.txt, membuat file robot.txt, menguji dengan penguji robots.txt, mengirim robots.txt yang diperbaharui di google, sebaiknya saya rekomendasikan kepada anda untuk membaca dan mempelajari seluruh tentang robot.txt yang ada di webmaster tools.
Lalu pada Tag tajuk robot khusus, Aktifkan tag tajuk robot khusus? jadikan Ya dan ikuti perintahnya dibawah ini
Baca Juga Cara Edit Tenplate Blog Di Android Atau smartphoneUntuk setting robot txt pada blog silahkan anda login ke blogger anda » setelan » Preferensi penelusuran » robot.txt khusus
Lalu pada Tag tajuk robot khusus, Aktifkan tag tajuk robot khusus? jadikan Ya dan ikuti perintahnya dibawah ini
Pada bagian Beranda conteng All, Laman Arsip dan Penelusuran: conteng noindex, nofollow, noarchive, Default untuk Pos dan Laman: conteng All, Setelah selesai klik simpan perubahan
Karena waktu berbuka puasa sebentar lagi, maka saya akhiri tulisan tentang cara setting dan mengenal robot.txt pada blogger webmaster. semoga bermanfaat dan happy blogging