Tentang robot.txt

Tentang Robot.txt

anbusenja - tentang robot.txt

Apa itu Robot.txt?

Robot.txt adalah file yang berformat text (.txt) yang mana harus ada dan wajib dimiliki oleh setiap situs maupun blog pada internet. Yang juga digunakan untuk mengelola trafik ke sebuah situs atau sebuah blog.

Namun pada kenyataan, masih banyak kok para blogger yang khususnya blogger pemula seperti aku. Hehehe...

Maka dari itu, yuk bareng-bareng untuk belajar mengenalnya.

Fungsi robot.txt

Fungsi dari robot.txt ini adalah untuk memberikan instruksi terhadap mesin pencari ketika menjelajahi suatu situs atau blog.

Ketika mesin pencari mulai menjelajahi, file pertama kali yang dijelajahi adalah robot.txt ini. Dengan begitu, mesin pencari menjadi tahu tindakan seperti apa yang akan dilakukan setelahnya.

Menjelajah secara keseluruhan, sebagian, atau tidak sama sekali.

Dan sayangnya ini adalah masalah yang sering terjadi pada para pemula. Padahal file ini memiliki pengaruh cukup besar pada keberlangsungan suatu situs atau blog.

Cara kerja robot.txt

Ketika sebuah situs memiliki domain dan kemudian didaftarkan di mesin pencari, secara otomatis pemilik situs mempersilahkan robot perayap untuk mengunjungi dan menelusuri situs tersebut.

Dan yang pertama robot perayap kunjungi adalah robot.txt ini.

Pada file robot.txt berisi perintah-perintah khusus agar robot perayap tidak sembarangan melakukan fungsinya. Seperti halaman-halaman penting yang memang sengaja  disembunyikan oleh orang luar.

Jenis Setting robot.txt

Untuk Blogspot sendiri, sudah memiliki settingan yang secara default sudah ada disana. dan ini adalah settingan tersebut :

User-agent: Mediapartners-Google
disallow:
User-agent: *
disallow: /search
allow: /
sitemap: http://blogURL/feed/posts/default?orderby=UPDATED


1. User-agent: Mediapartners-Google : Mediapartners-Google adalah bot crawles untuk google adsense.

2. Disallow : artinya tidak ada batasan untuk dirayapi. Jadi memungkinkan Crawler menulusuri semua halaman

3. User-agent : mengartikan bahwa kode/perintah tersebut berlaku pada semua robot perayap

4. disallow: /search : artinya melarang robot perayap untuk menjelajahi url yang memiliki awalan urlbloganda.com/searc

5. allow: / :artinya membiarkan robot perayap menjelajahi semua halaman kecuali yang dicantumkan pada kode disallo

6. Sitemap: : Adalah sitemap dari sebuah situs yang diberitahukan ke robot perayap agar mempermudahkannya untuk menjelajahi. Sitemap berisi semua link yang ada di situ.


Yaps, semoga itu bisa membantu temen-temen blogger pemula untuk memhamai apa itu robot.txt. Aku sendiri juga masih ingin belajar lebih banyak lagi tentang mengatur robot.txt agar lebih efisien lagi.

Jadi,
terima kasih sudah berkunjung.
^_^


0 Response to "Tentang robot.txt"

Post a Comment

Iklan Atas Artikel

Iklan Tengah Artikel 1

Iklan Tengah Artikel 2

Iklan Bawah Artikel