Apa Makna dari Kesalahan (Errors) dan Peringatan (Warnings)?
Ada sejumlah kesalahan yang dapat memengaruhi file robots.txt Anda, serta sejumlah peringatan ‘praktik terbaik’ yang mungkin Anda lihat saat Anda memeriksa file Anda. Ini adalah hal-hal yang dapat memengaruhi SEO Anda dan harus diperbaiki. Peringatan yang muncul kurang begitu penting dan berlaku sebagai saran tentang bagaimana meningkatkan file robots.txt Anda.
 
 Kesalahan yang mungkin Anda temui:
 
 URL invalid – Anda akan melihat kesalahan ini jika file robots.txt Anda benar-benar hilang
 
 Potensi kesalahan wildcard – Meskipun secara teknis ini adalah sebuah peringatan daripada sebuah kesalahan, jika Anda melihat pesan ini biasanya dikarenakan file robots.txt Anda mengandung sebuah (*) pada bagian Disallow (misalnya Disallow: /*.rss). Ini adalah persoalan praktik terbaik – Google memungkinkan sejumlah wildcard pada bagian Disallow tapi ini bukanlah praktik yang disarankan.
 
 Agen-pengguna (user-agent) generik dan spesifik dalam blok kode yang sama – Ini adalah kesalahan sintaks di dalam file robots.txt Anda dan sebaiknya diperbaiki guna menghindari permasalahan terkait dengan crawling pada situs web Anda.
 
 Peringatan yang mungkin Anda temui:
 
 Allow: / – Menggunakan perintah allow / izinkan tidak akan merusak peringkat atau memengaruhi situs web Anda, tapi ini bukanlah praktik standar. Robot-robot utama termasuk Google dan Bing akan menerima perintah ini, tapi tidak semua perayap / crawler menerimanya – dan secara umum, sebaiknya membuat file robots.txt Anda kompatibel dengan semua perayap/crawler, tidak hanya dengan yang besar-besar saja.
 
 Kapitalisasi field name – Meskipun field name tidak harus peka terhadap huruf kecil atau kapital, beberapa perayap/crawler membutuhkan kapitalisasi, oleh karena itu ide bagus untuk mengkapitalisasi field name bagi agen pengguna spesifik.
 
 Dukungan sitemap – Banyak file robots.txt yang menyertakan rincian sitemap untuk situs web, tapi ini tidak dianggap sebagai praktik terbaik. Namun Google dan Bing mendukung fitur ini.