Kronologi
Belakangan ini, saya lagi ngebut ngebutnya melakukan SEO, dengan cara nulis artikel, di salah satu website yang sedang saya kelola. Ini tuh bener-bener posting artikel tiap hari. Setiaaaap haaaariiii… Tanpa hari tanpa posting artikel di situs ini. Nah bagi para praktisi SEO, sudah pasti pada tau, bahwa tiap kali kita posting artikel di website, akan selalu di akhiri dengan melakukan index di Google search console.
Nah sekitar 4 minggu belakangan ini, saya posting artikel tiap hari, dan sejak kemarin, saya menemukan error saat melakukan index halaman di Google search console.
Errornya seperti ini : Gagal: Beban host terlampaui
Berdasarkan pesan errornya, sepintas saya berasumsi, “wah jangan – jangan error ini karena saya terlalu rutin melakukan pengindeksan di Google search console. Sampai – sampai melewati batas yang dijatahkan”. Karena memang sebelumnya, saya juga menemukan kasus, dimana dalam 1 hari, saya melakukan index sekitar 10 – 15 halaman sekaligus (angka persisnya saya lupa). Dan muncul error “Kuota Terlampaui”.
Nah tapi kali ini errornya berbeda. Dan setelah saya libur nulis konten selama 2 hari, setelah saya coba index lagi, ternyata masih muncul error yang sama (Gagal: Beban host terlampaui). Akhirnya hari ini saya putuskan untuk menggunakan waktu istirahat makan siang saya dari jam 11 – 13 siang, untuk menyelesaikan masalah ini. Agar tidak berlarut – larut.
Masalah
Anehnya, saya sudah coba googling sana sini (Indo sampai english), nggak ada yang benar-benar tuntas tau apa solusi untuk masalah seperti ini. Mungkin juga karena kasus ini jarang terjadi, sehingga nggak banyak yang ngebahasnya. Ada pun yang ngebahas, mereka belum punya solusi pastinya. Bahkan di salah satu forum, pihak developer google mengatakan hal yang aneh dan nggak masuk akal.
Mereka menduga masalah itu terjadi karena website yang bersangkuatan, disimpan di sebuah host, yang punya banyak domain (1 hosting, punya banyak website). Dan pihak pengembang juga bilang “Tidak ada solusi untuk kasus tersebut”. Itu diskusi yang aneh banget sih menurut saya.
Dan sampai akhirnya saya tau penyebabnya, adalah hal yang sangat remeh-temeh. Yaitu masalahnya ada di file robots.txt yang ternyata memblokir Perayapan Google (crawler).
Solusi
Karena akhirnya, saya pelajari sendiri dan coba untuk berspekulasi, jangan-jangan ada kaitannya sama file robots.txt
Karena aktifitas index ataupun Crawl, sangat erat hubungannya dengan robots.txt. Karena di file inilah kunci apakah Google boleh merayapi situs kita atau tidak. Nah, untuk pengaturan cepat robots.txt ini ada di menu pengaturan.
Masalah ini selesai, hanya dengan cara ini.
Buka pengaturan → Membaca
Mohon di baca dan diikuti bain – baik ya
a. Pilih “Ketampakan di mesin pencari”, di check
b. Lalu “Simpan Perubahan”
c. Lalu, uncheck lagi “Ketampakan di mesin pencari”
d. Terakhir, “Simpan Perubahan” lagi
Ini tuh sebenarnya, kita lagi melakukan “refresh” ke file robots.txt tanpa harus mengakses dan membukanya secara manual.
Remeh temeh banget kan? 😅 Yaaaaaa, tapi selama saya berprofesi sebagai web developer, banyak banget teknik teknik remeh temeh seperti ini, tapi works.
Nah sekarang coba deh kamu lakukan index lagi di Google search console.
Cara ini works di saya, semoga works di kamu juga.
Salam,
Putu Adi.
Leave a Reply