Kita akan membuat situs web yang semi private dengan memerintahkan mesin pencari untuk tidak mengindeks situs web yang telah kita buat sebelumnya.
Umumnya para pemilik situs web yang sudah go publik dan go online, menginginkan agar situsnya bisa terindeks di halaman hasil pencarian. Kok tutorial kali ini saya malah buat sebaliknya?
Sejujurnya ada beberapa alasan mengapa pemilik situs web tidak mengizinkan mesin pencari untuk melakukan indeks.
Mungkin setelah mendengar penjelasan lebih lanjut, kamu bisa lebih husnudzon dengan artikel ini. Hehe.
- Situs web tersebut masih tahap development dan belum siap untuk diakses oleh publik.
- Kamu memang berniat membuat situs dengan konten private.
- Konten yang orang tersebut buat, mungkin mengandung unsur informasi yang sensitif.
- Atau kamu hanya ingin membuat situs yang dapat diakses oleh segelintir orang saja (yang mengetahui link tersebut).
- Beberapa situs ada juga yang menghasilkan revenue dari subscription, orang tersebut baru bisa membaca konten premium setelah membayar.
- Atau bisa juga, memang di satu dua halaman di situs web, ingin kamu hilangkan dari pengindeksan oleh mesin pencari karena informasi yang ada sudah tidak lagi relevan.
- Terakhir, bisa juga karena ada halaman yang duplikat sehingga rawan terkena penalti. Halaman yang bermasalah tadi kamu atur, agar tidak terindeks oleh mesin pencari.
Ternyata tidak mengindeks situs web itu ada alasan yang jelas guys!
Sebaiknya kalau kamu tidak memiliki salah satu alasan di atas atau alasan kuat lainnya.
Saya menyarankan agar tidak mengikuti tutorial yang ada di artikel ini.
Sekarang, bagaimana cara agar mesin pencari tidak melakukan pengindeksan pada situs web?
Tutorial Agar Mesin Pencari Tidak Mengindeks Situs Web
WordPress sendiri memiliki pengaturan yang cukup mudah. Kamu tinggal klik tombol yang ada di menu Membaca > Ketampakan di Mesin Pencari.
Selanjutnya, beri centang pada tulisan Halangi mesin pencari untuk mengindeks situs ini dan jangan lupa untuk klik tombol simpan.
Setelah pengaturan ini berhasil kamu lakukan, robot/crawler dari mesin pencari tidak akan melakukan pengindeksan konten yang ada di situs web kamu.
Please banget, double-check juga kalau tiba-tiba situs kamu traffic-nya nyungsep secara drastis, bisa jadi kamu mengaktifkan fitur ini.
Jadi jangan main-main dengan fitur yang satu ini.
Cara Lain Agar Mesin Pencari Tidak Mengindeks Sebuah Situs
Selain cara di atas, kamu bisa juga memerintahkan agar mesin pencari tidak melakukan indeks di sebuah situs dengan memasukkan kode berikut ini di file header.php.
<meta name='robots' content='noindex,nofollow' />Cara lain, bisa juga melalui file .htaccess dengan menambahkan baris kode berikut:
Header set X-Robots-Tag "noindex, nofollow"Atau jika kamu menggunakan Nginx, kamu bisa tambahkan pada file .conf kode ini:
add_header X-Robots-Tag "noindex, nofollow";Cara di atas akan berpengaruh kepada situs web secara keseluruhan.
Bagaimana kalau hanya di level post/page saja? Artinya saya tidak ingin pemblokiran crawling di keseluruhan situs web.
Kamu juga bisa memanfaatkan fitur visibilitas post/page yang ada di WordPress dengan proteksi sandi.
Sehingga hanya user yang mengetahui password tersebut saja yang bisa membuka halaman post/page.
Terakhir, kamu juga bisa memanfaatkan fitur yang ada di plugin SEO seperti Yoast atau Rankmath.
Kedua cara ini bisa solusi untuk di level post atau page yang spesifik atau tertentu saja.
Jika cara sebelumnya itu untuk di level situs web secara keseluruhan.
Dengan cara di atas, kamu bisa memerintahkan mesin pencari untuk tidak mengindeks sebuah post atau halaman tertentu saja.
Pengaturan di level post/page bisa kamu gunakan untuk mengatasi konten yang duplikat atau konten yang kanibal.
Semoga tutorial ini bisa bermanfaat, mohon bantu sebarkan tulisan ini di sosmed yang kamu punya ya agar orang lain bisa mendapatkan manfaat yang serupa.
Jazakumullah khair.
