Cara Setting Robots.txt di Situs WordPress

Dalam artikel ini, kamu akan mempelajari cara setting robots.txt di situs WordPress.

Kesalahan pengaturan pada robots.txt bisa berdampak buruk pada performa SEO kamu.

Karena di robots.txt ini kita bisa memberikan perintah halaman atau direktori yang tidak boleh diindeks.

Atau kita juga bisa memblokir bot menggunakan robots.txt.

Sebelum kita bahas lebih lanjut, kita mulai dari basic mengenai apa itu robots.txt.

Apa Itu Robots.txt?

Cara Setting Robots.txt, Pengertian dan Manfaat Menggunakannya

Robots.txt adalah file teks sederhana yang berisi aturan-aturan untuk web crawler (atau biasa disebut juga robot) tentang bagaimana mengakses halaman atau direktori pada situs web kamu.

File ini harus ditempatkan di direktori utama situs kamu sehingga web crawler dapat dengan mudah menemukannya. Contoh yang ada pada Situstarget dapat diakses melalui www.situstarget.com/robots.txt.

Manfaat Penggunaan Robots.txt

Pengaturan file robots.txt di situs WordPress memberikan beberapa manfaat, yaitu:

  1. Membantu web crawler untuk mengakses dan mengindeks halaman dan direktori pada situs kamu dengan lebih baik.
  2. Membantu mencegah web crawler untuk mengakses halaman atau direktori yang tidak perlu diindeks.
  3. Membantu menghemat sumber daya server dengan menghindari robot untuk mengakses halaman atau direktori yang tidak perlu diindeks.

Pada tutorial kali ini saya akan bahas cara setting robots.txt yang paling simpel dan tanpa plugin tambahan.

Cara Setting Robots.txt di Situs WordPress Tanpa Plugin

Berikut ini adalah langkah-langkah untuk melakukan pengaturan file robots.txt di situs WordPress:

1. Membuat File Robots.txt

Buka editor teks seperti Notepad atau Sublime Text dan buat file teks baru.

Beri nama file tersebut “robots.txt” dan pastikan kamu menyimpan file tersebut dalam format teks.

2. Menentukan Aturan Akses

Cara Setting Robots.txt di Situs WordPress 1 Jumat, 29 Maret 2024 • Blog Situstarget

File robots.txt memiliki dua bagian utama: User-agent dan Disallow.

User-agent menunjukkan robot mana yang akan diatur, sedangkan Disallow menunjukkan halaman atau direktori mana yang tidak boleh diakses oleh robot tersebut.

Untuk memberikan akses penuh pada seluruh halaman dan direktori pada situsmu, kamu bisa memasukkan aturan berikut:

User-agent: *
Disallow:

3. Menentukan Halaman atau Direktori yang Tidak Diindeks

Jika ada halaman atau direktori pada situs yang tidak ingin diindeks oleh mesin pencari.

Kamu bisa menentukan aturan sebagai berikut:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-json/

4. Memblokir Bot yang Tidak Bermanfaat

Di luar sana ada banyak bot yang hanya memakan resource server tanpa memberikan manfaat.

Bot yang memberikan manfaat misalnya saja robot dari mesin pencari yang melakukan crawling.

Bot dengan tipe atau jenis seperti ini jangan diblokir.

Kamu bisa memblokir bot-bot yang hanya dipakai untuk kegiatan spamming atau tidak ada manfaat ke situs web kamu.

Jika kamu mengetahui dan berhasil mengindentifikasinya, kamu bisa memblokir bot tersebut menggunakan robots.txt.

Contoh cara setting robots.txt untuk memblokir bot seperti ini:

User-agent: Nuclei
User-agent: WikiDo
User-agent: Riddler
User-agent: PetalBot
User-agent: Zoominfobot
User-agent: Go-http-client
User-agent: Node/simplecrawler
User-agent: CazoodleBot
User-agent: dotbot/1.0
User-agent: Gigabot
User-agent: Barkrowler
User-agent: BLEXBot
User-agent: magpie-crawler
Disallow: /

5. Menginformasikan Lokasi Sitemap

Contoh File Sitemap.xml yang Menggunakan Plugin Rankmath

Di file robots.txt kamu juga bisa menginformasikan kepada para robot di mana lokasi sitemap situs web berada.

Karena lokasi sitemap dari masing-masing situs web bisa berbeda-beda.

Umumnya lokasi sitemap itu berada di domainkamu.tld/sitemap.xml tapi ada juga yang seperti domainkamu.tld/sitemap_index.xml.

Untuk memberitahukan lokasi sitemap kamu di robots.txt ini, kamu bisa tambahkan kode berikut:

Sitemap: https://domainkamu.tld/sitemap_index.xml

Jangan lupa mengganti domainkamu.tld dengan nama domain situs web WordPress kamu ya.

6. Upload Robots.txt ke Situs WordPress

Setelah membuat dan mengatur file robots.txt, kamu harus mengunggahnya ke direktori utama situs WordPress.

Kamu bisa melakukannya dengan menggunakan FTP atau File Manager pada cPanel hosting.

Kesimpulan

Cara setting robots.txt di atas bisa disesuaikan dengan kebutuhan situs WordPress kamu.

Robots.txt dapat membantu mesin pencari mengindeks konten situs kamu dengan lebih baik.

Dengan mengikuti langkah-langkah yang sudah dijelaskan di atas, kamu bisa mengatur file robots.txt dengan mudah dan cepat.

Selain cara setting robots.txt di atas, kamu juga bisa menggunakan plugin tambahan seperti Yoast SEO, Rank Math SEO, atau All in One SEO.

Secara garis besar cara setting robots.txt dengan plugin caranya hampir sama dengan tutorial di atas.

Frequently Asked Questions (FAQ)

Berikut ini adalah beberapa pertanyaan umum tentang cara setting robots.txt di situs WordPress yang sering ditanyakan:

Apakah file robots.txt dapat sepenuhnya mencegah akses mesin pencari ke halaman atau direktori pada situs saya?

Tidak. File robots.txt hanya memberikan aturan-aturan untuk web crawler mengenai akses ke halaman atau direktori pada situs kamu.

Web crawler atau robot bisa saja mengabaikan aturan-aturan tersebut dan tetap mengakses halaman atau direktori yang tidak diizinkan.

Apakah file robots.txt dapat mencegah akses spam bot ke situs saya?

Tidak. File robots.txt hanya memberikan aturan-aturan untuk web crawler, bukan untuk spam bot.

Untuk mencegah akses spam bot ke situsmu, kamu harus melakukan pencegahan seperti menggunakan plugin anti-spam, mengamankan server, atau menggunakan Cloudflare.

Apakah file robots.txt perlu diperbarui secara berkala?

Tergantung pada perubahan yang kamu lakukan pada situsmu. Jika kamu menambahkan halaman atau direktori baru, atau menghapus halaman atau direktori yang sudah ada, maka kamu perlu memperbarui file robots.txt agar aturan-aturan yang ada tetap relevan.

Apakah file robots.txt dapat mempengaruhi SEO situs saya?

Ya, pengaturan file robots.txt dapat mempengaruhi SEO situs web kamu karena dapat membantu mesin pencari mengindeks konten situs dengan lebih baik.

Namun, kamu harus berhati-hati dalam menentukan aturan-aturan yang ada pada file tersebut karena kesalahan dalam pengaturan file robots.txt dapat merugikan performa SEO situs kamu.

Apa yang harus saya lakukan jika saya tidak dapat menemukan file robots.txt di situs WordPress saya?

Jika kamu tidak dapat menemukan file robots.txt di situs WordPressmu, maka kamu bisa membuat file baru dan mengunggahnya ke direktori utama situs WordPress kamu.

Pastikan untuk mengatur file tersebut sesuai dengan kebutuhan dan mengikuti tutorial yang sudah dijelaskan di atas.

About The Author

Gabung Bersama +30.000 Pembaca Kami!

Daftarkan email anda untuk mendapatkan artikel terbaru dari Situstarget.com.

Proses pendaftaran hampir selesai, mohon cek email Anda dan Klik tombol konfirmasi.

Pin It on Pinterest

Share This