Tambahkan file robots.txt ke situs WordPress saya
Mesin pencarian, seperti Google, Yahoo !, dan Bing, menggunakan robot untuk merayapi halaman situs dan file media agar dapat mengindeksnya agar dapat ditampilkan di antara hasil pencarian. Jika Anda memiliki file robots.txt di situs Anda, Anda dapat mengatur arahan yang berbeda untuk mengizinkan atau menolak merayapi bagian tertentu dari situs Anda. Mencegah robot merayapi halaman dan file yang kurang penting dapat membantu mengurangi beban server. Tindakan ini juga akan mencegah robot mencapai kuota perayapan per situs sebelum mendapat kesempatan membuka halaman penting.
- Masuk ke WordPress.
- Instal dan aktifkan plugin Yoast SEO .
- Di menu sebelah kiri, pilih Yoast SEO , lalu pilih Tools .
- Pilih Editor file .
- Di bawah robots.txt , pilih Buat file robots.txt . Halaman baru dengan kode akan dimuat, ini adalah tampilan pengembang dari situs Anda yang dibuat oleh Yoast untuk pemecahan masalah tingkat lanjut. Anda dapat kembali ke dasbor WordPress dengan tombol kembali browser Anda. Catatan: Jika Anda telah memiliki file robots.txt di situs Anda, Anda dapat mengedit file tersebut .
Saat Anda kembali ke halaman Editor file di dasbor WordPress, Anda akan melihat file robots.txt yang baru dibuat. Di server, file berada di folder root situs WordPress Anda.
Langkah-langkah terkait
- Jika Anda ingin menyesuaikan file robots.txt di situs Anda, lihat dokumentasi Google untuk daftar crawler Google dan detail selengkapnya tentang sintaks file .
- Untuk menghapus file robots.txt dari situs Anda, hubungkan ke akun hosting Anda dengan FTP atau Manajer File , cari folder akar dengan instalasi WordPress Anda dan hapus file tersebut.
Info selengkapnya
- Untuk masalah yang terkait dengan plugin Yoast SEO, lihat dokumentasi resmi pengembang plugin dan forum dukungan .
- Panduan utama Anda tentang robots.txt
