Apakah Anda merasa kebingungan karena tidak menemukan file robots.txt di direktori WordPress situs Anda? Artikel ini akan menjadi panduan Anda untuk mengatasi masalah ini, memberikan langkah-langkah mudah dan efektif untuk membuat dan mengonfigurasi file robots.txt yang sesuai dengan kebutuhan situs WordPress Anda.

 

Tentang File robots.txt

Menemukan File robots.txt

File robots.txt adalah file teks yang berada di direktori root situs web Anda. Misalnya, jika situs Anda adalah www.contohsitus.com, file robots.txt akan berada di www.contohsitus.com/robots.txt. File ini memberi instruksi kepada robot mesin pencari tentang bagian mana dari situs yang boleh atau tidak boleh mereka akses dan merayapi.

Anda dapat mengedit file ini untuk mengontrol akses robot ke bagian tertentu dari situs Anda, seperti menghindari merayapi URL tertentu atau direktori tertentu. Biasanya, file ini diakses dan diubah melalui FTP atau manajer file di hosting situs web Anda.

Alasan File robots.txt Tidak Ada

Jika Anda tidak menemukan file robots.txt di situs Anda, itu bisa berarti beberapa hal:

1. Belum Dibuat: Mungkin situs Anda belum memiliki file robots.txt. Ini normal untuk situs yang baru dibuat atau jika Anda belum pernah membutuhkan pengaturan khusus untuk robot mesin pencari.
2. Tidak Terlihat: Terkadang, file robots.txt mungkin tidak terlihat melalui pengelola file standar di hosting Anda, tergantung pada pengaturan keamanan atau konfigurasi server.
3. Lokasi Berbeda: Sangat jarang, tetapi ada kemungkinan file robots.txt berada di lokasi yang tidak standar karena pengaturan khusus pada server atau CMS Anda.

 

Solusi

Menggunakan Plugin Rank Math

Jika Anda memakai plugin RankMath SEO, Anda bisa menambahkan konfigurasi pada file robot.txt dari plugin ini. Caranya: Masuk ke General Setting, lalu pilih tab “Edit robot.txt”. Tampilan nya seperti dibawah ini.

Perhatian: If an actual robots.txt file is present in the root folder of your site, this option won’t take effect and you have to edit the file directly, or delete it and then edit from here (Jika file robots.txt sebenarnya ada di folder akar situs Anda, opsi ini tidak akan berlaku dan Anda harus mengedit file secara langsung, atau menghapusnya lalu mengeditnya dari sini).

Membuat file robots.txtBaru di File Manager

Untuk membuat file robots.txt baru di File Manager, ikuti langkah-langkah singkat ini:

1. Login ke Control Panel: Masuk ke control panel hosting situs web Anda.
2. Buka File Manager: Cari dan buka File Manager.
3. Pergi ke Root Directory: Navigasi ke direktori root situs Anda, biasanya adalah public_html atau nama domain Anda.
4. Buat File Baru: Cari opsi untuk membuat file baru dan beri nama file tersebut robots.txt.
5. Edit File: Buka file robots.txt yang baru dibuat dan tambahkan aturan yang Anda inginkan, seperti User-agent: * dan Disallow: /path/.
6. Simpan Perubahan: Setelah selesai mengedit, simpan perubahan Anda.
7. Periksa URL: Verifikasi dengan mengakses www.yoursite.com/robots.txt di browser untuk memastikan file tersebut sudah terbuat dan dapat diakses.

Ingat, pengaturan robots.txt harus dilakukan dengan hati-hati karena kesalahan dapat menghambat pengindeksan situs oleh mesin pencari.

 

Penutup

Kini, dengan panduan ini, Anda dapat dengan yakin menavigasi proses pembuatan dan konfigurasi file robots.txt di WordPress. Langkah-langkah ini tidak hanya akan meningkatkan kinerja SEO situs Anda tetapi juga memberikan kontrol lebih besar atas bagaimana mesin pencari berinteraksi dengan situs Anda. Ingatlah, file robots.txt yang efektif adalah kunci untuk mengoptimalkan kehadiran online Anda.