Panduan Lengkap: Cara Setting Robots.txt di WordPress

waktu baca 5 menit

Selasa, 17 Sep 2024 15:20 0 54 daza08313@gmail.com

Robots.txt adalah file teks khusus yang linkgame.ac.id ditempatkan di server web untuk memberi petunjuk kepada mesin pencari tentang bagian mana dari situs web yang boleh atau tidak boleh diindeks. Dengan mengatur file Robots.txt, kita dapat mengendalikan bagaimana mesin pencari seperti Google, Bing, dan lainnya mengakses dan mengindeks konten situs web kita.

Table of Contents

Apa itu Robots.txt?

File Robots.txt adalah file teks khusus yang ditempatkan di root directory sebuah situs web dan digunakan untuk memberikan instruksi kepada mesin pencari tentang bagian mana dari situs web yang boleh atau tidak boleh diindeks. Secara sederhana, Robots.txt membantu mengontrol perilaku robot atau spider mesin pencari saat mengakses dan mengindeks halaman situs web.

Letak File Robots.txt

File Robots.txt biasanya ditempatkan di root directory sebuah situs web. Root directory adalah folder utama di server hosting di mana file utama situs web disimpan. Ketika mesin pencari mengunjungi situs web, mereka secara otomatis mencari file Robots.txt di root directory untuk mengetahui aturan yang berlaku untuk pengindeksan situs tersebut.

Rule File Robots.txt di WordPress

File Robots.txt pada situs WordPress berfungsi untuk memberikan instruksi kepada mesin pencari tentang bagaimana cara mengindeks konten situs. Dalam WordPress, ada beberapa aturan umum yang biasanya dimasukkan ke dalam file Robots.txt untuk mengatur proses pengindeksan oleh mesin pencari:

Disallowing Indexing Certain Parts: Jika ada bagian-bagian tertentu dari situs yang tidak ingin kita diindeks oleh mesin pencari, kita dapat menambahkan aturan “Disallow” untuk mencegah pengindeksan. Misalnya, kita mungkin ingin mencegah pengindeksan folder admin atau folder yang berisi file sementara.
Allowing Indexing Certain Parts: Sebaliknya, jika ada bagian dari situs yang ingin kita biarkan diindeks oleh mesin pencari, kita dapat menambahkan aturan “Allow” untuk memastikan bahwa konten tersebut dapat diakses oleh mesin pencari.
Sitemap Location: Kita juga dapat menyediakan lokasi sitemap situs web dalam file Robots.txt dengan menggunakan aturan “Sitemap” untuk membantu mesin pencari menemukan dan mengindeks konten situs secara lebih efisien.
Crawling Rate: Kita dapat menggunakan aturan “Crawl-delay” untuk memberi tahu mesin pencari seberapa sering mereka boleh mengakses situs. Ini berguna untuk mengendalikan beban server saat mesin pencari melakukan crawling.
Bot-specific Directives: Aturan ini dapat digunakan untuk mengontrol perilaku crawler dari mesin pencari tertentu. Misalnya, kita dapat menetapkan aturan yang berlaku khusus untuk bot Google atau Bing.

Setiap situs WordPress mungkin memiliki kebutuhan unik tergantung pada struktur dan konten situs tersebut. Oleh karena itu, penting untuk memahami dan menyesuaikan aturan dalam file Robots.txt sesuai dengan kebutuhan spesifik situs web kita.

Mau jadi UI-UX Designer? Cek panduan lengkap UI-UX Design berikut.

Cara Setting Robots.txt di WordPress

Ada beberapa cara untuk mengatur file Robots.txt di WordPress, salah satunya adalah menggunakan plugin SEO populer seperti All in One SEO Pack atau Yoast SEO. Berikut adalah langkah-langkahnya:

Menggunakan Plugin All in One SEO Pack:

Instal All in One SEO Pack: Unduh dan instal plugin All in One SEO Pack dari repositori WordPress.
Feature Manager: Buka menu “Feature Manager” di dashboard WordPress dan aktifkan fitur “Robots.txt”.
Klik Robots.txt: Setelah fitur diaktifkan, buka menu “Robots.txt” di bawah tab “All in One SEO”.
Menambahkan Rule: Tambahkan aturan sesuai kebutuhan, seperti mengizinkan atau melarang akses ke bagian-bagian tertentu dari situs web.

Menggunakan Plugin Yoast SEO:

Instal Plugin: Unduh dan instal plugin Yoast SEO dari repositori WordPress.
Masuk ke Halaman Tools: Buka menu “Tools” di dashboard WordPress dan pilih “File Editor”.
Membuat File Robots.txt: Buat aturan di kotak teks yang disediakan untuk membuat file Robots.txt.

Mengunggah Manual File Robots.txt:

Membuat File Robots.txt: Gunakan editor teks untuk membuat file Robots.txt sesuai aturan yang diinginkan.
Mengunggah File Robots.txt ke Server Hosting: Unggah file Robots.txt yang sudah dibuat ke root directory situs web melalui panel kontrol hosting atau FTP.

Setelah mengatur file Robots.txt, penting untuk memverifikasinya menggunakan alat Google Search Console dan memastikan bahwa aturan yang kita tetapkan berfungsi dengan baik.

Submit ke Google Search Console

Terakhir, pastikan untuk menambahkan file Robots.txt kita ke Google Search Console untuk memastikan bahwa mesin pencari seperti Google memahami dan mengikuti aturan yang telah kita tetapkan.

Tertarik Jadi Software engineering? Baca panduan lengkap Software Engineering di sini.

Kesimpulan

Mengatur file Robots.txt adalah langkah penting dalam mengontrol bagaimana mesin pencari mengakses dan mengindeks situs web kita. Dengan mengikuti panduan langkah demi langkah di atas, kita dapat dengan mudah mengatur file Robots.txt di WordPress dan mengoptimalkan keterlihatan konten situs web kita dalam hasil pencarian.

Mari terus belajar dan kembangkan skill di MySkill

daza08313@gmail.com

Mediabacklink.net adalah perusahaan digital marketing yang telah berpengalaman sejak 2014, menawarkan layanan Web Design, Search Engine Optimization (SEO), Search Engine Marketing (SEM), Social Media Management, Social Media Marketing, dan TikTok Video Production. Kami berkomitmen untuk memberikan hasil nyata dengan meningkatkan efektivitas pemasaran bisnis online brand Anda, sesuai dengan kebutuhan dan budget Anda.

Pos lain oleh daza08313@gmail.com