Setting Robot TXT untuk Website Bisnis

Bukan rahasia umum jika pemilik website atau blog pasti selalu mengincar posisi teratas di halaman mesin pencari. Pada kesempatan kali ini, Redcomm knowledge akan membahas cara mengatur robot txt untuk website bisnis. Robot txt berguna untuk membuat halaman website terindeks oleh mesin pencari.

Di tengah persaingan bisnis yang super ketat, sudah saatnya Anda mempromosikan bisnis melalui website. Selain karena biayanya terjangkau, menggunakan website dinilai lebih efektif dalam mencapai target pasar.

Sekilas Tentang Robot TXT

Robot txt sebenarnya merupakan file teks yang sangat sederhana, tetapi fungsinya cukup penting untuk website. Jenis file teks ini memiliki fungsi untuk mengarahkan robot (bot) dari mesin pencari seperti Google ke halaman website yang boleh diindeks. Cara kerjanya, sebelum robot dari mesin pencari melakukan perayapan ke website, bot akan diperintahkan untuk membaca perintah di dalam file robot.txt.

File ini jelas sangat membantu dalam menaikkan page rank website di mesin pencari Google. Setiap konten artikel yang Anda posting di website bisnis akan lebih mudah diindeks oleh Google. Jadi, jika Anda ingin sukses membangun brand identity melalui penggunaan website bisnis, Anda wajib tahu cara mengatur robot.txt. Sebaliknya, website tidak akan mendapat peringkat bagus di halaman Google jika ada kesalahan pengaturan dalam robot txt.

Cara Setting Robot TXT pada Website Bisnis

CMS Wordpress merupakan platform yang paling banyak digunakan untuk website bisnis. Nah, bagi Anda yang menggunakan CMS Wordpress, mari simak cara setting robot txt berikut. Ada 3 cara setting robot txt yang bisa Anda gunakan, antara lain: 

1. Menggunakan Plugin All In One SEO Pack

Lakukan beberapa langkah untuk mengaktifkan file robot txt dengan menggunakan plugin All In One SEO Pack. Pertama, instal terlebih dahulu plugin ini, dan langsung aktifkan plugin setelah terunduh.

Langkah kedua, aktifkan fitur robot.txt yang terdapat dalam menu All in One SEO. Setelah robot.txt sudah aktif, lanjutkan ke menu robot.txt yang ada di panel sebelah kanan. Langsung klik menu tersebut. Kemudian, Anda akan dibawa masuk ke menu robot.txt. Masih di dalam menu, Anda diberi opsi untuk menambahkan user-agent, directory-path, dan rule. Nantinya, ketiga opsi tersebut akan dimasukkan ke file robot.txt.

2. Menggunakan Plugin Yoast SEO

Yoast SEO merupakan plugin yang fungsinya hampir sama dengan All in One SEO Pack. Oleh karena itu, Anda juga bisa menggunakannya untuk mengaktifkan atau mengatur robot.txt. Berikut adalah cara dan langkahnya.

• Instal plugin Yoast SEO jika belum ada. 
• Buka menu SEO, pilih Tools, nanti akan ada beberapa opsi menu yang ditampilkan. 
• Klik saja opsi File Editor. Di halaman selanjutnya pilih menu Create a New Robots.txt.
• Tambahkan rule sesuai dengan keinginan dan kebutuhan website bisnis Anda.

3. Mengupload File secara Manual

Cara ketiga yang bisa Anda pakai adalah dengan mengunggah file secara manual melalui FTP. Pertama, buat file robot.txt lebih dahulu, bisa menggunakan aplikasi note. Caranya, masukkan rule, kemudian klik save.

Selanjutnya, unggah file ke server hosting menggunakan FTP. Sebenarnya FTP merupakan salah satu dari sekian cara untuk mengunggah file robot.txt. Cara lainnya yang bisa Anda lakukan juga, misalnya menggunakan layanan akses cPanel.

Langkah terakhir yang sebaiknya tidak dilewatkan adalah mengecek file robot.txt yang sudah dibuat dan diunggah tadi. Cara pengecekannya menggunakan Google search console. Tujuannya untuk mengetahui apakah ada yang keliru atau tidak pada file robot.txt. Untuk melakukan pemeriksaan ini, Anda dapat login ke Google search console, lalu buka tab robot.txt tester.

Pada kolom, isikan dengan data file robot.txt, lalu pilih submit. Console akan memeriksa apakah ada error atau tidak. Jika ada error pada file robot.txt, terdapat notifikasi yang bisa Anda lihat di halaman tersebut.

Kegunaan robot txt untuk website bisnis ataupun website lainnya sangat penting. Tanpa pengaturan yang tepat, sebuah website tidak bisa di indeks dengan benar oleh mesin pencari Google. Akibatnya, kualitas website akan menurun apabila dilihat dari pandangan Google. Selain itu, website bisnis milik Anda yang tidak terindeks, tidak mungkin ada di peringkat teratas. Itulah pentingnya mengetahui cara setting robot txt yang tepat di Wordpress.

Kalau melakukan setting robot txt cukup menyulitkan untuk Anda lakukan sendiri, Anda bisa menggunakan jasa SEO profesional dari salah satu digital marketing agency Indonesia atau Jakarta, yang biasanya memiliki tim SEO sendiri. Namun, tetap harus berhati-hati ya dalam memilih jasa SEO murah dan bergaransi, karena setiap teknik SEO itu unik dan sulit memberikan jaminan kepastian akan hasilnya. Apalagi algoritma Google yang terus berubah.

Daripada salah pilih, Anda bisa langsung saja menghubungi Redcomm Indonesia. Redcomm Indonesia adalah salah satu digital agency Indonesia yang berhasil meraih penghargaan Gold untuk kategori Indonesia Digital Agency Of The Year 2020. Ini merupakan penghargaan Gold ke-3 yang diterima Redcomm dalam tiga tahun berturut-turut setelah di tahun 2018 dan 2019 meraih Gold untuk kategori Indonesia Independent Agency of the Year. Tidak hanya membawa satu penghargaan, Redcomm Indonesia juga meraih Silver untuk kategori Independent Agency of the Year. Ini membuktikan Redcomm sebagai digital agency terbaik di Indonesia.

Penghargaan tersebut diraih di penghujung tahun 2020. Saat itu, Campaign Asia mengumumkan para pemenang Agency of The Year 2020 untuk Asia Pacific. Ajang tahunan ini merupakan ajang penghargaan internasional bergengsi untuk para pelaku industri periklanan, media, dan komunikasi  yang diadakan sejak 1990 untuk kawasan APAC, EMEA dan UK. Para juri  ajang ini berasal dari berbagai praktisi senior di industri marketing, periklanan dan media di Asia Pacific, dan penilaian para juri ditabulasi oleh PwC Singapura.