Semalt: Cara Menyekat Darodar Robots.txt

Fail robots.txt adalah fail teks khas yang mengandungi petunjuk bagaimana perayap web atau bot harus merayapi laman web. Aplikasi mereka jelas dalam bot mesin pencari yang biasa di banyak laman web yang dioptimumkan. Sebagai sebahagian daripada Protokol Pengecualian Robot (REP), fail robots.txt membentuk aspek penting dalam mengindeks kandungan laman web serta membolehkan pelayan mengesahkan permintaan pengguna dengan sewajarnya.

Julia Vashneva, Pengurus Kejayaan Pelanggan Senior Semalt , menjelaskan bahawa penghubung adalah aspek Pengoptimuman Enjin Carian (SEO), yang melibatkan mendapatkan lalu lintas dari domain lain dalam niche anda. Untuk pautan "ikuti" untuk memindahkan jus pautan, adalah penting untuk memasukkan fail robots.txt di ruang hosting laman web anda untuk bertindak sebagai pengajar bagaimana pelayan berinteraksi dengan laman web anda. Dari arkib ini, arahan hadir dengan membenarkan atau tidak membenarkan tingkah laku beberapa ejen pengguna tertentu.

Format Asas fail robots.txt

Fail robots.txt mengandungi dua baris penting:

Ejen pengguna: [nama ejen pengguna]

Tidak dibenarkan: [Rentetan URL tidak boleh dirayapi]

Fail robots.txt yang lengkap harus mengandungi dua baris ini. Walau bagaimanapun, sebilangan daripadanya boleh mengandungi pelbagai baris ejen pengguna dan arahan. Perintah ini mungkin mengandungi aspek seperti membenarkan, tidak membenarkan atau kelewatan merangkak. Biasanya terdapat pemecahan garis yang memisahkan setiap set arahan. Setiap arahan membenarkan atau tidak dibenarkan dipisahkan oleh pemecahan baris ini, terutamanya untuk robots.txt dengan pelbagai baris.

Contoh

Contohnya, fail robots.txt mungkin mengandungi kod seperti:

Ejen pengguna: darodar

Larang: / pemalam

Tidak dibenarkan: / API

Tidak dibenarkan: / _comments

Dalam kes ini, ini adalah fail blok robots.txt yang menyekat perayap web Darodar daripada mengakses laman web anda. Dalam sintaks di atas, kod menyekat aspek laman web seperti plugin, API, dan bahagian komen. Dari pengetahuan ini, adalah mungkin untuk memperoleh banyak faedah daripada melaksanakan fail teks robot dengan berkesan. Fail robots.txt dapat melakukan banyak fungsi. Sebagai contoh, mereka boleh bersedia untuk:

1. Benarkan semua kandungan perayap web ke halaman laman web. Contohnya;

Ejen pengguna: *

Tidak dibenarkan:

Dalam kes ini, semua kandungan pengguna dapat diakses oleh perayap web yang diminta untuk masuk ke laman web.

2. Sekat kandungan web tertentu dari folder tertentu. Sebagai contoh;

Ejen pengguna: Googlebot

Tidak dibenarkan: / contoh-subfolder /

Sintaks ini yang mengandungi nama ejen pengguna Googlebot milik Google. Ini menyekat bot dari mengakses laman web mana pun dalam rentetan www.ourexample.com/example-subfolder/.

3. Sekat crawler web tertentu dari halaman web tertentu. Sebagai contoh;

Ejen pengguna: Bingbot

Tidak dibenarkan: /example-subfolder/blocked-page.html

Bot Bing ejen pengguna tergolong dalam perangkak web Bing. Jenis fail robots.txt ini menyekat perayap web Bing daripada mengakses halaman tertentu dengan rentetan www.ourexample.com/example-subfolder/blocked-page.

Maklumat penting

• Tidak setiap pengguna menggunakan fail robts.txt anda. Sebilangan pengguna mungkin memutuskan untuk mengabaikannya. Sebilangan besar perayap web seperti Trojan dan perisian hasad.
• Agar fail Robots.txt dapat dilihat, ia harus tersedia di direktori laman web tingkat atas.
• Aksara "robots.txt" peka huruf besar kecil. Akibatnya, anda tidak boleh mengubahnya dengan menggunakan huruf besar dari beberapa aspek.
• "/Robots.txt" adalah domain awam. Sesiapa sahaja dapat menemui maklumat ini apabila menambahkannya ke kandungan URL apa pun. Anda tidak boleh mengindeks butiran penting atau halaman yang anda mahukan mereka kekal peribadi.