Robot.txt
Robots.txt adalah file yang digunakan untuk memberitahu mesin pencari seperti Google atau Bing tentang halaman web mana yang tidak boleh diindeks atau diikuti. File ini ditempatkan di root domain seperti "http://www.example.com/robots.txt" dan dapat dibaca oleh mesin pencari untuk memahami bagaimana mengindeks konten situs web.
File robots.txt mengandung perintah "User-agent" yang menentukan mesin pencari mana yang dapat mengakses halaman web, dan "Disallow" yang menentukan halaman atau folder yang tidak boleh diindeks. Beberapa situs web mungkin menentukan bahwa semua halaman web dapat diindeks, sementara situs web lain mungkin memblokir halaman tertentu atau folder dari pengindeksan.
Meskipun robots.txt dapat digunakan untuk mencegah mesin pencari dari mengindeks halaman tertentu, ini bukanlah metode keamanan yang efektif. Mesin pencari mungkin masih bisa menemukan dan mengindeks konten yang diblokir melalui tautan dari situs web lain, dan juga hacker dapat mengabaikan file robots.txt jika mereka ingin mengambil konten yang diblokir.
Perintah File Robot.txt
Selain menggunakan perintah "User-agent" dan "Disallow", ada beberapa perintah lain yang dapat digunakan dalam file robots.txt. Beberapa di antaranya meliputi:
- "Allow": Perintah ini memberikan izin kepada mesin pencari untuk mengindeks halaman tertentu yang sebelumnya dilarang oleh perintah "Disallow".
- "Sitemap": Perintah ini memberikan tautan ke sitemap situs web yang dapat membantu mesin pencari untuk menemukan dan mengindeks konten baru.
- "Crawl-delay": Perintah ini membatasi kecepatan mesin pencari dalam mengindeks konten situs web. Ini dapat digunakan untuk mencegah situs web dari mendapatkan terlalu banyak trafik dari mesin pencari.












