ไฟล์ Robots.txt จะช่วยบอกว่าหน้าไหน bot เข้าไปเก็บข้อมูลได้ หน้าไหนไม่ให้เข้าไปเก็บข้อมูล และ xml sitemap อยู่ที่ไหน และหน้าเพจใดที่ไม่ต้องการแสดงแบบสาธารณะ อย่างเช่น หน้าขอบคุณหลังจากที่ลูกค้าทำการชำระเงินแล้ว ซึ่งหน้าเพจนี้ไม่ต้องการให้แสดงผลในการค้นหา หรือในการจัดทำดัชนี ซึ่งถ้าใครอยากได้รายละเอียดเพิ่มเติมให้ไปดูที่หัวข้อ ไฟล์ robots.txt คืออะไร
สำหรับคนที่พัฒนาเว็บด้วย WordPress ทาง WordPress เองก็มี Plugin ที่สามารถช่วยเราสร้างไฟล์ robots.txt ได้ง่ายๆ แบบอัตโนมัติ นั่นก็คือปลั๊กอิน Plugin All In One SEO
ขั้นตอนในการทำมี ดังนี้
- สำหรับใครที่ยังไม่ได้ติดตั้งปลั๊กอิน Plugin All In One SEO ให้ทำการติดตั้งก่อน โดยทำการ Login เข้าสู่หลังบ้านของ WordPress
- ในหน้า Dashboard ให้คลิกที่ Plugin => Add New
3. ที่ Key Word ให้พิมพ์ Plugin All In One SEO เมื่อค้นหาค้นพบแล้ว ให้คลิกที่ Install Now
- เมื่อติดตั้งเสร็จแล้วให้คลิกที่ปุ่ม Activate เพื่อให้ปลั๊กอินทำงาน
- เมื่อติดตั้งเรียบร้อยแล้ว กลับไปที่หน้า Dashboard ที่เมนูด้านซ้ายคลิกที่ All in One SEO จากนั้นคลิกที่ Tools
ใส่ paht ที่ต้องการโดยให้ใส่รายละเอียด ดังนี้
- User Agent: ให้ใส่ *
- Rule: เลือกได้ระหว่าง Allow หรือ Disallow
- Directory Path: ใส่ paht ที่ต้องการ
ในกรณีที่อยากเพิ่มเงื่อนไข ให้คลิกที่ปุ่ม Add Rule
เมื่อเรียบร้อยแล้วให้คลิกที่ปุ่ม Save Change เพื่อบันทึกการตั้งค่า
- หากต้องการดูไฟล์ robot.txt ที่สร้างไว้ให้คลิกที่ปุ่ม Open Robot.txt
- ระบบจะเปิด Tab ใหม่ แสดงค่าที่ตั้งไว้ ดังภาพ
