ไฟล์ Robots.txt จะช่วยบอกว่าหน้าไหน bot เข้าไปเก็บข้อมูลได้ หน้าไหนไม่ให้เข้าไปเก็บข้อมูล
xml sitemap อยู่ที่ไหน และหน้าเพจใดที่ไม่ต้องการแสดงแบบสาธารณะ (เช่น หน้าขอบคุณหลังจากที่ลูกค้าทำการชำระเงินแล้ว ซึ่งหน้าเพจนี้ไม่ต้องการให้แสดงผลในการค้นหา หรือในการจัดทำดัชนี)
สำหรับผู้ที่พัฒนาเว็บไซต์ด้วย WordPress สามารถสร้างไฟล์ robots.txt ได้ผ่านปลั๊กอิน Yoast SEO ตามขั้นตอนต่อไปนี้
เริ่มจากลงชื่อเข้าสู่ระบบ WordPress
คลิกที่ Yoast SEO (กรณีที่ยังไม่ได้ติดตั้งปลั๊กอิน Yoast SEO ให้ติดตั้งและเปิดใช้งานปลั๊กอิน Yoast SEO ให้เรียบร้อยก่อน)
คลิกที่ Tools
คลิกที่ File editor
หมายเหตุ : กรณีที่ไม่พบหัวข้อ File editor แปลว่าโฮสติ้งที่ใช้งานได้มีการบล็อกเอาไว้เพื่อความปลอดภัยอยู่ หากต้องการสร้างหรือแก้ไขไฟล์ robots.txt สามารถดำเนินการได้ผ่าน File Manager ที่ใช้งาน หรือติดต่อกับผู้ให้บริการโฮสติ้งเพื่อให้สร้างหรือแก้ไขไฟล์ robots.txt แทน
คลิกที่ Create robots.txt file
ระบบจำดำเนินการสร้างไฟล์ robots.txt ขึ้นมาดังภาพตัวอย่าง (สามารถแก้ไขข้อมูลในไฟล์ robots.txt ตามที่ต้องการได้)
