robots.txt ปิดหน้าไม่ให้ขึ้นใน Google ได้จริงไหม

ไม่ทั้งหมด robots.txt บอกให้บอทไม่เข้าไปอ่านหน้านั้น แต่ถ้ามีเว็บอื่นลิงก์มา Google อาจยังแสดงลิงก์ในผลค้นหาได้โดยไม่มีคำอธิบาย ถ้าต้องการไม่ให้ขึ้นแน่นอน ให้ใช้แท็ก noindex ในหน้านั้นแทน

ต้องวางไฟล์ไว้ที่ไหน

ต้องอยู่ที่โฟลเดอร์บนสุดของโดเมนเท่านั้น คือเข้าถึงได้ที่ example.com/robots.txt ถ้าวางในโฟลเดอร์ย่อยบอทจะไม่อ่านเลย

ควรบล็อกบอท AI อย่าง GPTBot ไหม

เป็นการตัดสินใจทางธุรกิจ ถ้าไม่อยากให้เนื้อหาถูกนำไปเทรนโมเดล ก็บล็อกได้ แต่ถ้าอยากให้เว็บของคุณถูกอ้างอิงในคำตอบของ AI การเปิดไว้จะช่วยเพิ่มการมองเห็น เครื่องมือนี้มีบอท AI หลักให้เลือกครบ

ทำไมใส่ Disallow: * แล้วไม่มีผล

เพราะมาตรฐาน robots.txt ไม่รองรับ * เดี่ยว ๆ ต้องเขียนเป็น /* จึงจะหมายถึงทุกเส้นทาง เครื่องมือนี้แก้ให้อัตโนมัติเมื่อเจอ

Crawl-delay ใช้ได้กับทุกเสิร์ชเอนจินไหม

ไม่ Google ไม่สนใจคำสั่งนี้เลย ให้ตั้งความเร็วการเก็บข้อมูลใน Search Console แทน ส่วน Bing และ Yandex ยังรองรับอยู่

สร้างไฟล์ robots.txt

กำหนดว่าบอทค้นหาและบอท AI เข้าหน้าไหนของเว็บคุณได้บ้าง

ที่อยู่เว็บไซต์

ใช้สร้างบรรทัด Sitemap ให้อัตโนมัติ

บอท

ห้ามเข้า (Disallow)

ใส่บรรทัดละหนึ่งเส้นทาง

อนุญาต (Allow)

ใส่บรรทัดละหนึ่งเส้นทาง

เพิ่มด่วน:

หน่วงเวลา (วินาที)

เว้นว่างหรือใส่ 0 เพื่อไม่กำหนด

ยังไม่ได้ระบุ sitemap ใส่ที่อยู่เว็บไซต์ด้านบนเพื่อให้ระบบเพิ่มบรรทัด Sitemap ให้

robots.txt

User-agent: *
Disallow: /admin/
Disallow: /api/

บันทึกเป็นไฟล์ชื่อ robots.txt แล้ววางไว้ที่โฟลเดอร์บนสุดของเว็บ ให้เข้าถึงได้ที่ example.com/robots.txt เท่านั้น วางในโฟลเดอร์ย่อยบอทจะไม่อ่าน

เกี่ยวกับเครื่องมือนี้

เครื่องมือ สร้างไฟล์ robots.txt ช่วยเขียนไฟล์ที่บอกบอทค้นหาว่าเข้าหน้าไหนของเว็บคุณได้บ้าง โดยไม่ต้องจำไวยากรณ์เอง

ไฟล์นี้ดูเหมือนง่ายเพราะเป็นแค่ข้อความไม่กี่บรรทัด แต่นั่นแหละคือเหตุผลที่มัน พังบ่อย สองความผิดพลาดที่เจอมากที่สุดคือ เขียน Disallow: * ซึ่งมาตรฐานไม่รองรับและไม่มีผลอะไรเลย กับ Disallow: / ที่หลุดค้างไว้จากตอนพัฒนา ซึ่ง ลบทั้งเว็บออกจากผลค้นหา เครื่องมือนี้แก้อย่างแรกให้อัตโนมัติ และเตือนอย่างที่สองด้วยกรอบสีแดง

อีกเรื่องที่เพิ่งกลายเป็นคำถามใหม่คือ บอท AI อย่าง GPTBot, ClaudeBot และ PerplexityBot การเลือกว่าจะเปิดหรือปิดเป็นการตัดสินใจทางธุรกิจ ไม่ใช่เรื่องเทคนิค — ปิดถ้าไม่อยากให้เนื้อหาถูกใช้เทรนโมเดล เปิดถ้าอยากให้เว็บถูกอ้างอิงในคำตอบของ AI เครื่องมือนี้มีบอทหลักให้เลือกครบ

สิ่งที่ควรเข้าใจให้ตรงกันคือ robots.txt ไม่ใช่เครื่องมือความปลอดภัย และไม่ได้รับประกันว่าหน้าจะไม่ขึ้นในผลค้นหา ถ้ามีเว็บอื่นลิงก์มา Google อาจยังแสดงลิงก์นั้นได้ ถ้าต้องการซ่อนจริง ๆ ต้องใช้แท็ก noindex ในหน้านั้น

วิธีใช้งาน

1ใส่ที่อยู่เว็บไซต์ของคุณ เพื่อให้ระบบเพิ่มบรรทัด Sitemap ให้อัตโนมัติ
2เลือกบอทที่ต้องการกำหนดกฎ แล้วใส่เส้นทางที่ห้ามเข้าบรรทัดละหนึ่งเส้นทาง
3กดปุ่มเพิ่มด่วนสำหรับเส้นทางที่เว็บส่วนใหญ่ควรปิด เช่น /admin/
4คัดลอกหรือดาวน์โหลดไฟล์ แล้ววางไว้ที่โฟลเดอร์บนสุดของเว็บ

คำถามที่พบบ่อย

robots.txt ปิดหน้าไม่ให้ขึ้นใน Google ได้จริงไหม: ไม่ทั้งหมด robots.txt บอกให้บอทไม่เข้าไปอ่านหน้านั้น แต่ถ้ามีเว็บอื่นลิงก์มา Google อาจยังแสดงลิงก์ในผลค้นหาได้โดยไม่มีคำอธิบาย ถ้าต้องการไม่ให้ขึ้นแน่นอน ให้ใช้แท็ก noindex ในหน้านั้นแทน
ต้องวางไฟล์ไว้ที่ไหน: ต้องอยู่ที่โฟลเดอร์บนสุดของโดเมนเท่านั้น คือเข้าถึงได้ที่ example.com/robots.txt ถ้าวางในโฟลเดอร์ย่อยบอทจะไม่อ่านเลย
ควรบล็อกบอท AI อย่าง GPTBot ไหม: เป็นการตัดสินใจทางธุรกิจ ถ้าไม่อยากให้เนื้อหาถูกนำไปเทรนโมเดล ก็บล็อกได้ แต่ถ้าอยากให้เว็บของคุณถูกอ้างอิงในคำตอบของ AI การเปิดไว้จะช่วยเพิ่มการมองเห็น เครื่องมือนี้มีบอท AI หลักให้เลือกครบ
ทำไมใส่ Disallow: * แล้วไม่มีผล: เพราะมาตรฐาน robots.txt ไม่รองรับ * เดี่ยว ๆ ต้องเขียนเป็น /* จึงจะหมายถึงทุกเส้นทาง เครื่องมือนี้แก้ให้อัตโนมัติเมื่อเจอ
Crawl-delay ใช้ได้กับทุกเสิร์ชเอนจินไหม: ไม่ Google ไม่สนใจคำสั่งนี้เลย ให้ตั้งความเร็วการเก็บข้อมูลใน Search Console แทน ส่วน Bing และ Yandex ยังรองรับอยู่

เครื่องมือที่เกี่ยวข้อง

สร้างไฟล์ sitemap.xml

สร้าง sitemap.xml จากรายการลิงก์ของเว็บคุณ

สร้างไฟล์ llms.txt

สร้างไฟล์ llms.txt ให้ AI เข้าใจเว็บของคุณ

จัดรูปแบบ XML

จัดย่อหน้า XML และตรวจว่าโครงสร้างถูกต้องไหม

เข้ารหัส / ถอดรหัส URL

เข้ารหัส/ถอดรหัส URL รองรับภาษาไทย