ملفّا llms.txt وrobots.txt وما الذي يتحكّم فعلًا في زاحف الذكاء الاصطناعي

robots.txt

ملفّ في جذر النطاق يسرد وكلاء المستخدم والمسارات التي يجوز أو لا يجوز لهم جلبها. الالتزام به طوعيّ لكنه محترَم من كل زاحف كبير، وزواحف الذكاء الاصطناعي وكلاء مسمّون فيه كغيرهم.

llms.txt

عُرف مقترَح: ملف ماركداون في جذر النطاق يصف ما هو الموقع ويربط أنفع صفحاته، حتى لا تضطرّ الآلة القارئة لاستنتاج البنية من التنقّل. إنه مجاملة لا أداة تحكّم.

من هو أيّ وكيل

كتابة llms.txt يستحقّ القراءة

النسخة في هذا الموقع مولّدة من البيانات نفسها التي تُعرض منها الصفحات، فلا يمكن أن تتقادم. تقول من هو الشخص، وتسرد دراسات الحالة بنطاقاتها الحيّة، وتسرد صفحات القدرات، وتذكر بصراحة أيّ المشاريع بلا لقطة عامّة ولماذا. وهذا الأخير هو الشيء الوحيد غير المعتاد فيها، وهو ما كنت سأبقيه.

1. ولّده من بياناتك الحقيقية ولا تصنه يدويًا — فملفّ llms.txt متقادم أسوأ من لا شيء.
2. قل ما هو الموقع في الأسطر الثلاثة الأولى بلغة واضحة.
3. اربط الصفحات التي تجيب عن أسئلة، لا التي تريد لها زيارات.
4. اذكر ما هو غائب ولماذا. فالفجوة الأمينة إشارة أقوى من قائمة محشوّة.
5. قدّمه بترميز text/plain; charset=utf-8، ولا تضعه خلف حماية البوتات.

الرافعة التي تتحرّك فعلًا

لن يجعل أيٌّ من الملفّين مساعدًا يقتبسك. التحكّم في الوصول يقرّر أهليّتك، وبنية صفحاتك وأمانتها تقرّر اختيارك. أنفق ساعة على robots.txt وllms.txt، وتأكّد أن لا شيء محجوب عن غير قصد، ثم اذهب واكتب صفحات تجيب كلٌّ منها عن سؤال واحد.