Appleが買収の噂のPerplexityへの提訴がぞろぞろと robots.txtを無視してスクレイピングしていると記事にありましたが、それはもともと検索エンジン用のクローラー向け。それもあってか、今年重い腰が上がり、AIプリファレンス（AIPREF）ワーキンググループが設立されて、robots.txtの見直しが始まったようです。定義されるまでにはまだまだ時間がかかりそうですね。 一方、巷ではAI版robots.txtのllms.txtが使われていますが、RFCに定義されているわけではありませんのでおまじないレベル。 AIの進化は早く、やったもん勝ち感は否めないですね