Robots 是站点与 Spider 沟通的重要渠道，站点通过 Robots 文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
9月11日，百度搜索 Robots 全新升级。升级后 Robots 将优化对网站视频 URL 收录抓取情况。仅当您的网站包含不希望被视频搜索引擎收录的内容时，才需要使用 robots.txt 文件。如果您希望搜索引擎收录网站上所有内容，请勿建立 robots.txt 文件。如您的网站未设置 Robots 协议，百度搜索对网站视频 URL 的收录将包含视频播放页 URL ，及页面中的视频文件、视频周边文本等信息，搜索对已收录的短视频资源将对用户呈现为视频极速体验页。此外，综艺影视类长视频，搜索引擎仅收录页面 URL 。
什么是视频极速体验页
搜索视频极速体验服务旨在提升用户观看视频体验的一项富媒体体验升级服务，本服务针对短视频需求场景进行体验优化，将为搜索用户提供稳定、流畅、清晰的播放及浏览体验。视频极速体验服务包含视频极速页和合作平台两部分服务，网站可前往平台完善服务设置，获取各项搜索权益。详情参考《视频极速体验服务说明》：https://ziyuan.baidu.com/college/articleinfo?id=2522
设置搜索 Robots 协议的后果
针对短视频类内容，视频搜索将不再索引、展现网站的视频资源，历史已索引部分会从搜索中屏蔽。若设置部分目录不希望被收录 ，该目录下内容将从搜索中屏蔽，其余内容在搜索中则以正常结果展示。
