通過robots.txt文件屏蔽蜘蛛抓取不存在的后綴

通過網(wǎng)站日志分析,會發(fā)現(xiàn)搜索引擎蜘蛛抓取了一些網(wǎng)站上不存在的文件后綴,如:.php、.asp、.aspx等。

搜外網(wǎng)站后臺日志分析結(jié)果如下圖:

image.

搜外主站實際上不存在php后綴的URL地址。

可通過robots.txt文件禁止蜘蛛抓取不存在的后綴,減少出現(xiàn)404返回值。


在robots.txt文件填寫屏蔽規(guī)則如下:

Disallow: /*.asp$
Disallow: /*.php$
Disallow: /*.aspx$

注意前面一個*,后面一個$,代表后綴。

參考搜外的robots.txt文件寫法,點擊這里

擴展閱讀:

robots.txt概念和10條注意事項


本文由夫唯團隊編輯,如發(fā)現(xiàn)錯誤,歡迎通過客服微信反饋。

夫唯于2024年12月停止百度SEO研究和培訓(xùn)。道別信: 夫唯:再見了百度SEO!

2025年1月正式啟動Google SEO培訓(xùn)課程,一千零一夜帶領(lǐng)大家一起出海。

感興趣的同學(xué),請?zhí)砑诱猩头∧⑿牛簊eowhy2021。 微信掃碼添加客服人員

我們的目標(biāo):讓大家獨立站出海不再“望洋興嘆”。

Processed in 0.166429 Second , 57 querys.