一区视频在线_成人av在线网_国产精品一区二区久久_日本a视频_欧美第一区_成人精品一区二区三区中文字幕

虛擬主機(jī)被搜索引擎爬蟲訪問耗費(fèi)大量流量解決方法

日期:2016/8/3 / 人氣:

問題場(chǎng)景:客戶使用虛擬主機(jī),網(wǎng)站被搜索引擎爬蟲訪問耗費(fèi)大量流量和帶寬,如何處理

解決方法:可以通過在站點(diǎn)根目錄下創(chuàng)建Robots.txt,Robots.txt文件是網(wǎng)站的一個(gè)文件,搜索引擎蜘蛛抓取網(wǎng)站首先就是抓取這個(gè)文件,根據(jù)里面的內(nèi)容來決定對(duì)網(wǎng)站文件訪問的范圍。它能夠保護(hù)我們的一些文件不暴露在搜索引擎之下,從而有效的控制蜘蛛的爬取路徑。

1、首先,先了解一下目前搜索引擎和其對(duì)應(yīng)的User-Agent,如下:

搜索引擎         User-Agent
AltaVista        Scooter
baidu            Baiduspider
Infoseek         Infoseek
Hotbot           Slurp
AOL Search       Slurp
Excite           ArchitextSpider
Google           Googlebot
Goto             Slurp
Lycos            Lycos
MSN              Slurp
Netscape         Googlebot
NorthernLight    Gulliver
WebCrawler       ArchitextSpider
Iwon             Slurp
Fast             Fast
DirectHit        Grabber
Yahoo Web Pages  Googlebot
LooksmartWebPages Slurp
2、Robots.txt樣例代碼:

例1. 禁止所有搜索引擎訪問網(wǎng)站的任何部分
User-agent: *
Disallow: /
例2. 允許所有的搜索引擎訪問網(wǎng)站的任何部分
User-agent: *
Disallow:
例3. 僅禁止Baiduspider訪問您的網(wǎng)站
User-agent: Baiduspider
Disallow: /
例4. 僅允許Baiduspider訪問您的網(wǎng)站
User-agent: Baiduspider
Disallow:
例5. 禁止spider訪問特定目錄
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /data/
注意事項(xiàng):1)三個(gè)目錄要分別寫。
2)請(qǐng)注意最后要帶斜杠。
3)帶斜杠與不帶斜杠的區(qū)別。
例6. 允許訪問特定目錄中的部分url
實(shí)現(xiàn)a目錄下只有b.htm允許訪問
User-agent: *
Allow: /a/b.htm
Disallow: /a/

 

作者:朋友圈科技


Go To Top 回頂部
主站蜘蛛池模板: 99精品国产视频 | 999久久久久久 | 成人性生活视频 | 最近日本电影hd免费观看 | 国产精品刺激对白麻豆99 | 欧美a级大胆视频 | 久草手机在线 | 污视频在线免费 | 一级毛片大片 | www视频免费在线观看 | 亚洲欧美一区二区三区在线观看 | 一区二区三区在线观看免费 | 国产va在线观看免费 | 国产精品二区高清在线 | 久久久精品视频国产 | 亚洲精品无码不卡在线播放he | 成人在线免费小视频 | 欧美精品久久天天躁 | 一区二区三区小视频 | 国产一级毛片国语版 | 久夜草 | 黄色视屏免费看 | 99久久久国产精品免费99 | av电影免费观看 | 亚洲第九十九页 | 日日影视 | 黄色国产在线观看 | 一区二区三区在线观看免费视频 | av中文一区 | 日韩中文字幕一区二区三区 | 久久久久久99 | 国产日韩在线观看一区 | 亚洲午夜激情网 | 九九色网站| wwwxxx国产 | 草草视频免费 | 免费放黄网站在线播放 | 国产99久久久久久免费看 | 在线播放免费人成毛片乱码 | 成人免费乱码大片a毛片视频网站 | 成人免费一区二区三区视频网站 |