一区视频在线_成人av在线网_国产精品一区二区久久_日本a视频_欧美第一区_成人精品一区二区三区中文字幕

虛擬主機被搜索引擎爬蟲訪問耗費大量流量解決方法

日期:2016/8/3 / 人氣:

問題場景:客戶使用虛擬主機,網(wǎng)站被搜索引擎爬蟲訪問耗費大量流量和帶寬,如何處理

解決方法:可以通過在站點根目錄下創(chuàng)建Robots.txt,Robots.txt文件是網(wǎng)站的一個文件,搜索引擎蜘蛛抓取網(wǎng)站首先就是抓取這個文件,根據(jù)里面的內(nèi)容來決定對網(wǎng)站文件訪問的范圍。它能夠保護我們的一些文件不暴露在搜索引擎之下,從而有效的控制蜘蛛的爬取路徑。

1、首先,先了解一下目前搜索引擎和其對應(yīng)的User-Agent,如下:

搜索引擎         User-Agent
AltaVista        Scooter
baidu            Baiduspider
Infoseek         Infoseek
Hotbot           Slurp
AOL Search       Slurp
Excite           ArchitextSpider
Google           Googlebot
Goto             Slurp
Lycos            Lycos
MSN              Slurp
Netscape         Googlebot
NorthernLight    Gulliver
WebCrawler       ArchitextSpider
Iwon             Slurp
Fast             Fast
DirectHit        Grabber
Yahoo Web Pages  Googlebot
LooksmartWebPages Slurp
2、Robots.txt樣例代碼:

例1. 禁止所有搜索引擎訪問網(wǎng)站的任何部分
User-agent: *
Disallow: /
例2. 允許所有的搜索引擎訪問網(wǎng)站的任何部分
User-agent: *
Disallow:
例3. 僅禁止Baiduspider訪問您的網(wǎng)站
User-agent: Baiduspider
Disallow: /
例4. 僅允許Baiduspider訪問您的網(wǎng)站
User-agent: Baiduspider
Disallow:
例5. 禁止spider訪問特定目錄
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /data/
注意事項:1)三個目錄要分別寫。
2)請注意最后要帶斜杠。
3)帶斜杠與不帶斜杠的區(qū)別。
例6. 允許訪問特定目錄中的部分url
實現(xiàn)a目錄下只有b.htm允許訪問
User-agent: *
Allow: /a/b.htm
Disallow: /a/

 

作者:朋友圈科技


Go To Top 回頂部
主站蜘蛛池模板: 国产99免费 | 久久华人| 久久91亚洲人成电影网站 | 2021免费日韩视频网 | 精品久久久久久久久久久下田 | 久久sp| 91久久99热青草国产 | 欧美激情 在线播放 | 国产一区二区在线免费播放 | 美女av在线免费观看 | 黑人三级毛片 | 日韩在线毛片 | 羞羞视频免费观看入口 | 国产午夜精品一区二区三区四区 | 操嫩草| 欧洲成人一区二区 | 性色av一区二区三区在线播放亚… | jizzjizzjizz少妇| 欧美女同hd | 成人激情在线观看 | 国产精品成人av片免费看最爱 | 欧美三级日本三级少妇99 | 国产成人在线播放视频 | 欧美成人精品一区二区男人小说 | 中国老女人一级毛片视频 | 日本aaa一级片 | 久久精品中文字幕一区二区三区 | 亚洲精中文字幕二区三区 | 午夜精品久久久久久毛片 | china对白普通话xxxx | 九九热精品免费视频 | 亚洲影院在线 | 国产一区亚洲 | 成人在线视频播放 | 欧美日韩精品一区二区三区不卡 | 日韩一级精品 | 久久精品视频69 | japanese xxxxhd| 欧美一级淫片a免费播放口 九九视频精品在线 | 久久久久久久一区二区三区 | 亚洲精品久久久久久下一站 |