近期筆者對年夜約50多位剛年夜事或已經(jīng)年夜事1-2年的seoer做了個小發(fā)芽拜訪，其中搜羅良多面試者，真正在工作中能剖析到日志的seoer比例很是很是的少，在問到訪謁日志在seo所起到的浸染，良多seoer都直搖頭，或者僅僅知道一些皮短處未親手操作過，其首要原因仍是在公司平臺中并文暌剮機(jī)緣去實(shí)踐，下面筆者分享下自己對網(wǎng)站原始訪謁日志的熟悉：
什么是訪謁日志
網(wǎng)站訪謁日志是記實(shí)web處事寡領(lǐng)受措置請求以及運(yùn)行時錯誤等各類原始信息的以.log結(jié)尾的文件，切當(dāng)?shù)闹v，應(yīng)該是處事器日志。它的浸染是讓我們seoer可以清囂張的得知用戶在什么IP、什么時刻、用什么操作系統(tǒng)、什么瀏覽器、什么分辯率顯示器的情形下訪謁了你網(wǎng)站的哪個頁面，是否訪謁成功。
什么時辰我們需要去剖析日志及日志特征
我們會天天都去剖析日志嗎?不會的，因?yàn)槿罩酒饰龆穭潘腊澹话愣际敲吭禄蛘甙朐缕饰鲆淮巍＿@種剖析屬于日常剖析，如不美觀您的網(wǎng)站一向都斗勁正常那可以每月剖析一次，或者可以簡單的剖析一次。
其實(shí)日志更多是在網(wǎng)站呈現(xiàn)異常的時辰，會不雅察看半個月日志，集平剖析蜘蛛的動向。好比會剖析是不是網(wǎng)站404，robots設(shè)置異常或者掛馬等問題造成蜘蛛消逝蹤，逐兒去查找解決問題。
下面是年夜筆者日常剖析的日志中取的一條訪謁記實(shí)：
119.254.22.200 - - [10/Apr/2012:00:04:54 +0800] "GET /bbjk/index.html HTTP/1.0" 200 25269 "-" "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"
119.254.22.200 為用戶訪謁ip
10/Apr/2012:00:04:54 +0800 為訪謁日期 -時區(qū)
GET /bbjk/index.html HTTP/1.0 按照HTTP/1.1 和談 抓取(域名下)/bbjk/index.html 這個頁面(GET暗示處事器動作)
200 處事器響應(yīng)狀況碼
25269 為頁面字節(jié)數(shù)。
Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07) 為搜狗蜘蛛特征。
注重：任何蜘蛛都僅僅為網(wǎng)站的通俗用戶。不要覺得蜘蛛很是的強(qiáng)年夜，良多人還認(rèn)為網(wǎng)站若禁止登錄查看內(nèi)容，蜘蛛都能爬取上岸后的頁面內(nèi)容，這是不成能的。除非網(wǎng)站做了蜘蛛專屬手段。
怎么去剖析網(wǎng)站訪謁日志
曾記得在幾年前，筆者剛接觸seo的時辰，工具稀少的年月，標(biāo)識表記標(biāo)幟一向都喜歡手工
去剖析訪謁日志，當(dāng)然手工剖析很費(fèi)時吃力，再這里只講解下筆者最喜歡手工剖析日志中的幾點(diǎn)。
筆者此刻手工剖析一般都集中在研究每日蜘蛛在網(wǎng)站上爬行紀(jì)律與網(wǎng)站更新數(shù)據(jù)之間的關(guān)系。當(dāng)然每個網(wǎng)站需按照自己來不雅察看，最后會有一個很是完美的紀(jì)律。
筆者會把每日的蜘蛛訪謁時刻按時刻段排序統(tǒng)計成報表，
好比：2012-4-18 1-2點(diǎn)爬行5次
2-3點(diǎn)爬行3次
3-4點(diǎn)爬行10次
如不美觀你細(xì)心的話可以做個走勢圖就很是直不美觀。這種統(tǒng)計一般都是在網(wǎng)站剛成立后和網(wǎng)站出異常后增強(qiáng)剖析日志，日常運(yùn)營中，更多注重的是剖析出蜘蛛每日的爬行紀(jì)律然后按時的放出充量文章，增添收錄。
手工剖析日志都是斗勁死板的，有時會影響神色，不外此刻工具興旺的年月，我們也借助工具來達(dá)到事半功倍。
筆者斗勁舉薦的是光年日志剖析工具。該工具很是簡單，筆者不在此演示，有樂趣的自己百度，它的利益在于能在生成的陳述中清楚的告訴我們蜘蛛爬行異常，與頁面抓取痕跡。好比404. 獨(dú)一遺憾的是今朝筆者還未找到一款工具帶有剖析蜘蛛爬行紀(jì)律生成走勢圖的工具。
注重：在日志剖析中，良多時辰我們都是想年夜日志中尋找到問題，以便改良我們的自身的問題，所以需要出格關(guān)注404,301等狀況碼。
真假蜘蛛分辯
為什么會呈現(xiàn)真假蜘蛛，主若是因?yàn)榇丝绦畔⑴d旺，良多采集工具為不讓對方發(fā)現(xiàn)自己的痕跡都模擬蜘蛛的痕跡來下載數(shù)據(jù)源。所以會造成良多seoer誤認(rèn)為蜘蛛年夜量的抓取頁面卻發(fā)現(xiàn)收錄并未增添的現(xiàn)象。下面筆者告訴巨匠斗勁輕易辨當(dāng)真假蜘蛛和一些出格注重的處所。
1， 真蜘蛛
220.181.108.96 - - [07/Apr/2012:01:22:21 +0800] "GET /site/sex/index.php HTTP/1.1" 302 20 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
這是筆者某網(wǎng)站的日志片段，我拿出ip，在win系統(tǒng)下cmd登錄dos框下輸入nslookup 220.181.108.96 查看回顯：
如上圖，若是百度蜘蛛，他會直接回顯百度的域名。
2， 假蜘蛛
假蜘蛛斗勁經(jīng)典的就是chinaz的發(fā)芽工具了，他就是模擬百度蜘蛛的，他的ip為125.90.88.96 我們反查后并未呈現(xiàn)百度域名。有樂趣的可以nslookup 125.90.88.96下，筆者就一直圖了。
一般假蜘蛛的存在形式為：XXX.XXX.XXX.XXX - - [07/Apr/2012:01:22:21 +0800] "GET /site/sex/index.php HTTP/1.1" 302 20 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
看著跟真的一樣，唯獨(dú)ip就是貓膩！
3， 奸細(xì)作況的蜘蛛
1) cdn加速后，造成ip雜亂。
此類情形呈現(xiàn)一般是網(wǎng)站在做了cdn加速后，再去查看apache處事器的訪謁日志的時辰發(fā)現(xiàn)良多蜘蛛的痕跡ip都很是的近似，如不美觀按照百度官方出的分辯手法nslookup ip 后必定為匿名，因?yàn)檫@些ip都是cdn節(jié)點(diǎn)ip，所以會造成曲解。若開啟cdn后，蜘蛛現(xiàn)實(shí)訪謁次數(shù)一般都<=日志中蜘蛛總數(shù)值。
2) 百度匿名蜘蛛的存在性談判。
匿名蜘蛛？百度工程師lee一向強(qiáng)調(diào)百度蜘蛛是不會匿名去訪謁網(wǎng)站的，但筆者年夜網(wǎng)上查閱資料，加上筆者某個站的數(shù)據(jù)猜測，筆者認(rèn)為會有兩種情形:
第一種：假如真的存在匿名蜘蛛，這很較著與lee的話有悖。所以這點(diǎn)我們可以去辯證的去理解，假如存在，匿名蜘蛛會做什么，良多seoer包短文者都猜測可能會存在用此類蜘蛛去驗(yàn)證網(wǎng)站是否對蜘蛛與用戶做了分歧的待遇。所以此種情形，做賊就不要心虛嘛，老誠懇實(shí)做站吧。
推薦閱讀
信用卡非法套現(xiàn)約7成發(fā)生在第三方支付平臺
>>>詳細(xì)閱讀
本文標(biāo)題：<b>小蘇:由淺到深再談網(wǎng)站原始訪問日志分析</b>
地址：http://www.oumuer.cn/a/22/20120418/52246.html
網(wǎng)友點(diǎn)評
精彩導(dǎo)讀
科技快報
品牌展示