国产精品一区二区三区久久久_这里精品_91新地址_91看片看淫黄大片_夜夜骑狠狠干_亚洲成人精品一区

<b>小蘇:由淺到深再談網(wǎng)站原始訪問日志分析</b>

作者: 來源:未知 2012-04-18 19:06:47 閱讀 我要評論 直達(dá)商品

  近期筆者對年夜約50多位剛年夜事或已經(jīng)年夜事1-2年的seoer做了個小發(fā)芽拜訪,其中搜羅良多面試者,真正在工作中能剖析到日志的seoer比例很是很是的少,在問到訪謁日志在seo所起到的浸染,良多seoer都直搖頭,或者僅僅知道一些皮短處未親手操作過,其首要原因仍是在公司平臺中并文暌剮機(jī)緣去實(shí)踐,下面筆者分享下自己對網(wǎng)站原始訪謁日志的熟悉:

  什么是訪謁日志

  網(wǎng)站訪謁日志是記實(shí)web處事寡領(lǐng)受措置請求以及運(yùn)行時錯誤等各類原始信息的以.log結(jié)尾的文件,切當(dāng)?shù)闹v,應(yīng)該是處事器日志。它的浸染是讓我們seoer可以清囂張的得知用戶在什么IP、什么時刻、用什么操作系統(tǒng)、什么瀏覽器、什么分辯率顯示器的情形下訪謁了你網(wǎng)站的哪個頁面,是否訪謁成功。

  什么時辰我們需要去剖析日志及日志特征

  我們會天天都去剖析日志嗎?不會的,因?yàn)槿罩酒饰龆穭潘腊澹话愣际敲吭禄蛘甙朐缕饰鲆淮巍_@種剖析屬于日常剖析,如不美觀您的網(wǎng)站一向都斗勁正常那可以每月剖析一次,或者可以簡單的剖析一次。

  其實(shí)日志更多是在網(wǎng)站呈現(xiàn)異常的時辰,會不雅察看半個月日志,集平剖析蜘蛛的動向。好比會剖析是不是網(wǎng)站404,robots設(shè)置異常或者掛馬等問題造成蜘蛛消逝蹤,逐兒去查找解決問題。

  下面是年夜筆者日常剖析的日志中取的一條訪謁記實(shí):

  119.254.22.200 - - [10/Apr/2012:00:04:54 +0800] "GET /bbjk/index.html HTTP/1.0" 200 25269 "-" "Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)"

  119.254.22.200 為用戶訪謁ip

  10/Apr/2012:00:04:54 +0800 為訪謁日期 -時區(qū)

  GET /bbjk/index.html HTTP/1.0 按照HTTP/1.1 和談 抓取(域名下)/bbjk/index.html 這個頁面(GET暗示處事器動作)

  200 處事器響應(yīng)狀況碼

  25269 為頁面字節(jié)數(shù)。

  Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07) 為搜狗蜘蛛特征。

  注重:任何蜘蛛都僅僅為網(wǎng)站的通俗用戶。不要覺得蜘蛛很是的強(qiáng)年夜,良多人還認(rèn)為網(wǎng)站若禁止登錄查看內(nèi)容,蜘蛛都能爬取上岸后的頁面內(nèi)容,這是不成能的。除非網(wǎng)站做了蜘蛛專屬手段。

  怎么去剖析網(wǎng)站訪謁日志

  曾記得在幾年前,筆者剛接觸seo的時辰,工具稀少的年月,標(biāo)識表記標(biāo)幟一向都喜歡手工

  去剖析訪謁日志,當(dāng)然手工剖析很費(fèi)時吃力,再這里只講解下筆者最喜歡手工剖析日志中的幾點(diǎn)。

  筆者此刻手工剖析一般都集中在研究每日蜘蛛在網(wǎng)站上爬行紀(jì)律與網(wǎng)站更新數(shù)據(jù)之間的關(guān)系。當(dāng)然每個網(wǎng)站需按照自己來不雅察看,最后會有一個很是完美的紀(jì)律。

  筆者會把每日的蜘蛛訪謁時刻按時刻段排序統(tǒng)計成報表,

  好比:2012-4-18 1-2點(diǎn)爬行5次

  2-3點(diǎn)爬行3次

  3-4點(diǎn)爬行10次

  如不美觀你細(xì)心的話可以做個走勢圖就很是直不美觀。這種統(tǒng)計一般都是在網(wǎng)站剛成立后和網(wǎng)站出異常后增強(qiáng)剖析日志,日常運(yùn)營中,更多注重的是剖析出蜘蛛每日的爬行紀(jì)律然后按時的放出充量文章,增添收錄。

  手工剖析日志都是斗勁死板的,有時會影響神色,不外此刻工具興旺的年月,我們也借助工具來達(dá)到事半功倍。

  筆者斗勁舉薦的是光年日志剖析工具。該工具很是簡單,筆者不在此演示,有樂趣的自己百度,它的利益在于能在生成的陳述中清楚的告訴我們蜘蛛爬行異常,與頁面抓取痕跡。好比404. 獨(dú)一遺憾的是今朝筆者還未找到一款工具帶有剖析蜘蛛爬行紀(jì)律生成走勢圖的工具。

  注重:在日志剖析中,良多時辰我們都是想年夜日志中尋找到問題,以便改良我們的自身的問題,所以需要出格關(guān)注404,301等狀況碼。

  真假蜘蛛分辯

  為什么會呈現(xiàn)真假蜘蛛,主若是因?yàn)榇丝绦畔⑴d旺,良多采集工具為不讓對方發(fā)現(xiàn)自己的痕跡都模擬蜘蛛的痕跡來下載數(shù)據(jù)源。所以會造成良多seoer誤認(rèn)為蜘蛛年夜量的抓取頁面卻發(fā)現(xiàn)收錄并未增添的現(xiàn)象。下面筆者告訴巨匠斗勁輕易辨當(dāng)真假蜘蛛和一些出格注重的處所。

  1, 真蜘蛛

  220.181.108.96 - - [07/Apr/2012:01:22:21 +0800] "GET /site/sex/index.php HTTP/1.1" 302 20 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

  這是筆者某網(wǎng)站的日志片段,我拿出ip,在win系統(tǒng)下cmd登錄dos框下輸入nslookup 220.181.108.96 查看回顯:

  

 

  如上圖,若是百度蜘蛛,他會直接回顯百度的域名。

  2, 假蜘蛛

  假蜘蛛斗勁經(jīng)典的就是chinaz的發(fā)芽工具了,他就是模擬百度蜘蛛的,他的ip為125.90.88.96 我們反查后并未呈現(xiàn)百度域名。有樂趣的可以nslookup 125.90.88.96下,筆者就一直圖了。

  一般假蜘蛛的存在形式為:XXX.XXX.XXX.XXX - - [07/Apr/2012:01:22:21 +0800] "GET /site/sex/index.php HTTP/1.1" 302 20 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

  看著跟真的一樣,唯獨(dú)ip就是貓膩!

  3, 奸細(xì)作況的蜘蛛

  1) cdn加速后,造成ip雜亂。

  此類情形呈現(xiàn)一般是網(wǎng)站在做了cdn加速后,再去查看apache處事器的訪謁日志的時辰發(fā)現(xiàn)良多蜘蛛的痕跡ip都很是的近似,如不美觀按照百度官方出的分辯手法nslookup ip 后必定為匿名,因?yàn)檫@些ip都是cdn節(jié)點(diǎn)ip,所以會造成曲解。若開啟cdn后,蜘蛛現(xiàn)實(shí)訪謁次數(shù)一般都<=日志中蜘蛛總數(shù)值。

  2) 百度匿名蜘蛛的存在性談判。

  匿名蜘蛛?百度工程師lee一向強(qiáng)調(diào)百度蜘蛛是不會匿名去訪謁網(wǎng)站的,但筆者年夜網(wǎng)上查閱資料,加上筆者某個站的數(shù)據(jù)猜測,筆者認(rèn)為會有兩種情形:

  第一種:假如真的存在匿名蜘蛛,這很較著與lee的話有悖。所以這點(diǎn)我們可以去辯證的去理解,假如存在,匿名蜘蛛會做什么,良多seoer包短文者都猜測可能會存在用此類蜘蛛去驗(yàn)證網(wǎng)站是否對蜘蛛與用戶做了分歧的待遇。所以此種情形,做賊就不要心虛嘛,老誠懇實(shí)做站吧。


  推薦閱讀

  信用卡非法套現(xiàn)約7成發(fā)生在第三方支付平臺

>>>詳細(xì)閱讀


本文標(biāo)題:<b>小蘇:由淺到深再談網(wǎng)站原始訪問日志分析</b>

地址:http://www.oumuer.cn/a/22/20120418/52246.html

樂購科技部分新聞及文章轉(zhuǎn)載自互聯(lián)網(wǎng),供讀者交流和學(xué)習(xí),若有涉及作者版權(quán)等問題請及時與我們聯(lián)系,以便更正、刪除或按規(guī)定辦理。感謝所有提供資訊的網(wǎng)站,歡迎各類媒體與樂購科技進(jìn)行文章共享合作。

網(wǎng)友點(diǎn)評
我的評論: 人參與評論
驗(yàn)證碼: 匿名回答
網(wǎng)友評論(點(diǎn)擊查看更多條評論)
友情提示: 登錄后發(fā)表評論,可以直接從評論中的用戶名進(jìn)入您的個人空間,讓更多網(wǎng)友認(rèn)識您。
自媒體專欄

評論

熱度

主站蜘蛛池模板: 日韩成人免费中文字幕 | 久草成人网| 久久99国产精品久久99大师 | 亚洲综合色视频在线观看 | 凹凸日日摸日日碰夜夜爽孕妇 | 国产一区精品视频 | 狠狠操夜夜操天天操 | 久久精品久久久 | 99在线免费视频 | 亚洲在线播放 | 国产精品久久久久久亚洲调教 | 欧美视频在线观看一区 | 嫩草最新网址 | 亚洲一级毛片 | 电影91| 在线手机电影 | 欧美高清成人 | 精品91| 国产一区二区视频精品 | 自拍视频在线观看 | 日本黄色短片 | 97碰碰碰免费公开在线视频 | 国产女无套免费网站 | 欧美黑人狂躁日本寡妇 | 国产九九九 | 一区二区不卡 | 日韩精品免费在线观看 | 91观看| 亚洲视频中文字幕 | 欧美一级二级视频 | 国产 亚洲 网红 主播 | 欧美成人精品一区二区三区在线看 | 欧美日韩免费在线 | 欧美日一区二区 | 免费av片| 久久久久中文 | 日韩国产精品一区二区三区 | 羞羞的视频网站 | 精品一区二区三区蜜桃 | 日韩视频在线观看 | 91偷拍精品一区二区三区 |