1Web日志數(shù)據(jù)分析模型的設(shè)計(jì)思想與實(shí)現(xiàn)
1Web日志數(shù)據(jù)分析模型的設(shè)計(jì)思想
本論文設(shè)計(jì)平臺(tái)通過對(duì)web日志文件分析，統(tǒng)計(jì)出哪個(gè)頁面最受歡迎，訪問者來自哪里，訪問時(shí)段分布情況等。分析結(jié)果生成HTML代碼，最終通過瀏覽器以頁面的形式將各種報(bào)表呈現(xiàn)在用戶面前。其中要用到目前比較常用的ASP技術(shù)，由于要將海量的日志數(shù)據(jù)存入，所以還要用到SQL-Server這個(gè)功能強(qiáng)大的數(shù)據(jù)庫。
1.1系統(tǒng)的體系結(jié)構(gòu)
Web日志數(shù)據(jù)分析系統(tǒng)的主要用戶是一般企業(yè)網(wǎng)站或個(gè)人網(wǎng)站管理員，目前常見的網(wǎng)絡(luò)開發(fā)模式共有3種體系結(jié)構(gòu)：兩層Client/Server（C/S）體系結(jié)構(gòu)；三層Client/Server/Database（C/S/D）體系結(jié)構(gòu)；三層Browser/Server/Database（B/S/D）體系結(jié)構(gòu)。綜合考慮本系統(tǒng)的用戶群特點(diǎn)及這三種體系結(jié)構(gòu)特點(diǎn)，最終采用的體系結(jié)構(gòu)是目前國(guó)際上流行的“Browser/WebServer/Database”即三層網(wǎng)絡(luò)結(jié)構(gòu)模型。這種體系結(jié)構(gòu)簡(jiǎn)單實(shí)用，客戶端只要采用標(biāo)準(zhǔn)瀏覽器與網(wǎng)絡(luò)進(jìn)行連接就可以了。
1.2系統(tǒng)功能模塊設(shè)計(jì)
系統(tǒng)功能模塊是系統(tǒng)與用戶交互的接口，本系統(tǒng)包括：數(shù)據(jù)預(yù)處理模塊、基本分析模塊、智能分析模塊和可視化模塊，系統(tǒng)功能模塊.數(shù)據(jù)預(yù)處理模塊：該模塊主要功能是首先去掉原先存放在關(guān)系數(shù)據(jù)庫中的部分沒有用的原始日志，然后設(shè)置日志文件格式、采樣方法，依據(jù)包含替換規(guī)則對(duì)數(shù)據(jù)進(jìn)行凈化，再將該數(shù)據(jù)導(dǎo)入源數(shù)據(jù)庫，形成頁面映射表信息，最后形成用戶表�；痉治瞿K：該模塊主要是對(duì)網(wǎng)站的訪問情況進(jìn)行以下6方面的統(tǒng)計(jì)匯總，即時(shí)段分析模塊、地域分析模塊、來源統(tǒng)計(jì)模塊、客戶端分析模塊、受訪頁分析模塊、搜索引擎模塊。智能分析模塊：該模塊主要功能是利用關(guān)聯(lián)規(guī)則對(duì)Web站點(diǎn)的頁面之間的鏈接關(guān)系和站點(diǎn)結(jié)構(gòu)進(jìn)行分析，構(gòu)建一個(gè)新的Web站點(diǎn)拓?fù)浣Y(jié)構(gòu)，尋有關(guān)聯(lián)的客戶群體，開展有針對(duì)性和個(gè)性化的電子商務(wù)活動(dòng)。
2Web日志數(shù)據(jù)分析系統(tǒng)功能的實(shí)現(xiàn)
2.1數(shù)據(jù)收集
由于本系統(tǒng)是對(duì)Web日志的分析，所以數(shù)據(jù)收集部分的工作實(shí)際上就是對(duì)日志的收集工作，所以最重要得一點(diǎn)是網(wǎng)站的管理者允許對(duì)其日志文件進(jìn)行研究，在同意對(duì)日志文件保密的前提下，筆者從電腦商網(wǎng)中國(guó)IT商務(wù)門戶（www.cnitsw.com）獲取了一段時(shí)間的網(wǎng)站日志文件以此作為分析對(duì)象。
2.2數(shù)據(jù)預(yù)處理
數(shù)據(jù)的預(yù)處理過程是將Web日志整理成適合數(shù)據(jù)挖掘的數(shù)據(jù)模型。整個(gè)挖掘預(yù)處理過程分為數(shù)據(jù)凈化、用戶識(shí)別、會(huì)話識(shí)別、路徑補(bǔ)充、事務(wù)識(shí)別5個(gè)步驟。
2.3智能分析模塊實(shí)現(xiàn)
我們利用了Apriori算法的思想，但同時(shí)對(duì)APriori算法進(jìn)行了改造，采用了改進(jìn)的APriori算法進(jìn)行頻繁路徑挖掘。改進(jìn)Apriori是受到APriori算法的啟發(fā)，但它適合頻繁路徑的挖掘。
2.4基本分析模塊實(shí)現(xiàn)
基本分析可以分為兩個(gè)方面，一是網(wǎng)站整體的'訪問統(tǒng)計(jì)，另一方面是具體網(wǎng)頁的訪問分析。整體分析可以統(tǒng)計(jì)用戶數(shù)、點(diǎn)擊數(shù)，分析客戶端信息等等；對(duì)具體網(wǎng)頁可以統(tǒng)計(jì)其訪問量，以分析其受歡迎程度，也可表示其重要程度。這些工作的數(shù)據(jù)來源是預(yù)處理中數(shù)據(jù)清理階段產(chǎn)生的源數(shù)據(jù)庫和整個(gè)預(yù)處理階段后產(chǎn)生的用戶事務(wù)數(shù)據(jù)庫，實(shí)現(xiàn)方法也比較簡(jiǎn)單，一般都是簡(jiǎn)單的統(tǒng)計(jì)分析處理�；痉治瞿K由時(shí)段分析模塊、地域分析模塊、來源統(tǒng)計(jì)模塊、客戶端分析模塊、受訪頁分析模塊、搜索引擎分析模塊6個(gè)模塊組成。本文以時(shí)段分析模塊為例進(jìn)行闡述。根據(jù)日志中的日期域（data）、時(shí)間域（time）以及所花時(shí)間域（time－taken）可以統(tǒng)計(jì)出每天哪個(gè)時(shí)段的訪問人數(shù)和具體逗留時(shí)間，每個(gè)小時(shí)訪問量的變化，通過一天中每小時(shí)的訪問數(shù)可以得出站點(diǎn)哪個(gè)時(shí)間段的訪問人數(shù)最多是訪問高峰期，進(jìn)而分析出訪問人群的職業(yè)和上網(wǎng)習(xí)慣等相關(guān)信息。
Web日志數(shù)據(jù)分析是internet信息處理的一個(gè)重要應(yīng)用，目前我們只是實(shí)現(xiàn)了一些簡(jiǎn)單的功能，還可以對(duì)WEB日志的分析處理上進(jìn)行某些更詳細(xì)的深入分析，譬如可以根據(jù)訪問者的登錄時(shí)間、訪問頁面、停留時(shí)間等信息進(jìn)行統(tǒng)計(jì)分析，然后制定個(gè)性化的電子商務(wù)營(yíng)銷策略，幫助電子商務(wù)網(wǎng)站在最短的時(shí)間內(nèi)抓住最有效的客戶。還可根據(jù)以往時(shí)間段的訪問人數(shù)統(tǒng)計(jì)，對(duì)網(wǎng)站未來幾天或者某個(gè)時(shí)間段的訪問流量進(jìn)行預(yù)測(cè)。
作者:吳敏綱 黃杰恒 鄭義平 單位:景德鎮(zhèn)陶瓷學(xué)院信息工程學(xué)院 景德鎮(zhèn)市第六人民醫(yī)院 景德鎮(zhèn)市國(guó)稅局直屬分局
【1Web日志數(shù)據(jù)分析模型的設(shè)計(jì)思想與實(shí)現(xiàn)】相關(guān)文章：
怎么實(shí)現(xiàn)日志模塊04-14
思想的沙漠的經(jīng)典日志01-09
基于大數(shù)據(jù)審計(jì)的信息安全日志分析法02-26
分析愛情日志05-06
seo日志分析的重點(diǎn)04-14
在思想的樹林里流浪日志04-17
我們的時(shí)代我們的思想qq日志01-11