【PHP】複数のアクセスログを統合する

複数のアクセスログをまとめて、複数サイトのアクセス解析をする話の続き。

 

Webサーバーにあるアクセスログは、ドメイン毎に作られているので、これを統合しないといけない。

 

しかし1ファイルだけでも、数MBもあったりするので、これを軽量化してから統合したい。

 

つまり

• 複数サイトのアクセスログの統合
• アクセスログの軽量化

という2つの要件があるわけだ。

 

アクセスログの軽量化は、必要が無いログを外していくだけだからそれほど難しい話ではないが、複数サイトのアクセスログを統合するのは、なかなか難しい。

 

というのもアクセスログの中には、そのドメインの情報が書き込まれていないからだ。

 

例えば次のログを見てみると、データ上は、これがどのサイトなのか判別できない。

 

●.●●.tokei.or.jp - - [24/Jan/2018:22:13:59 +0900] "GET /MEIGARA/ichirei.html HTTP/1.1" 200 7749 "http://search.yahoo.co.jp/" "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"

最初に【●.●●.tokei.or.jp 】とあるのは、アクセスを要求してきた先方のURLなので、実際に閲覧されたページのURLではないのだ。

 

このままでアクセスログを統合してしまうと、どのサイトのページなのか全く分からない。

 

さて、どうしたものか。

アクセスログは、ドメイン毎に作られるため、ログの中にはドメイン名が入っていない。

 

そのため、ただ統合するだけだと、どのサイトのページなんだかよく分からなくなる。

 

そのため、アクセスログを統合する前に、どのサイトのページなのかという情報を、ログに書き込む必要がある。

 

幸い、コアサーバー／バリューサーバーの場合は、ドメイン名がそのままアクセスログのファイル名に使われているため、これをアクセスログに書き込むことにした。

 

※　defc.comのアクセスログなら、defc.com.logと言うファイル名になっている。

 

アクセスログにドメイン名を追加するPHPスクリプトの例

//データフォルダ内のlogファイルのみを集計 $data_dir='./log'; //何日さかのぼるかの指定 $expire = strtotime("30 days ago"); //指定したディレクトリ内の「.log」ファイルを調べて、一つずつ取り出す。 foreach(glob($data_dir.'/'.'{*.log}',GLOB_BRACE) as $file){ if(is_file($file)){ //使用するファイルを更新日時で制限 $mod = filemtime( $file ); if($mod > $expire){ //下の処理に進む }else{ continue; //次のファイル } //ファイルの名前（ドメイン名）を取得 $Urlname= basename($file); echo $Urlname."\n"; //確認 //添え字や拡張子を除去 $Urlname= preg_replace('/.[0-9].log/', '', $Urlname); $Urlname= preg_replace('/.log/', '', $Urlname); //データ読み込み $log_data = file_get_contents($file); $log_data = mb_convert_encoding($log_data ,"UTF-8", "auto"); //ドメイン名をlogに追加 $log_data = str_replace('GET /','GET /'.$Urlname.'/', $log_data); //一行ずつ配列に格納 $log_data = preg_split("/[\n]/", $log_data); //配列の重複を削除 $log_data = array_unique($log_data); //（この後さらに処理が続く） } }

 

アクセスログの[GET /]の後がリクエストされたページのURLになるので、その前にファイル名から取得したドメイン名を差し込んで見た。

 

つまり、通常は　

となっているところを

としたわけだ。

 

こうしておけば、どのサイトのページなのか、間違えなくてすむ。