【PHP】アクセスログ軽量化とcron設定

アクセスログの軽量化の話の続き。

 

量産型アフィリエイターになると、数百サイトくらい作ったりするため、どのページにアクセスが来ているかを調べるのは大変になる。

 

こうした場合、それぞれのサイトにアクセス解析タグを貼って調べるが常道だろうが、数百サイトもあるわけだから、一々全部調べるのはほとんど不可能だ。

 

ということで、サーバーに残っているアクセスログ（生ログ）をダウンロードしてきて、それを統合してアクセス解析してみようという話だ。

 

ところがアクセスログの生ログって、１サイトあたり数MBもあるので、１００サイト分だと数百MBにもなってしまう。

 

これをそのまま毎日ダウンロードするのも時間の無駄だから、サーバーにできたアクセスログの必要な部分だけコピーして、まとめたモノをダウンロードしたい。

 

ということでアクセスログの生ログを調べて不要なログをPHPスクリプトでカットしてみた。

 

そうすると、約１４０MBあったアクセスログが、約１９MBまで軽量化することに成功した。

 

割合で言うと、およそ７分の１くらいだね。

 

アクセスログの軽量化の例

※一番下のファイルが、スキップを外して統合したアクセスログ。

 

具体的にどういう感じになったかというと、次のような感じだ。

1. 画像ファイルの呼び出しログをスキップする　約140MB　→　約42MB
2. アイ・フレームで呼び出すファイルをスキップ　約42MB　→　約26MB
3. 404エラー、403エラーのページをスキップ　約26MB　→　約21MB
4. googlebotや、HEADリクエストをスキップ　約21MB　→　約19MB

ということで、実際のPHPスクリプトの例を紹介する。

 

その前にまず、メモリー利用上限を拡大しておく。

 

通常、PHPの設定では、扱うメモリーの上限は128MBになっているらしい。

 

これだと、128MBを越えるファイルは処理できないため、一時的にメモリーの利用上限を拡大しておく必要がある。

 

PHPスクリプト　メモリー利用上限を拡大する

<?php set_time_limit(180); //処理時間上限を拡大 ini_set('memory_limit', '512M'); //メモリー利用上限を拡大

 

不要なアクセスログをスキップするPHPの記述例

ドメイン別になっているアクセスログを一つ読み込んで、$log_dataという配列に入れた後、アクセスログを一行ずつ処理する。

 

パターンマッチで不要なログを見つけたらスキップし、必要なログだけ、$log_output00に書き込む。

 

アクセスログ1ファイル分の処理を完了したら、$log_output00を、$log_outputに結合していき、最後にこれを編集済みの統合ファイルとして出力する。

unset($log_output00); foreach($log_data as $logstar){ if(preg_match('/img/', $logstar)){continue; }elseif(preg_match('/.png/', $logstar)){continue; }elseif(preg_match('/.gif/', $logstar)){continue; }elseif(preg_match('/.jpg/', $logstar)){continue; }elseif(preg_match('/css/', $logstar)){continue; }elseif(preg_match('/robot/', $logstar)){continue; }elseif(preg_match('/googlebot/', $logstar)){continue; }elseif(preg_match('/HEAD /', $logstar)){continue; }elseif(preg_match('/ 403 /', $logstar)){continue; }elseif(preg_match('/ 404 /', $logstar)){continue; }elseif(preg_match('/.js/', $logstar)){continue; }elseif(preg_match('/.xml/', $logstar)){continue; }else{$log_output00=$log_output00."\r\n".$logstar; } } //出力ファイルに書き込み $log_output=$log_output.$log_output00;