[Linux] sysstat – HISTORY=28 以上だと sa ログが2重書き込みされる不具合

sysstat 7.1.2 以前で HISTORY=28 以上の設定を行うと、閏年以外の2月のログが削除されず、3月分が上書きされてしまいます。具体的には次のようなログになります。

$ date
Mon Mar 30 13:46:45 JST 2009
$ ls -l /var/log/sa/sa*28
-rw-r–r– 1 root root 474864 Mar 28 23:50 /var/log/sa/sa28
-rw-r–r– 1 root root 539834 Mar 28 23:53 /var/log/sa/sar28
$ ls -l /var/log/sa/sa*29
-rw-r–r– 1 root root 237552 Mar 29 23:50 /var/log/sa/sa29
-rw-r–r– 1 root root 270539 Mar 29 23:53 /var/log/sa/sar29
 
$ sar -c -f /var/log/sa/sar28
Linux 2.6.18-53.1.14.el5 (example.com) 02/28/09
 
00:00:01 proc/s
00:10:01 0.03
00:20:01 0.03
00:30:01 0.03
00:40:01 0.03
00:50:01 0.03
01:00:01 0.03
#### 略 ####
23:00:01 0.03
23:10:01 0.03
23:20:01 0.03
23:30:01 0.03
23:40:01 0.03
23:50:01 0.03
00:00:01 0.14
00:10:01 0.03
00:20:01 0.03
00:30:01 0.03
00:40:01 0.03
00:50:01 0.03
01:00:01 0.03
#### 略 ###
22:20:01 0.03
22:30:01 0.03
22:40:01 0.03
22:50:01 0.03
23:00:01 0.03
23:10:01 0.04
23:20:01 0.03
23:30:01 0.03
23:40:01 0.03
23:50:01 0.03
Average: 0.13

3月のログが2月のログの後に追加で書き込まれるためヘッダは2月扱いになり、2/28の23:59 の後に3/28 の 00:00:00 のログが始まります。
 
この不具合は下記のとおり sysstat 7.1.3 で修正されたようですが、CentOS 5.2 など最新版のディストリビューションでも 7.0.2-1 が最新だったりするので、HISTORY=27 として対応するなど注意が必要です。

2007/03/27: Version 7.1.3 – Sebastien Godard (sysstat <at> wanadoo.fr)
 * Better support for keeping sar logfiles for more than one month
  (several bugs fixed in sa1 and sa2 scripts).

 
sysstat 7.1.3 以降は保存形式が変わって HISTORY=28 の制限がなくなり、一年以上でも保存できるようになったようです。
 
参考:
SYSSTAT utilities home page(公式)

OpenSSH のsshで接続が切れる時の対策

OpenSSH をクライアントで使っていて, 放置していると

Connection Reset By Peer

と言われてしまった場合, クライアント側の ssh_config で

ServerAliveInterval 20
# ServerAliveCountMax 3

とすると生存確認パケットを送ってくれるようになります。
この二つのオプションは OpenSSH 3.8 からの追加機能で、
 
ServerAliveInterval は、指定秒ごとに生存確認パケットを送る。0なら無効(デフォルト0)。
ServerAliveCountMax は、サーバから返答がない時の最大再試行回数(デフォルト3)
 
となっています。
 
参考:
http://www.unixuser.org/~haruyama/security/openssh/henkouten/henkouten_3.8.txt

Apache httpd でリクエストにかかった時間をログ出力する

Apache モジュール mod_log_config

カスタムログ書式(抜粋):
%D リクエストを処理するのにかかった時間、マイクロ秒単位
%X 応答が完了したときの接続ステータス:
        X = 応答が完了する前に接続が異常終了
        + = 応答が送られた後に接続を持続することが可能
        – = 応答が送られた後に接続が切られる

自前でプロセスの所要時間を計算してログ出力したりしていました。
httpd 1.3 から 秒単位出力(%T オプション)は存在したのですね…。
灯台下暗しとはまさにこのこと。

[Linux] sar の結果からグラフレポートを作成する

kSar(http://ksar.atomique.net/) が便利。
sar のテキスト出力を GUI インターフェイスでレポート形式に変換し、PDF や画像ファイルで保存できます。
 
sysstat で性能管理
kSar 公式(English)
kSarでsarデータをグラフにする
kSarによるsarのグラフ化について

Linuxで間違って削除したファイルを復元する

Sleuth kit というフォレンジックツールを使うとよさそうです。Autopsy という別ツールを組み合わせれば web ベース GUI が利用できます。
 
対象ファイルシステムは: NTFS, FAT, UFS1, UFS2, EXT2FS, EXT3FS, ISO9660 です。
 
Windows 系ファイルシステムや CD などメディアのデータ復旧にも使えるのがいいですね。
 
なお, FreeBSD ports は sysutils/sleuthkit, sysutils/autopsy にあります。
参考:
http://www.gentoo.org/news/ja/gmn/20080728-newsletter.xml

SQL の基礎 – JOIN (表結合)の意味の違い

MySQL / PostgreSQL / Oracle すべてのSQLサーバで基準になっているSQL標準のJOIN(LEFT JOINなど)について、基礎からしっかりまとめてみました。
続きを読む SQL の基礎 – JOIN (表結合)の意味の違い

[Linux] メール自動受信処理のための procmail 入門

はじめに

procmail とはメール受信時の振り分け、フィルタリングなどを行うためのメール処理プログラムです。
Procmailが使える環境なら、レシピを書くだけでメール受信時に好きなプログラムで自動処理することができます。

たとえば、こんなことに使えます。

− メールが届いた時に、お礼メールを自動応答をする
– メールが届いた時に、自動で他の誰かに転送する
– スパムメールを自動で捨てる
– メモを書いたメールを送ったら、内容をデータベースに保存してくれるシステム
– 添付画像つきメールを送ったら、添付画像を自分のサイトで公開するシステム
– 問い合わせメールを管理画面で見えて、そのままメール返信ができるシステム
– などなど。

とにかく、

「メールを特定のメールアドレスに送ったら○○が✕✕する」

という処理のきっかけ(開始地点)として、procmailが使えます。

使ってみる

Procmailを使うには、メールサーバに Procmail が入っていることが前提です。

メールサーバ構築方法についてこの記事では省略します。
たとえばメールサーバとしてPostfixを使う場合は、以下の記事を参考にしてください。

この記事ではProcmailインストール方法はCentOS(RedHat Linux)、Postfixを使った場合の説明をします。
利用方法はOSによらず共通です。

procmailをインストールする

which procmail

とたたいて、 /usr/local/bin/procmail のように、パスがかえってくればOKです。

パスが何も結果がかえってこなければ、

sudo yum install -y procmail

と実行してインストールします。

インストールしたら、Postfixの設定ファイル main.cf の、mailbox_command設定を探して、以下のように追記します。
mailbox_commandが見つからなければ、main.cfのどこに入れてもOKです。

/etc/postfix/main.cf:

#mailbox_commandが並んでる最後の行に・・・
#mailbox_command = /some/where/procmail
#mailbox_command = /some/where/procmail -a "$EXTENSION"
#mailbox_command = /usr/local/mybin/procmail_wrap
#↓これを追記する!
mailbox_command = /usr/bin/procmail

/usr/bin/procmail は、自分の環境で

witch procmail

として出てきたパスを入力してください。

procmailを使う準備

procmail のルールを書くためには、まずメール受信ユーザのホームディレクトリに
以下の内容をもつ .forward ファイルを作成します(両端のダブルクォーテーションも必要)。

"|IFS=' '&&exec procmailのフルパス -f-||exit 75 #ログインユーザ名"

例:
/home/john/.forward を追加する場合…

"|IFS=' ' && exec /usr/local/bin/procmail -f-||exit 75 #john"

最初と最後のダブルクオーテーションが無いと正しく動かず、超ハマるので注意してください。

procmailのルールを書く

次に同様に .procmailrc ファイルを作成します。

MAILDIR=$HOME/Maildir
DEFAULT=$MAILDIR/
LOGFILE=$MAILDIR/procmail.log
LOCKFILE=$MAILDIR/.procmail.lock

<h1>--- 例1:未承諾広告を捨てる</h1>

:0 H
* ^Subject:.<em>iso-2022-jp
* ^Subject:.</em>\/.*
* ? echo "$MATCH" | nkf -me | egrep '※未承諾広告'
/dev/null

<h1>--- 例2:エイリアスによる script@example.org 宛のメールの内容(ヘッダ含む)を /usr/local/bin/dosomething.sh に渡して実行する</h1>

:0
* ^To:.*script@example.org
| /usr/local/bin/dosomething.sh

例1はメールフィルタリングの例です。
例2はメールをトリガとして任意のプログラムを実行する例です。この例では、/usr/local/bin/dosomething.shにメールの内容を標準入力で渡して、実行しています。
このように好きなプログラムにメールヘッダ・本文を渡して実行することで、自動応答メール等様々な用途で利用できます。

補足

~/.forward がない場合は、main.cf の mailbox_command 変数で指定されたコマンド, mailbox_cmmand も指定されていない場合は通常のメール配送を行います。

また、procmail を実行した時に ~/.procmailrc がない場合も(procmail が)単純にメール配送を行います。

仮想ドメイン・仮想ユーザを使っているPostfixでProcmailを使う方法

仮想ドメインのメールボックスでは .forward ファイルおよび main.cf での mailbox_command は参照されないため、 procmail 等コマンド実行は適用されません。
このため、仮想ドメインのメールアドレスで procmail を扱うためには virtual_alias_maps で、procmailを使いたいメールアドレスのみ、ローカルのリアルユーザにエイリアス(紐付け)する必要があります。

例: foo@example.org 宛のメールをリアルユーザ mailuser で受け取る場合…

/etc/postfix/main.cf:

#...略...

#@localhost のみリアルユーザとする(仮想ドメインを含めないこと)
mydestination = localhost

#...略...

#仮想メールアカウントのエイリアス
virtual_alias_maps = hash:/etc/postfix/viatual

#仮想メールアカウントのメールボックス
virtual_mailbox_maps = hash:/etc/postfix/virtual_mailbox_maps

/etc/postfix/virtual:

foo@example.com   mailuser@localhost

/etc/postfix/virtual_mailbox_maps:

#(エイリアスしたものは含めません)
#example.com
info@example.com         example.com/info
postmaster@example.com   example.com/postmaster
root@example.com         example.com/postmaster

#example.net
info@example.net         example.net/info
postmaster@example.net   example.net/postmaster
root@example.net         example.net/postmaster

設定ファイルの書き換えが終わったら、設定を反映するため以下のコマンドを実行します。

su - # root ユーザで行う
cd /etc/postfix
postmap hash:virtual_mailbox_maps
postmap hash:virtual
postfix reload

あとは前述のとおり mailuser のホームディレクトリ(例: /home/mailuser/ )に .forward, .procmailrc を作成すれば、
foo@example.com に対して procmail のルールが書けるようになります。

参考:
Advanced Email Forwarding
Manpage of PROCMAILRC(JM Project による和訳)
Postfix 設定パラメータ
.procmailrc の書き方
Virtual環境での.forward が有効になりません(postfix-jp: 425)
Postfix 設定パラメータ

Apache httpdの現在のプロセス数、TCP 接続本数を調べる

ab(Apache Bench) コマンドなどを実行する場合など、HTTP サーバのパフォーマンスの分析を簡易的にしたい場合に、
topなどで監視するのもいいのですが、Apacheが現在何プロセス、何本のコネクションか定期的に監視できると便利です。

今回は毎秒Apacheのプロセス数とHTTP/HTTPS接続本数を調べて結果を出力し続けるというコードを書いてみました。

続きを読む Apache httpdの現在のプロセス数、TCP 接続本数を調べる