68user's page 掲示板

Prev< No. 1731〜1736> Next  [最新発言に戻る] [過去ログ一覧]
No. 1731 # CZ 2001/02/25 (日) 23:54:56
68userさん,他の皆さん,こんばんは。

さて,ローカルでメーリングリストの過去ログを閲覧するための便利なツールはないでしょうか。

今はメーラ(Becky)に取り込むことを考えていて,展開・取込スクリプトも完成したのですが,まだ本番の作業に移っていません。

この方式での閲覧には難点が幾つかあって,
(1) 1,000メール程度ごとに分割しなければ表示が遅くなるので,スレッドがつながらないことがままある。
(2) Plain Textで保管されるのでディスク容量が圧迫される。
(3) メモリが少ないことも影響してか,はたまたWindows上でのtar操作だからか,ログアーカイブの展開・取込に異常に時間がかかる。(これが本番の作業に至っていない理由。)

理想を言えば,あらかじめインデックスを作成しておき,閲覧分だけ逐次展開するツールがあれば便利なのですが,あるのでしょうか。Windows使いなので,Windows(含DOSプロンプト)か,cygwinか,perl・ruby等で動作することが条件です。ローカルhttpサーバを立てることも可能です。

情報調査力の足りない私にどんなことでもご教示いただけるなら幸いです。

No. 1732 # すな 2001/02/26 (月) 16:41:26
お世話になります。
uptimeをcronで動かしてマシン負荷を記録するスクリプトを作りました。
ところが生成されたログの起動時刻が同じ時間になってしまうという
状態がみつかりました。

ログ生成スクリプトの該当部分(bashスクリプト)
export LOAD=`uptime`
〜処理〜
echo $LOAD >> $LOG ← ログファイル

生成されたログの一部
12:59am up 11:36, 1 user, load average: 0.00, 0.00, 0.00
1:00am up 11:37, 1 user, load average: 0.00, 0.00, 0.00
1:00am up 11:38, 1 user, load average: 0.00, 0.00, 0.00
1:02am up 11:39, 1 user, load average: 0.00, 0.00, 0.00

これは1秒未満の実行タイミングの誤差から来ているのでしょうか?
もしそれが原因ならば、起動時に数秒waitを掛けてからuptimeを実行
することでこの現象を回避できるでしょうか?

cronは毎分実行にしていますが、毎回起こるのではなく1日の内1〜2
度程度、多分負荷の掛かっている時刻の0分に記録されているようです。
ぜひご意見をお聞かせください。

No. 1733 # 68user 2001/02/26 (月) 22:11:34
>>1731 CZ
> さて,ローカルでメーリングリストの過去ログを
> 閲覧するための便利なツールはないでしょうか。
有名どころでは mhonarc がありますね。こんなの。
    http://his.luky.org/ML/linux-users.5/msg05835.html
ただ、個人的にはあのインタフェースは大嫌いなので、mhonarc を
使うのなら自作します。前準備としては
    - 各メールの Subject、From、Date、Message-Id、In-Reply-To を拾い、DB 化
    - Date 順 (あるいは X-Sequence 順) に
              In-Reply-To がないメールはツリーの起点メール
              In-Reply-To があるメールは他のメールの子
        として、ツリー構造を作成 (1ツリー=1ファイルにする。遅いかな?)
    - Date 順 (あるいは X-Sequence 順) で、月ごと (100通単位) のツリーの起点
        一覧をリストアップ
とし、閲覧時に CGI で
    - 指定された月 (指定された 100通) のツリーの起点一覧を表示しつつ、
        対応するツリー表示
てなところでしょうか。
# って、自分で作る方法を聞いておられるのではないような気もしますが。

出来合いのものを使うなら Java House のが好きですが、
    http://java-house.etl.go.jp/ml/archive/j-h-b/037476.html
これって配布されてるものなんでしょうか。

> tar操作だからか,ログアーカイブの展開・取込に異常に時間がかかる。
tar は、先頭のインデックスを見て、目的のファイルが何バイト目から
始まるかを知ることができません (違ったっけ) ので、ランダムアクセス
には向きません。圧縮しないなら、100通単位でディレクトリを掘って
1メール=1ファイルにしておく方が案外速かったりするかもしれません。

>>1732 すな
> uptimeをcronで動かしてマシン負荷を記録するスクリプトを作りました。
> ところが生成されたログの起動時刻が同じ時間になってしまうという
> 状態がみつかりました。
とりあえず date で秒単位まで記録して、何秒に実行されているか
調べてみてはどうですか。cron は、0秒きっかりに実行してくれる
保証がなく、結構ばらつきがあるのかもしれません。

で、もし重くて遅れがでてしまうなら、それはそれで仕方がない
のかもしれません。

>>1730 purine
> クライアントとサーバの間の回線が何らかの障害によって切れた
> 場合、それを知る方法を教えてください。
物理的な切断については
    http://X68000.startshop.co.jp/~68user/cgi-bin/wwwboard.cgi?log=1299-1302
てのがありますけど、一般的には
    http://www.kt.rim.or.jp/~ksk/sock-faq/unix-socket-faq-ja-2.html#ss2.8
ですね。

No. 1734 # すな 2001/02/27 (火) 01:32:04
> とりあえず date で秒単位まで記録して
確かにそのとおりですね。

で、早速そのようにして観察した所1時間もしないうちに、やはり前
後1秒程度の誤差が確認されました。

+1秒の時はいいのですが、-1秒の時は「xx:59:59」などとなってしま
いますので、負荷が高い時を考えて5秒程度 sleep をかます事で対
処してみます。

ありがとうございました。

cronは結構誤差があるものなのですね。
今後cronを使うときの参考になりました。

関係ない話題ですが 午前0時と正午の表記は 00:00pm という表
記が正しいと思っていましたが、uptimeの出力では、12:00am と
12:00pm と表示されるのですね。

No. 1735 # CZ 2001/02/27 (火) 01:43:14
>>1733 68userさん
お返事ありがとうございます。

> 出来合いのものを使うなら Java House のが好きですが、
> http://java-house.etl.go.jp/ml/archive/j-h-b/037476.html
> これって配布されてるものなんでしょうか。

私もなかなか閲覧しやすいと思います。「Underconstruction」なのが残念ですが。

> tar は、先頭のインデックスを見て、目的のファイルが何バイト目から
> 始まるかを知ることができません (違ったっけ) ので、ランダムアクセス
> には向きません。圧縮しないなら、100通単位でディレクトリを掘って
> 1メール=1ファイルにしておく方が案外速かったりするかもしれません。

そうですか。SEGA BBS 過去ログ<http://x68000.startshop.co.jp/~68user/index-segabbs.html>が「データは圧縮して保管しており、リクエストがあるたびに CGI で随時展開して」いることを覚えていたので,圧縮して随時展開という手法に期待をおいていたりしました。

今は他のことにかかりきりなので,できあいのものを探していたのですが,設計の考え方は参考になりました。そのうち時間があればログをメーラに取り込んで,そのうちさらに時間があれば自作も検討します。メーラのプラグインとして作成する手もありますが,いずれにせよ今は無理です。

ところで,今さっき「tar」で全文検索したときに発見したのですが,結果画面でNo.531だけが正常に表示されませんでした。ご報告まで。

No. 1736 # SASA [E-mail] 2001/02/27 (火) 15:27:52
テープにbackupしたデータを、復元させたいのですが
コマンドの打ち方がわかりません。
教えて下さい。
UNIX若葉マークです。

Prev< No. 1731〜1736> Next  [最新発言に戻る] [過去ログ一覧]