Splunkを使ってみよう！

こんにちは。

Splunkに触る機会がありましたので少しだけ紹介してみたいと思います。

Splunkとは・・・
ログなどを収集し、快適に検索、解析などを可能にするアプリケーションです。
ご存知とは思いますが膨大な量になるログデータを分析するのは容易ではありません。

今回はWindowsにインストールしました。
インストール方法は省略します。
本来はLinuxのようなサーバで使用するはずですので。

[Add data]からログデータを追加します。
今回は下記のような簡単な認証ログを作成しました。

データの登録ができたら、Field extractionsの設定をします。
日付、認証タイプ、Usernameなど、Indexを作成したい項目に対して正規表現で追加します。
DatabaseにIndexを生成する感じでしょうか。

これで簡単な解析の準備ができました。
Search画面で先ほど登録したデータソースに対して全件検索をかけてみます。

登録したログデータが検索できています。

ここからSQLライクな使い方で検索をしてみます。
ログをそのままgrepしたり、必要な項目だけ抽出するようなコマンドを作るのは結構面倒ですよね。
コマンドはパイプ区切りで記述します。

ではIPで検索してみましょう。
先ほどの全件の中から[127.0.0.1]のみ抽出します。
データに対して検索を行うので[search]コマンドです。
fieldはremote_ipで作成してあります。

sourcetype=test_login | search remote_ip = 127.0.0.1

ではもう少しひねって。
いくつかIPを散りばめてあるので、ユニークな検索をしてみます。
データ群に対して統計を取得したい場合は[stats]コマンドを使用します。
こちらは仮想テーブルに出力されます。
group byのような感じですね。カウントも出します。

sourcetype=test_login | stats count by remote_ip

これでユニークなIPが抽出できました。
このままExportもできますので、必要な情報だけ出力することができます。
対象が多い場合は便利ですね。

まだまださわり程度なのですが
また何か新しいことを覚えたらお伝えしてみたいと思います。