SplunkかLogstorageかどちらにしようか決着をつけた

シンジです。以前ブログで、「“Splunk” or “Logstorage”のどちらを採用するか悩み中」というのを書きました。約1ヶ月前くらいですね。当時は「どうやってログを可視化したらいいんだろう」という点で悩んでいたわけですが、とうとう決着を付ける日が来たのです。

PCI DSSの監査は「Logstorage」を使った

いや、ここで重要なのは、Logstorageを使わないとPCI DSSに準拠できないということではありません。これまでcloudpackでは、OSSのツールを組み合わせて運用し、PCI DSSに準拠してきました。ではなぜLogstorageを使ったかというと、PCI DSS基準よりもハイレベルな運用を目指している(SOC 2に合わせている)からです。

Logstorageの特筆すべき点は「テンプレート」

PCI DSSに絞ってみてみても、既にどの要件に対してどういったログを可視化すべきかテンプレートとして予め用意されています。ユーザーはLogstorageをセットアップして、対象機器のログを放り込めば、後はいくつもの用意されたテンプレートにお任せで、監査を進めていくことができるわけです。これは楽ですね〜。もちろん、テンプレートを自分で仕上げることもできます。

もう1点重要な要素、取得ログのハッシュ生成と改ざん検知

Logstorageは取得した生ログを独自の形式に生成しなおし、圧縮、ハッシュ値を付加して悪意ある改ざんがなされることを前提とした運用を行う事が出来ます。PCI DSSの要件にも、改ざん検知がありますから、これにスムーズに準じることが出来るというわけです。

AWSとの親和性も高い

AWS Cloudtrailはもちろん、AWS Config、AWS CloudWatchLogsと、様々なJSONを分解していいかんじにしてくれます。特にAWS Configについての可視化具合が素晴らしくて、画像のように図面で起こしてくれるんですね。ただし、AWS Config自体がRDSなどのサービスに対応していないなど、全ての構成を可視化をしてくれるわけではない点は注意が必要です。

インシデントが起きたとき、対象のログをすぐに見たい

そんなときに対応力があると感じたのはLogstorageではなく、Splunkだったのです。

全てのログから、まるでGoogle検索のように探し当てていく

Splunkも検索テンプレートを自身で作ることが出来ますが、テンプレートというよりかは、ショートカットに近いイメージです。複数の検索演算子を組み合わせて、大きなログから絞り込んでいく。そして検索結果をざーっと眺めて、あーこれかね、これこれ、って感じで操作出来るのがSplunkの醍醐味です。

ある日、お客様のサービスに障害が発生しました

原因は、設定したはずの数値が、いつの間にかデフォルト値に戻っているということでした。え?この設定誰か書き換えた?誰がこのアカウントにログインしたの?最後に設定したのいつ?いやいや、設定変えてないですよ、僕は何もしてないんですよ。。。これを証明するために「ログ」を使いました。

AWS Cloudtrailのログを追いかける

Splunkでささっと検索して、障害が起きた時間の前後で眺めてみる。んー。確かに、誰も触ってない。ログイン履歴も対象の設定をいじった履歴も無い。これはおかしいぞ。

AWS エンタープライズサポートに問い合わせる

結果的にはAWS側のバグでした。が、この際にAWS Cloudtrailのログがあったからこそ、スムーズなやりとりが出来たわけです。もしログが無かったら、、、「僕は何もいじってませんよ!」「ほんとですかぁ?」などという不毛な争いに発展していたであろうに違いない(何

ところがPCI DSSの監査ではSplunkを使えなかった

いや、使いこなせなかったのです。Splunkを使うならば、Splunkマスターが社内に必要です。インフラ屋がVMwareを使う特に、エキスパートが必要な事や、ネットワーク屋がCiscoを使うときに、資格取得者を集めたりする、それに近しい物を感じます。

SplunkにもPCI DSSのテンプレートが存在した

が、別途有償で、はげそうな金額でした。その点、Logstorageはテンプレートがインクルードなので、使いやすかったわけです。Splunkはちょっと工夫の必要なログの収集や可視化には、別途Appsを提供して、それをユーザーが好き勝手インストールすることで、Splunkの機能を盛りだくさんに自身で作り上げていくわけですが、このAppsが全て無償では無いのです。

そしてシンジは考えた。どっちも使うことにしよう。

結論、一長一短です。でもLogstorageの方が未来は明るい気がしています。あーしたい、こーしたい、というシンジの声が、Logstorageには響いているのが体感出来るのですが、Splunkには届きすらしない感じがするのです。この手のソフトウェア、特にBtoBの場合、ユーザーは、ただの利用者ではなく、テスター、被験者でもあるのです。既にどちらのソフトウェアも、大変に信頼のおける導入実績があり、それそのものに不安はありません。がしかし、cloudpackとしてはこうあってほしいというワガママも少しくらいで良いので聞いて欲しいのです。

そしてシンジは目覚める、セキュリティ監査にログを使うのは古い

障害余地やセキュリティインシデント予防などにログを使うことが主流となりつつありますが、シンジは見つけてしまったのです。もっとカッチョイイすげー感じのやつを!(またブログにします、気になる方は適当に連絡頂ければ共有しますw是非一緒に人柱しましょうww)