InfiniDB でリアルタイムDWHを作る PART3 ~驚速DWHの構築


さあ、いよいよ、リアルタイムDWHの構築です。環境につきましては、前回ここで説明した通りです、最終的なリアルタイムDWHを運用するまでには、すこし手間はかかりますが、順序を把握していれば数が増えても同じ手順で行えます。とか言ってみる

続きを読む “InfiniDB でリアルタイムDWHを作る PART3 ~驚速DWHの構築”

InfiniDB でリアルタイムDWHを作る PART2(環境構成詳細)


前回のMySQLとInfiniDB でリアルタイムDWHを作る PART1から、だいぶ間が空いてしまいましたが、そろそろリアルタイムDWHの話を復活しようと思います。PART2では、リアルタイムDWHを構築する際の環境構成について説明し、結果何をどうしたいのか?の結果を記載します。

続きを読む “InfiniDB でリアルタイムDWHを作る PART2(環境構成詳細)”

MySQLとInfiniDB でリアルタイムDWHを作る PART1


むかしむかし、僕のブログでこんなことを書きました。
(OSSなDWH InfiniDB の話 ⑤ ~リアルタイムDWH化について)
もう一年以上経っちゃいました・・・。この話、もちろん忘れていたわけでもなく、需要があまりなかったので、「ふーん、世間ではそんなにニーズがないのかな?」と思いつつ、特になにもしていなかったのですが、ようやく世間が僕に追い付いた(嘘)ので、そろそろ書こうと思った次第です。

続きを読む “MySQLとInfiniDB でリアルタイムDWHを作る PART1”

OSSなDWH InfiniDB 2.2.2最新版をインストールしてみる


OSSのDWH InfiniDBが、VER 2.2.2 にアップしたみたいなので改めてインストール手順書を書いてみました。
InfiniDBは、カラム指向のデータベースで、更新の性能は弱いですが、検索の性能は高いです。また、MySQLのストレージエンジンとして提供されているため、MySQLとの親和性に優れており、構成によっては、MySQLのレプリケーションの一環として、組み込むことができるかもしれません。


続きを読む “OSSなDWH InfiniDB 2.2.2最新版をインストールしてみる”

OSSなDWH InfiniDB の話 ⑤ ~リアルタイムDWH化について


前回に引き続き、DWH(データウェアハウス)である、InfiniDBの話です。

DWHは、Data Warehouse という意味で、データの倉庫って意味合いです。
なので、利用の方法を考えると、データに即時性があまり必要なく、大量のデータを分析する用途で使うケースが多いと思いますし、多いどころか、それが普通の使い方だと思います。分析用途のためトランザクションは必要なく、データの流し込み(ロード)と、検索が高速であれば、それで充分なのです。

本来であればそれで充分なのですが・・・。
それに加え
データの流し込みも定点的な流し込み(LOADとかではなくて)、リアルタイム化したいなとずっと思っておりまして、今回試しているのが、リアルタイムDWHの話なのです


続きを読む “OSSなDWH InfiniDB の話 ⑤ ~リアルタイムDWH化について”

OSSなDWH InfiniDB の話 ④ ~InnoDB エンジンと共存する方法


いまさら気づいたのですが、Infinidb には、標準のセットアップでは、InnoDBが入っておりません。標準でインストールされているストレージエンジンはCSV、MRG_MYISAM、MEMORY、
MyISAM、InfiniDBの5つのエンジンのみになります。DWHがメインの利用方法なので、あえてはずしてあるのかと思いますが、やっはり使いたいですよね?Innodbは、プラグイン(Plugin)として実装できるように作られております。そんな手順を掲載します。
続きを読む “OSSなDWH InfiniDB の話 ④ ~InnoDB エンジンと共存する方法”

OSSなDWH InfiniDB の話 ③ ~データのロード


前回の投稿で、郵便番号テーブル(zip) を作成しました、今後はこのテーブルの中に、
郵便番号データをロードする方法を説明します。まあ、普通にやれば、mysql 同様、LOADでやれば良いのですが、InfiniDBならではのロード方法、バルクローダーについてここでは説明いたします。
続きを読む “OSSなDWH InfiniDB の話 ③ ~データのロード”