PipelineDBとContinuous Queryについて調べたこと
TechCrunchの記事で、PipelineDBがオープンソースでリリースされたことを知ったので調べてみた。
記事には、
このオープンソースのデータベースはSQLのクェリを連続的にストリーミングで流し、結果のテーブルを次々と保存する。協同ファウンダのDerek Nelsonはこう説明する: “連続的な処理とリレーショナルのストレージを一体化しているので、ストリーム処理をしながら、別途、外付けのストレージシステムを管理しなくてもよい”。
とあるが、何のことかさっぱりわからないので、マニュアルを読んでみる。
Introduction — PipelineDB 0.8.0 documentation
Continuous query
読み始めたはいいが、マニュアルに頻出する単語、continuous queriesがさっぱりわからないので、検索してみる。
この資料 http://www.ieice.org/iss/de/DEWS/proc/2004/paper/doc/ms-1.pdf によると、
データストリームからの到着データへ繰り返し問合せを適用する処理方式。 到着データをタイムスタンプが付加された無限のタプル列とみなす。
なるほど。このデータストリームにSQLで問い合わせできるのが特徴なわけね。
PipelineDBとは
特徴を整理する。
- PostgleSQLベースで開発されているオープンソースなDB
- まだDBに保存していないデータストリームを扱うことができる
- データストリームにSQLで繰り返し問い合わせでき、テーブルやビューのように扱うことができる
使い方のイメージ
実際にどんなシーンで使えるか。データストリームへの問い合わせとはどういうことかは、PipelineDBのトップページをみるとJavaScriptのアニメーションがあるのでわかりやすい。
公式ページのExamples
大量に流れてくるデータ、ログをモニタリングしてごにょごにょするのが使いどころか。 ポイントは、ごにょごにょの処理でSQLで書けるところ。まだDBにInsertする前なのに。 例えば、サーバーのログを監視しておいて、レイテンシがnミリ秒以上なレスポンスが1分以内に50回あったらアラートという処理がSQLで書ける。これまではDBにInsertする前のデータストリームの状態では、アプリケーションで使っているプログラミング言語、もしくはCQL(Continuous Query Language)で処理を書く必要があった。
PipelineDBを使えば、SQLで書けるね。これまでバッチ処理をしていたSQLをそのままリアルタイム処理にできるよってのがメリットかな。
ソースコード
CROSS 2015でデザイナーパネルディスカッションやってきました #cross2015
技術評論社のサイト gihyo.jp にレポートが掲載されました
企画したきっかけ
スタートアップを立ち上げて自分たちのWebサービスをスクラッチから作ってきたのですが、最近はデザイナーさんとのやり取りが多くなってきました。前職はSIerだったためデザイナーさんと仕事で関わることは無く、最初はどうやって進めていったら良いのか悩んでいました。幸いにも周りの人たちの協力で少しずつデザイナーさんとの共同作業に慣れてきましたが、ずっとエンジニアとデザイナーの関係についてのベストプラクティスについて考えていました。そこで、友人や紹介していただいたデザイナーさんに参加してもらって、デザイナーさんの視点からエンジニアとのコミュニケーションや仕事の進め方について語ってもらおうという俺得企画です。
パネリスト
- 株式会社nanapi 木村 真理さん
- 株式会社FULLER 櫻井 裕基さん
- 株式会社サイバーエージェント 新妻 里夏さん
- 株式会社LIG 堀口 誠人さん
概要
デザイナーの作業領域がコーディングよりになっていっている背景をもとに、エンジニアはデザインついてどこまで踏み込めば良いのか、そしてエンジニアとデザイナーの理想の関係を考えるというテーマでディスカッションを行いました。
パネリスト紹介
株式会社nanapi 木村 真理さん
株式会社FULLER 櫻井 裕基さん
株式会社サイバーエージェント 新妻 里夏さん
株式会社LIG 堀口 誠人さん
toggetter
CROSS 2015 デザイナーからのラブレター #cross2015 - Togetter
感想
ディスカッションの中での話題で、この2つが心に残りました。
- エンジニアもデザイナーもお互いの作業領域に踏み込んでいくことが大切
- コミュニケーション、共通認識が大事。（例: エンジニアとデザイナーで共用Pinterestアカウントを作り、良いと思ったデザインサイトをピンしていく）
- 仕様変更を前提とした修正しやすいデザインを作っている人がいる
特に3番目は、拡張しやすいコードが正義なエンジニアにとってとてもわかりやすいことでした。拡張しやすいデザイン、再利用しやすいデザインがデザイナーさんたちの間でも広がっていってるんだなと知りました。
最後になりましたが、参加者とCROSS2015運営スタッフの皆さんに感謝いたします！
エンジニアサポートCROSS 2015でデザイナーパネルディスカッションやります
エンジニアサポートCROSS 2015で、デザイナーパネルディスカッションやります。
- 日時: 2015/01/29（木）
- 場所: 横浜港大さん橋ホール
- テーマ: デザイナーからのラブレター 〜デザイナーが本音で話すエンジニアとの新しいカンケイ〜
- 概要: スタートアップベンチャーで活躍しているWebデザイナー/フロントエンジニアが集まりパネルディスカッションを行います。エンジニアはどこまでデザインを理解するべきかデザイナーがいっしょに仕事をしやすいエンジニアのポイント今後、デザイナーとエンジニアの作業領域の変化はどうなる？
- 登録サイト: http://cross2015.peatix.com/
私自身はデザイナーではないのですが、最近デザイナーさんといっしょに仕事をする機会が多くなり、もっとデザイナーやデザイナーさんについて知りたいと思ってこのセッションを企画しました。
パネラーはスタートアップや有名Web企業の第一線で働いているデザイナーさんなので、現場のリアルなお話が聞けると思います。この企画のために打ち合わせを数回したのですが、そのときの話だけでもためになりました。
デザイナーさんといっしょに開発している方やこれからいっしょに開発をしたい方、ぜひお越し下さい。
第二回もんご祭りの発表スライドまとめ
2014/10/11（土）に行われた第二回もんご祭りのスライドをまとめます。
第二回もんご祭りの概要はスタートアップCTO x MongoDBパネルディスカッションやります - Shokenをどうぞ。
Mongo db as_a_building_block
OpenStreetMap+MongoDBで地図情報を検索してみたい！
スタートアップCTO x MongoDB パネルディスカッション
MongoDB祭り 2014年
第二回もんご祭 パネルディスカッション by yujiosaka
スタートアップCTO x MongoDBパネルディスカッションやります
第二回もんご祭りで、CTOパネルディスカッションやります。
http://mongodb.jp/mongo/noryo2014/top
- 日時: 2014/10/11（土）
- 場所: AP渋谷道玄坂
- テーマ: MongoDBの使いどころとは？
- 参加費: 無料
- 登録サイト: http://62e60c2c9e4f4c61769ea89b71.doorkeeper.jp/events/15132
内容
スタートアップCTOが自社サービスでの事例を中心に、MongoDBの使いどころ、運用面、メリット/デメリット、MongoDBのロードマップについて議論します。
当日は会場の参加者からも質問を募集する予定です。
スピーカー
- ニュース、サクサク スマートニュース 大平 哲也氏
- お料理写真レシピアプリ SnapDish 清田 史和氏
- Mongoで月間10億pvを支える ZenClerk 礒部 有司氏
- モデレータ KitchHike 藤崎 祥見
第二回もんご祭りへの参加方法
Doorkeeperから申し込みください。第二回もんご祭りでは他にも、
などを予定しています。
MongoDBを使っている人、これから使おうとしている人、なんとなく興味ある方、10/11に渋谷でお待ちしてます！
http://62e60c2c9e4f4c61769ea89b71.doorkeeper.jp/events/15132
追記 当日の様子とスライド
SnapDish 清田 史和氏
www.slideshare.net
