しんめたる(@sinmetal)/2014年05月08日

@a_know bigqueryのstreaming insertなかなかイイですよ！(^^)

タグ：

posted at 09:46:47

@hogedigo おお。ちょうどぼくもいまBigQueryを触っているところではあるのですが...取りこぼしとかは大丈夫そうです？

タグ：

posted at 09:47:25

@a_know １週間くらい動かしてデータ比較したカンジでは問題なさそうでしたが、厳密なデータにはdatastoreの方がいいかもしれませんね。streaming insertがどうというより、bigqueryにしかデータがないのがちょっと不安・・・

タグ：

posted at 09:52:28

@hogedigo データ比較もされてるんですね、結構大丈夫そう...^^　でもまぁたしかに、「BigQueryにしかない」というのはスースーしますねｗ

タグ：

posted at 09:54:14

@a_know あと、データ重複はありえるとドキュメントにも書かれているので、レコードにID振ってgroup byかdistinctする必要あるかも。検証した限りでは重複は出ませんでしたが。。

タグ：

posted at 09:57:54

@hogedigo BigQueryだとどんどん追加ロードできますもんねぇ。たしかに、ユニークなカラムを用意しておいて、デフォルトでdistinctするようにしておいたほうがよさそうですね。

タグ：

posted at 09:59:45

@a_know 一応insertId指定しておくと1分間は重複排除してくれるらしいです。

タグ：

posted at 10:00:43

@hogedigo そんな仕組みがあるんですかｗｗ insertIdってのは、streaming insert の際に一緒に指定できるパラメータ的な？（それともそういう名前でカラムを持たせておく？）

タグ：

posted at 10:01:57

@a_know 1行に対してsetInsertIdできるので、レコードのkeyでも指定しておけばよいかと。

タグ：

posted at 10:18:17

@hogedigo なるほど、「このカラムをinsertIdに」みたいな指定ができるのですね^^

タグ：

posted at 10:20:33