www.youtube.com 旧ソ連からカナダに亡命したジャーナリスト、Yuri Bezmenovによる講演、というかヨタ話。 概要 ハリウッド映画に出てくるKGBのスパイは、マイクロフィルムを盗んだり橋を爆破したりしているが、そういうのはリアルな活動のせいぜい15%。残り…

Teradata Rollback - Abort As An Emergency Solution | DWHPRO 概要 大量のロールバックはCPUを大量に使うので、システムのパフォーマンスを悪化させる。 ロールバック対象のテーブルは長時間ロックされる。何日もロックされっぱなしになった事例を知ってい…

www.youtube.com 概要 (どうやってAppleでのキャリアを始めたの?) 13歳のときにプログラミングを習って、コンピュータが欲しくなったんだけど、当時は高価で冷蔵庫ぐらいのサイズがあって... いろいろ調べたらスタンフォードにコンピュータを自作するサーク…

youtu.be 概要 まずパフォーマンスの比較。 結果は(BigQueryがちょっと速いが)3つともあまり変わらなかった。 「3つとも変わらない」ということは我々のベンチマークがまともなものであったことのサイン。 次にコストを比較した。 Snowflake, Redshiftは時間…

youtu.be 概要 同じクラスのyounger群は、older群に比べて大学進学率が11%も低い。younger群の才能は浪費されている。 第三の制約は態度(attitude)にかかわるもの。 なぜアジア系の子供は、西洋の子供よりも数学ができるのか。これは数学の問題に対するattit…

www.youtube.com 概要 『グラッドウェルの新作Outliersは「特別なことを成し遂げる人と、その他大勢との違いは何か」という疑問についての本です。』 我々の社会は、そのポテンシャルの何割をcapitalizeできているだろうか? どれだけ効率的に才能を利用でき…

www.linkedin.com 概要 マイクロパーティション間で、格納する列値の範囲が重なっている。これは(「特定の値は特定のパーティションに」というアプローチに比べて)skewの抑止に役立つ。 ユーザは圧縮アルゴリズムを指定しなくてよい(そもそもできない?)。Sno…

youtu.be 概要 我々は100GBオーダーのデータセットでベンチマークした。顧客のDWHがそれぐらいの規模感だから。 TPC-DSを使って、現実のDWHで発行されてるような、複雑な述語, 集約, 複数のサブクエリを含むクエリを投げてテストした。 また特定の製品に有利…

www.youtube.com 概要 我々が行ったベンチマークには、わが社の顧客が直面している問題を反映している。 顧客の最優先課題の多くは、データ量ではなくクエリの複雑さ。 ベンチマークの話の前にOLTPとOLAPの違いについて説明したい。多くの技術者がこの違いを…

www.youtube.com 概要 プランA:clustered index scanと、プランB:index seek + key lookupのどちらがよいかは、場合による。 パラメータに0を設定したクエリAで選択されるプランAは、行数予測がほぼ正確。8.1秒で実行された。 パラメータに238を設定したクエ…

www.youtube.com 概要 2500年前の地中海/メソポタミアには多数の言語があった。polyglotsがいた。 中国も同じ。漢人は中華から南下したときに多数の他言語話者と遭遇したがある程度のコミュニケーションができていた。つまりpolyglotsがいた。 もっと近年で…

www.youtube.com 概要 本番DBのデータをテストDBにコピーするのは、時間がかかるし、ディスク容量も食う。またコピー後の本番DBの更新はテストDBに反映されず、テストデータがstaleになってしまいがち。 Snowflakeのzero-copy cloningなら数秒でコピーできる…