2021-01-14 Why Snowflake is so fast…? The answer lies within the “Micro Partitions”(FDN) www.linkedin.com 概要 マイクロパーティション間で、格納する列値の範囲が重なっている。これは(「特定の値は特定のパーティションに」というアプローチに比べて)skewの抑止に役立つ。 ユーザは圧縮アルゴリズムを指定しなくてよい(そもそもできない?)。Snowflakeが最適なアルゴリズムを自動判定する。 Snowflakeはclusteringを変わった意味で使っている。なんだかsortkeyみたいな意味に見える。 Snowflakeのpruningは以下の2段階で行うので、応答が超速い: メタデータを見て、目的のデータを含むマイクロパーティションだけを読む マイクロパーティション内の、目的の列のみを読む FDN(Flocon de Neige)はマイクロパーティションのファイルフォーマットの名前 語彙 referenceは「参照する/言及する」という動詞でもある。referと同じ意味みたいに見えるが、referenceのほうがチェック可能なソースを参照している感じがするらしい。 prune: 刈り込む
