クエリ アクセラレーション SQL 言語リファレンス

クエリ アクセラレーションでは、BLOB コンテンツに対するクエリを表現するための ANSI SQL に似た言語がサポートされています。 クエリ アクセラレーション SQL 言語は ANSI SQL のサブセットであり、サポートされているデータ型や演算子などのセットが限られていますが、ANSI SQL 上でも拡張され、JSON などの階層的な半構造化データ形式に対するクエリがサポートされます。

SELECT 構文

クエリ アクセラレーションでサポートされる SQL ステートメントは SELECT ステートメントだけです。 次の使用例は、式が true を返すすべての行を返します。

SELECT * FROM table [WHERE expression] [LIMIT limit]

CSV 形式のデータの場合、 テーブル は BlobStorageする必要があります。 つまり、REST 呼び出しで指定された BLOB に対してクエリが実行されます。 JSON 形式のデータの場合、 テーブル は "テーブル記述子" です。この記事の 「テーブル記述子」 セクションを参照してください。

次の例では、WHERE 式が true を返す各行について、このステートメントは各プロジェクション 式 の評価から作成された新しい行を返します。

SELECT expression [, expression ...] FROM table [WHERE expression] [LIMIT limit]

SELECT 式の一部として 1 つ以上の特定の列 (たとえば、 SELECT Title, Author, ISBN) を指定できます。

次の例では、 式 が true を返す行ごとに集計計算 (たとえば、特定の列の平均値) を返します。

SELECT aggregate_expression FROM table [WHERE expression] [LIMIT limit]

次の例では、CSV 形式の BLOB を分割するための適切なオフセットを返します。 この記事の Sys.Split セクションを参照してください。

SELECT sys.split(split_size)FROM BlobStorage

データ型

CSV 形式のデータから値を読み取ると、すべての値が文字列として読み取られます。 文字列値は、CAST 式を使用して他の型に変換できます。 値は、コンテキストに応じて他の型に暗黙的にキャストされる場合があります。 詳細については、「 データ型の優先順位 (Transact-SQL)」を参照してください。

式

フィールドの参照

JSON 形式のデータ、またはヘッダー行を含む CSV 形式のデータの場合、フィールドは名前で参照できます。 フィールド名は引用符または引用符で囲む必要があります。 引用符で囲まれたフィールド名は、二重引用符 (") で囲まれており、スペースを含む場合があり、大文字と小文字が区別されます。 引用符で囲まれていないフィールド名では大文字と小文字が区別されず、特殊文字を含めなくてもかまいません。

CSV 形式のデータでは、フィールドの先頭にアンダースコア (_) 文字が付いた序数でフィールドを参照することもできます。 たとえば、最初のフィールドを _1として参照することも、11 番目のフィールドを _11 として参照することもできます。 序数によるフィールドの参照は、ヘッダー行を含まない CSV 形式のデータに役立ちます。この場合、特定のフィールドを参照する唯一の方法は序数です。

オペレーター

次の標準 SQL 演算子がサポートされています。

演算子の左右のデータ型が異なる場合、自動変換は、データ 型の優先順位 (Transact-SQL) で指定された規則に従って実行されます。

クエリ アクセラレーション SQL 言語では、その記事で説明されているデータ型のごく一部のみがサポートされます。 この記事の 「データ型」 セクションを参照してください。

キャスト

クエリ アクセラレーション SQL 言語では、データ 型変換 (データベース エンジン) の規則に従って CAST 演算子がサポートされます。

クエリ アクセラレーション SQL 言語では、その記事で説明されているデータ型のごく一部のみがサポートされます。 この記事の 「データ型」 セクションを参照してください。

文字列関数

クエリ アクセラレーション SQL 言語では、次の標準 SQL 文字列関数がサポートされています。

以下にいくつか例を示します。

データ関数

次の標準 SQL 日付関数がサポートされています。

• DATE_ADD
• DATE_DIFF
• EXTRACT
• TO_STRING
• TO_TIMESTAMP

現在、 標準IS08601のすべての日付形式 が変換されています。

DATE_ADD関数

クエリ アクセラレーション SQL 言語では、 DATE_ADD 関数の年、月、日、時、分、秒がサポートされます。

例：

DATE_ADD(datepart, quantity, timestamp)
DATE_ADD('minute', 1, CAST('2017-01-02T03:04:05.006Z' AS TIMESTAMP)

DATE_DIFF関数

クエリ アクセラレーション SQL 言語では、 DATE_DIFF 関数の年、月、日、時、分、秒がサポートされます。

DATE_DIFF(datepart, timestamp, timestamp)
DATE_DIFF('hour','2018-11-09T00:00+05:30','2018-11-09T01:00:23-08:00') 

EXTRACT 関数

DATE_ADD関数でサポートされている日付部分以外の EXTRACT の場合、クエリ アクセラレーション SQL 言語では、日付部分としてtimezone_hourとtimezone_minuteがサポートされます。

例：

EXTRACT(datepart FROM timestampstring)
EXTRACT(YEAR FROM '2010-01-01T')

TO_STRING関数

例：

TO_STRING(TimeStamp , format)
TO_STRING(CAST('1969-07-20T20:18Z' AS TIMESTAMP),  'MMMM d, y')

次の表では、 TO_STRING 関数の出力形式を指定するために使用できる文字列について説明します。

TO_TIMESTAMP関数

IS08601形式のみがサポートされています。

例：

TO_TIMESTAMP(string)
TO_TIMESTAMP('2007T')

集計式

SELECT ステートメントには、1 つ以上のプロジェクション式または単一の集計式を含める場合があります。 次の集計式がサポートされています。

行方不明

IS MISSING演算子は、クエリ アクセラレーション SQL 言語がサポートする唯一の非標準です。 JSON データの場合、フィールドが特定の入力レコードに存在しない場合、 IS MISSING 式フィールドはブール値 true に評価されます。

テーブル記述子

CSV データの場合、テーブル名は常に BlobStorage。 例えば次が挙げられます。

SELECT * FROM BlobStorage

JSON データの場合、追加のオプションを使用できます。

SELECT * FROM BlobStorage[*].path

これにより、JSON データのサブセットに対するクエリが可能になります。

JSON クエリの場合は、FROM 句の一部でパスを指定できます。 これらのパスは、JSON データのサブセットを解析するのに役立ちます。 これらのパスは、JSON 配列とオブジェクトの値を参照できます。

これを詳しく理解する例を見てみましょう。

これはサンプル データです。

{
  "id": 1,
  "name": "mouse",
  "price": 12.5,
  "tags": [
    "wireless",
    "accessory"
  ],
  "dimensions": {
    "length": 3,
    "width": 2,
    "height": 2
  },
  "weight": 0.2,
  "warehouses": [
    {
      "latitude": 41.8,
      "longitude": -87.6
    }
  ]
}

上記のデータの warehouses JSON オブジェクトにのみ関心がある場合があります。 warehouses オブジェクトは JSON 配列型であるため、FROM 句でこれを指定できます。 サンプル クエリは次のようになります。

SELECT latitude FROM BlobStorage[*].warehouses[*]

クエリはすべてのフィールドを取得しますが、緯度のみを選択します。

dimensions JSON オブジェクト値にのみアクセスする場合は、クエリでそのオブジェクトを参照できます。 例えば次が挙げられます。

SELECT length FROM BlobStorage[*].dimensions

これにより、 dimensions オブジェクトのメンバーへのアクセスも制限されます。 JSON フィールドの他のメンバーと JSON オブジェクトの内部値にアクセスする場合は、次の例に示すようなクエリを使用できます。

SELECT weight,warehouses[0].longitude,id,tags[1] FROM BlobStorage[*]

Sys.Split

これは、CSV 形式のデータに対してのみ使用できる SELECT ステートメントの特殊な形式です。

SELECT sys.split(split_size) FROM BlobStorage

CSV データ レコードをダウンロードしてバッチ処理する場合は、このステートメントを使用します。 こうすることで、すべてのレコードを一度にダウンロードする必要なく、レコードを並列で処理できます。 このステートメントは、CSV ファイルからレコードを返しません。 代わりに、バッチ サイズのコレクションを返します。 その後、各バッチ サイズを使用して、データ レコードのバッチを取得できます。

split_size パラメーターを使用して、各バッチに含めるバイト数を指定します。 たとえば、一度に 10 MB のデータのみを処理する場合、ステートメントは次のようになります。 SELECT sys.split(10485760)FROM BlobStorage 、10 MB は 10,485,760 バイトに等しいからです。 各バッチには、これらの 10 MB に収まる数のレコードが含まれます。

ほとんどの場合、各バッチのサイズは、指定した数よりも少し大きくなります。 これは、バッチに部分レコードを含めることができないためです。 バッチ内の最後のレコードがしきい値の終了前に開始される場合、バッチは大きくなり、完全なレコードを含めることができます。 最後のバッチのサイズは、指定したサイズよりも小さい可能性があります。

こちらも参照ください

• Azure Data Lake Storage クエリの高速化
• Azure Data Lake Storage クエリ アクセラレーションを使用してデータをフィルター処理する