Azure CLI を使用して Azure Data Lake Analytics を始めよう

この記事では、Azure CLI コマンド ライン インターフェイスを使用して、Azure Data Lake Analytics アカウントの作成、USQL ジョブの送信、カタログの送信を行う方法について説明します。 ジョブはタブ区切り値 (TSV) ファイルを読み取り、コンマ区切り値 (CSV) ファイルに変換します。

[前提条件]

開始する前に、次のものが必要です。

• Azure サブスクリプション。 Azure 無料試用版の取得に関するページを参照してください。
• この記事では、Azure CLI バージョン 2.0 以降を実行している必要があります。 インストールまたはアップグレードが必要な場合は、Azure CLI のインストールを参照してください。

Azure にサインインする

Azure サブスクリプションにサインインするには:

az login

URL を参照し、認証コードを入力するように要求されます。 次に、指示に従って資格情報を入力します。

ログインすると、ログイン コマンドによってサブスクリプションが一覧表示されます。

特定のサブスクリプションを使用するには:

az account set --subscription <subscription id>

Data Lake Analytics アカウントを作成する

ジョブを実行する前に、Data Lake Analytics アカウントが必要です。 Data Lake Analytics アカウントを作成するには、次の項目を指定する必要があります。

• Azure リソース グループ Data Lake Analytics アカウントは、Azure リソース グループ内に作成する必要があります。 Azure Resource Manager を使用すると、アプリケーション内のリソースをグループとして操作できます。 1 つの調整された操作で、アプリケーションのすべてのリソースをデプロイ、更新、または削除できます。

サブスクリプションの既存のリソース グループを一覧表示するには:

az group list

新しいリソース グループを作成するには:

az group create --name "<Resource Group Name>" --___location "<Azure Location>"

• Data Lake Analytics アカウント名。 各 Data Lake Analytics アカウントには名前があります。
• Location。 Data Lake Analytics をサポートする Azure データ センターのいずれかを使用します。
• 既定の Data Lake Store アカウント: 各 Data Lake Analytics アカウントには、既定の Data Lake Store アカウントがあります。

既存の Data Lake Store アカウントを一覧表示するには:

az dls account list

新しい Data Lake Store アカウントを作成するには:

az dls account create --account "<Data Lake Store Account Name>" --resource-group "<Resource Group Name>"

Data Lake Analytics アカウントを作成するには、次の構文を使用します。

az dla account create --account "<Data Lake Analytics Account Name>" --resource-group "<Resource Group Name>" --___location "<Azure ___location>" --default-data-lake-store "<Default Data Lake Store Account Name>"

アカウントを作成したら、次のコマンドを使用してアカウントを一覧表示し、アカウントの詳細を表示できます。

az dla account list
az dla account show --account "<Data Lake Analytics Account Name>"

Data Lake Store にデータをアップロードする

このチュートリアルでは、いくつかの検索ログを処理します。 検索ログは、Data Lake ストアまたは Azure Blob Storage のいずれかに格納できます。

Azure portal には、いくつかのサンプル データ ファイルを既定の Data Lake Store アカウント (検索ログ ファイルを含む) にコピーするためのユーザー インターフェイスが用意されています。 既定の Data Lake Store アカウントにデータをアップロードするための ソース データの準備 を参照してください。

Azure CLI を使用してファイルをアップロードするには、次のコマンドを使用します。

az dls fs upload --account "<Data Lake Store Account Name>" --source-path "<Source File Path>" --destination-path "<Destination File Path>"
az dls fs list --account "<Data Lake Store Account Name>" --path "<Path>"

Data Lake Analytics は、Azure Blob Storage にもアクセスできます。 Azure Blob Storage へのデータのアップロードについては、Azure Storage での Azure CLI の使用に関するページを参照してください。

Data Lake Analytics ジョブを提出する

Data Lake Analytics ジョブは U-SQL 言語で記述されます。 U-SQL の詳細については、「 U-SQL 言語と U-SQL 言語 リファレンスの概要」を 参照してください。

Data Lake Analytics ジョブ スクリプトを作成するには

次の U-SQL スクリプトを含むテキスト ファイルを作成し、テキスト ファイルをワークステーションに保存します。

@a  =
    SELECT * FROM
        (VALUES
            ("Contoso", 1500.0),
            ("Woodgrove", 2700.0)
        ) AS
              D( customer, amount );
OUTPUT @a
    TO "/data.csv"
    USING Outputters.Csv();

この U-SQL スクリプトは 、Extractors.Tsv()を使用してソース データ ファイルを読み取り、 Outputters.Csv() を使用して csv ファイルを作成します。

ソース ファイルを別の場所にコピーしない限り、2 つのパスを変更しないでください。 Data Lake Analytics では、出力フォルダーが存在しない場合は作成されます。

既定の Data Lake Store アカウントに格納されているファイルの相対パスを使用する方が簡単です。 絶対パスを使用することもできます。 例えば次が挙げられます。

adl://<Data LakeStorageAccountName>.azuredatalakestore.net:443/Samples/Data/SearchLog.tsv

リンクされたストレージ アカウント内のファイルにアクセスするには、絶対パスを使用する必要があります。 リンクされた Azure Storage アカウントに格納されているファイルの構文は次のとおりです。

wasb://<BlobContainerName>@<StorageAccountName>.blob.core.windows.net/Samples/Data/SearchLog.tsv

ジョブを送信するには

ジョブを送信するには、次の構文を使用します。

az dla job submit --account "<Data Lake Analytics Account Name>" --job-name "<Job Name>" --script "<Script Path and Name>"

例えば次が挙げられます。

az dla job submit --account "myadlaaccount" --job-name "myadlajob" --script @"C:\DLA\myscript.txt"

ジョブを一覧表示し、ジョブの詳細を表示するには

az dla job list --account "<Data Lake Analytics Account Name>"
az dla job show --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

ジョブを取り消すには

az dla job cancel --account "<Data Lake Analytics Account Name>" --job-identity "<Job Id>"

ジョブの結果を取得する

ジョブが完了したら、次のコマンドを使用して出力ファイルを一覧表示し、ファイルをダウンロードできます。

az dls fs list --account "<Data Lake Store Account Name>" --source-path "/Output" --destination-path "<Destination>"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv"
az dls fs preview --account "<Data Lake Store Account Name>" --path "/Output/SearchLog-from-Data-Lake.csv" --length 128 --offset 0
az dls fs download --account "<Data Lake Store Account Name>" --source-path "/Output/SearchLog-from-Data-Lake.csv" --destination-path "<Destination Path and File Name>"

例えば次が挙げられます。

az dls fs download --account "myadlsaccount" --source-path "/Output/SearchLog-from-Data-Lake.csv" --destination-path "C:\DLA\myfile.csv"

次のステップ

• Data Lake Analytics Azure CLI リファレンス ドキュメントについては、 Data Lake Analytics を参照してください。
• Data Lake Store Azure CLI リファレンス ドキュメントについては、 Data Lake Store を参照してください。
• より複雑なクエリを表示する場合は、「 チュートリアル: Azure Data Lake Analytics を使用して Web サイトのログを分析する」をご覧ください。