mltable 패키지

구분된 파일의 지정된 목록에서 MLTable을 만듭니다.

from_delimited_files(paths, header='all_files_same_headers', delimiter=',', support_multi_line=False, empty_as_string=False, encoding='utf8', include_path_column=False, infer_column_types=True)

매개 변수

   from mltable import from_delimited_files

   # default behavior: support_multi_line=False
   mltable = from_delimited_files(path)
   print(mltable.to_pandas_dataframe())
   #      A   B     C
   #  0  A1  B1    C1
   #  1  A2   B  None
   #  2  2"  C2  None

   # to handle quoted line breaks
   mltable = from_delimited_files(path, support_multi_line=True)
   print(mltable.to_pandas_dataframe())
   #      A       B   C
   #  0  A1      B1  C1
   #  1  A2  B\r\n2  C2

   from mltable import from_delimited_files

   # default behavior: support_multi_line=False
   mltable = from_delimited_files(paths, infer_column_types={
       'sample_size': 100,
       'column_type_overrides': {
           'colA': 'boolean'
           ('colB', 'colC'): DataType.to_int()
       }
   })

반환

설명

유효한 경로 문자열이 있어야 합니다.

   # load mltable from local delimited file
   from mltable import from_delimited_files
   paths = [{"file": "./samples/mltable_sample/sample_data.csv"}]
   mltable = from_delimited_files(paths)

Delta Lake 테이블에서 Parquet 파일에서 읽을 MLTable 개체를 만듭니다.

from_delta_lake(delta_table_uri, timestamp_as_of=None, version_as_of=None, include_path_column=False)

매개 변수

반환

설명

from_delta_lake 델타 레이크 폴더의 데이터를 테이블 형식 표현으로 로드하는 작업을 정의하는 MLTable 개체를 만듭니다.

Azure Machine Learning에서 데이터에 액세스할 수 있도록 하려면 경로 가 델타 테이블 디렉터리를 가리키고 참조되는 델타 레이크 파일은 AzureML 서비스 또는 공용 웹 URL 뒤에서 액세스할 수 있어야 합니다.

from_delta_lake 로컬 경로, Blob, ADLS Gen1 및 ADLS Gen2를 가리키는 URI에서 델타 레이크 데이터 읽기를 지원합니다.

사용자는 반환된 MLTable에서 to_pandas_dataframe() 를 호출하여 데이터를 읽고 구체화할 수 있습니다.

   # create an MLTable object from a delta lake using timestamp versioning and materialize the data
   from mltable import from_delta_lake
   mltable_ts = from_delta_lake(delta_table_uri="./data/delta-01", timestamp_as_of="2021-05-24T00:00:00Z")
   pd = mltable_ts.to_pandas_dataframe()

   # create  an MLTable object from a delta lake using integer versioning and materialize the data
   from mltable import from_delta_lake
   mltable_version = from_delta_lake(delta_table_uri="./data/delta-02", version_as_of=1)
   pd = mltable_version.to_pandas_dataframe()

지정된 JSON 파일 경로 목록에서 MLTable을 만듭니다.

from_json_lines_files(paths, invalid_lines='error', encoding='utf8', include_path_column=False)

매개 변수

반환

설명

유효한 경로 사전이 있어야 합니다.

   # load mltable from local JSON paths
   from mltable import from_json_lines_files
   paths = [{'file': './samples/mltable_sample/sample_data.jsonl'}]
   mltable = from_json_lines_files(paths)

parquet 파일의 지정된 목록에서 MLTable을 만듭니다.

from_parquet_files(paths, include_path_column=False)

매개 변수

반환

설명

유효한 경로 사전이 있어야 합니다.

   # load mltable from local parquet paths
   from mltable import from_parquet_files
   paths = [{'file': './samples/mltable_sample/sample.parquet'}]
   mltable = from_parquet_files(paths)

지정된 경로에서 MLTable을 만듭니다.

from_paths(paths)

매개 변수

반환

설명

유효한 경로 사전이 있어야 합니다.

   # load mltable from local paths
   from mltable import from_paths
   tbl = from_paths([{'file': "./samples/mltable_sample"}])

   # load mltable from cloud paths
   from mltable import load
   tbl = from_paths(
       [{'file': "https://<blob-storage-name>.blob.core.windows.net/<path>/sample_file"}])

지정된 URI에 있는 MLTable 파일(YAML)을 로드합니다.

storage_options '구독', 'resource_group', '작업 영역' 또는 '위치' 키를 지원합니다. 모두 Azure Machine Learning 작업 영역을 찾아야 합니다.

load(uri, storage_options: dict = None, ml_client=None)

매개 변수

반환

설명

지정된 URI에 'MLTable'이라는 유효한 MLTable YAML 파일이 있어야 합니다.

   # load mltable from local folder
   from mltable import load
   tbl = load('.\samples\mltable_sample')

   # load mltable from azureml datastore uri
   from mltable import load
   tbl = load(
       'azureml://subscriptions/<subscription-id>/
       resourcegroups/<resourcegroup-name>/workspaces/<workspace-name>/
       datastores/<datastore-name>/paths/<mltable-path-on-datastore>/')

   # load mltable from azureml data asset uri
   from mltable import load
   tbl = load(
         'azureml://subscriptions/<subscription-id>/
         resourcegroups/<resourcegroup-name>/providers/Microsoft.MachineLearningServices/
         workspaces/<workspace-name>/data/<data-asset-name>/versions/<data-asset-version>/')

   # load mltable from azureml data asset short uri
   from mltable import load
   from azure.ai.ml import MLClient
   from azure.identity import DefaultAzureCredential
   credential = DefaultAzureCredential()
   ml_client = MLClient(credential, <subscription_id>, <resourcegroup-name>, <workspace-name>)
   tbl = load('azureml:<data-asset-name>:<version>', ml_client=ml_client)