FileDataset 클래스

datacache_store 및 데이터 세트에 매핑된 DatacacheConsumptionConfig를 만듭니다.

as_cache(datacache_store)

매개 변수

반환

다운로드할 모드로 DatasetConsumptionConfig를 만듭니다.

제출된 실행에서 데이터 세트의 파일은 컴퓨팅 대상의 로컬 경로로 다운로드됩니다. 실행 컨텍스트의 인수 값과 input_datasets 필드에서 다운로드 위치를 검색할 수 있습니다. 입력 이름을 자동으로 생성합니다. 사용자 지정 입력 이름을 지정하려면 as_named_input 메서드를 호출하세요.

   # Given a run submitted with dataset input like this:
   dataset_input = dataset.as_download()
   experiment.submit(ScriptRunConfig(source_directory, arguments=[dataset_input]))


   # Following are sample codes running in context of the submitted run:

   # The download ___location can be retrieved from argument values
   import sys
   download_location = sys.argv[1]

   # The download ___location can also be retrieved from input_datasets of the run context.
   from azureml.core import Run
   download_location = Run.get_context().input_datasets['input_1']

as_download(path_on_compute=None)

매개 변수

설명

데이터 세트가 단일 파일의 경로에서 만들어지면 다운로드 위치는 다운로드된 단일 파일의 경로가 됩니다. 그렇지 않으면 다운로드 위치는 다운로드된 모든 파일에 대한 바깥쪽 폴더의 경로가 됩니다.

path_on_compute /로 시작하면 절대 경로로 처리됩니다. /로 시작하지 않으면 작업 디렉터리를 기준으로 상대 경로로 처리됩니다. 절대 경로를 지정한 경우 작업에 해당 디렉터리에 쓸 수 있는 권한이 있는지 확인하세요.

모드를 hdfs로 설정합니다.

제출된 synapse 실행에서 데이터 세트의 파일은 컴퓨팅 대상의 로컬 경로로 변환됩니다. hdfs 경로는 인수 값 및 os 환경 변수에서 검색할 수 있습니다.

   # Given a run submitted with dataset input like this:
   dataset_input = dataset.as_hdfs()
   experiment.submit(ScriptRunConfig(source_directory, arguments=[dataset_input]))


   # Following are sample codes running in context of the submitted run:

   # The hdfs path can be retrieved from argument values
   import sys
   hdfs_path = sys.argv[1]

   # The hdfs path can also be retrieved from input_datasets of the run context.
   import os
   hdfs_path = os.environ['input_<hash>']

as_hdfs()

설명

데이터 세트가 단일 파일의 경로에서 만들어지면 hdfs 경로는 단일 파일의 경로가 됩니다. 그렇지 않으면 hdfs 경로는 탑재된 모든 파일에 대한 바깥쪽 폴더의 경로가 됩니다.

탑재할 모드로 DatasetConsumptionConfig를 만듭니다.

제출된 실행에서 데이터 세트의 파일은 컴퓨팅 대상의 로컬 경로에 탑재됩니다. 탑재 지점은 인수 값 및 실행 컨텍스트의 input_datasets 필드에서 검색할 수 있습니다. 입력 이름을 자동으로 생성합니다. 사용자 지정 입력 이름을 지정하려면 as_named_input 메서드를 호출하세요.

   # Given a run submitted with dataset input like this:
   dataset_input = dataset.as_mount()
   experiment.submit(ScriptRunConfig(source_directory, arguments=[dataset_input]))


   # Following are sample codes running in context of the submitted run:

   # The mount point can be retrieved from argument values
   import sys
   mount_point = sys.argv[1]

   # The mount point can also be retrieved from input_datasets of the run context.
   from azureml.core import Run
   mount_point = Run.get_context().input_datasets['input_1']

as_mount(path_on_compute=None)

매개 변수

설명

데이터 세트가 단일 파일의 경로에서 만들어지면 탑재 지점은 탑재된 단일 파일의 경로가 됩니다. 그렇지 않으면 탑재 지점은 탑재된 모든 파일에 대한 바깥쪽 폴더의 경로가 됩니다.

path_on_compute /로 시작하면 절대 경로로 처리됩니다. /로 시작하지 않으면 작업 디렉터리를 기준으로 상대 경로로 처리됩니다. 절대 경로를 지정한 경우 작업에 해당 디렉터리에 쓸 수 있는 권한이 있는지 확인하세요.

데이터 세트에서 정의한 파일 스트림을 로컬 파일로 다운로드합니다.

download(target_path=None, overwrite=False, ignore_not_found=False)

매개 변수

반환

설명

target_path /로 시작하면 절대 경로로 처리됩니다. /로 시작하지 않으면 현재 작업 디렉터리에 상대적인 경로로 처리됩니다.

메타데이터 열 이름을 지정하여 파일 메타데이터 식을 가져옵니다.

지원되는 파일 메타데이터 열은 Size, LastModifiedTime, CreationTime, Extension 및 CanSeek입니다.

file_metadata(col)

매개 변수

반환

지정된 식과 일치하는 레코드만 남겨두고 데이터를 필터링합니다.

filter(expression)

매개 변수

반환

설명

식은 열 이름으로 데이터 세트를 인덱싱하여 시작합니다. 다양한 함수와 연산자를 지원하며 논리 연산자를 사용하여 결합할 수 있습니다. 결과 식은 데이터 끌어오기가 발생할 때 정의되는 위치가 아니라 각 레코드에 대해 지연 계산됩니다.

   (dataset.file_metadata('Size') > 10000) & (dataset.file_metadata('CanSeek') == True)
   dataset.file_metadata('Extension').starts_with('j')

datacache_store 지정된 요청된 복제본에 데이터 세트를 수화합니다.

hydrate(datacache_store, replica_count=None)

매개 변수

반환

데이터 세트에서 로컬 파일로 정의한 파일 스트림을 탑재하기 위한 컨텍스트 관리자를 만듭니다.

mount(mount_point=None, **kwargs)

매개 변수

반환

설명

탑재의 수명 주기를 관리하기 위해 컨텍스트 관리자가 반환됩니다. 탑재하려면 컨텍스트 관리자를 입력하고 탑재를 해제하려면 컨텍스트 관리자에서 종료해야 합니다.

탑재는 네이티브 패키지 libfuse가 설치된 Unix 또는 Unix 계열 운영 체제에서만 지원됩니다. Docker 컨테이너 내에서 실행하는 경우 docker 컨테이너를 –privileged 플래그로 시작하거나 –cap-add SYS_ADMIN –device /dev/fuse로 시작해야 합니다.

   datastore = Datastore.get(workspace, 'workspaceblobstore')
   dataset = Dataset.File.from_files((datastore, 'animals/dog/year-*/*.jpg'))

   with dataset.mount() as mount_context:
       # list top level mounted files and folders in the dataset
       os.listdir(mount_context.mount_point)

   # You can also use the start and stop methods
   mount_context = dataset.mount()
   mount_context.start()  # this will mount the file streams
   mount_context.stop()  # this will unmount the file streams

target_path /로 시작하면 절대 경로로 처리됩니다. /로 시작하지 않으면 현재 작업 디렉터리에 상대적인 경로로 처리됩니다.

데이터 세트의 파일 스트림을 지정된 백분율에 따라 임의로 두 부분으로 분할합니다.

반환된 첫 번째 데이터 세트에는 총 파일 참조 수가 포함 percentage 되고 두 번째 데이터 세트에는 나머지 파일 참조가 포함됩니다.

random_split(percentage, seed=None)

매개 변수

반환

데이터 세트의 맨 위에서 지정된 개수로 파일 스트림을 건너뜁니다.

skip(count)

매개 변수

반환

데이터 세트의 맨 위에서 지정된 개수로 파일 스트림 샘플을 가져옵니다.

take(count)

매개 변수

반환

지정된 확률에 따라 데이터 세트의 파일 스트림을 임의로 샘플링합니다.

take_sample(probability, seed=None)

매개 변수

반환

데이터 세트에서 정의한 각 파일 스트림에 대한 파일 경로 목록을 가져옵니다.

to_path()

반환

설명

파일 경로는 파일 스트림을 다운로드하거나 탑재할 때 로컬 파일에 대한 상대 경로입니다.

데이터 세트를 만들기 위해 데이터 원본을 지정한 방법에 따라 파일 경로에서 공통 접두사를 제거합니다. 다음은 그 예입니다.

   datastore = Datastore.get(workspace, 'workspaceblobstore')
   dataset = Dataset.File.from_files((datastore, 'animals/dog/year-*/*.jpg'))
   print(dataset.to_path())

   # ['year-2018/1.jpg'
   #  'year-2018/2.jpg'
   #  'year-2019/1.jpg']

   dataset = Dataset.File.from_files('https://dprepdata.blob.core.windows.net/demo/green-small/*.csv')

   print(dataset.to_path())
   # ['/green_tripdata_2013-08.csv']