MLTable 클래스

지정된 열을 지정된 각각의 새 형식으로 변환하는 변환 단계를 추가합니다.

   from mltable import DataType
       data_types = {
           'ID': DataType.to_string(),
           'Date': DataType.to_datetime('%d/%m/%Y %I:%M:%S %p'),
           'Count': DataType.to_int(),
           'Latitude': DataType.to_float(),
           'Found': DataType.to_bool(),
           'Stream': DataType.to_stream()
       }

convert_column_types(column_types)

매개 변수

반환

데이터 세트에서 지정된 열을 삭제하는 변환 단계를 추가합니다. 빈 목록, 튜플 또는 집합이 지정된 경우 아무 것도 삭제되지 않습니다. 중복 열은 UserErrorException을 발생합니다.

MLTable.traits.timestamp_column 또는 MLTable.traits.index_columns 열을 삭제하려고 하면 UserErrorException이 발생합니다.

drop_columns(columns: str | List[str] | Tuple[str] | Set[str])

매개 변수

반환

각 경로의 파티션 정보를 사용하고 지정된 파티션 형식에 따라 열로 추출하는 변환 단계를 추가합니다.

형식 파트 '{column_name}'은 문자열 열을 만들고 , '{column_name:yyyy/MM/dd/HH/mm/ss}'는 날짜/시간 열을 만듭니다. 여기서 'yyyy', 'MM', 'dd', 'HH', 'mm' 및 'ss'는 날짜/시간 형식의 연도, 월, 일, 시간, 분 및 초를 추출하는 데 사용됩니다.

형식은 첫 번째 파티션 키의 위치에서 파일 경로의 끝까지 시작해야 합니다. 예를 들어 파티션이 부서 이름 및 시간별인 경로 '/Accounts/2019/01/01/data.csv'을 지정합니다. partition_format='/{Department}/{PartitionDate:yyyy/MM/dd}/data.csv'' 값이 'Accounts'인 문자열 열 'Department'와 '2019-01-01' 값이 있는 datetime 열 'PartitionDate'를 만듭니다.

extract_columns_from_partition_format(partition_format)

매개 변수

반환

지정된 식과 일치하는 레코드만 남겨두고 데이터를 필터링합니다.

filter(expression)

매개 변수

반환

설명

식은 mltable을 열 이름으로 인덱싱하여 시작합니다. 다양한 함수와 연산자를 지원하며 논리 연산자를 사용하여 결합할 수 있습니다. 결과 식은 데이터 끌어오기가 발생할 때 정의되는 위치가 아니라 각 레코드에 대해 지연 계산됩니다.

   filtered_mltable = mltable.filter('feature_1 == "5" and target > "0.5)"')
   filtered_mltable = mltable.filter('col("FBI Code") == "11"')

이 MLTable과 연결된 데이터의 기본 데이터 파티션 수를 반환합니다.

get_partition_count() -> int

반환

지정된 열을 유지하고 다른 모든 열을 데이터 세트에서 삭제하는 변환 단계를 추가합니다. 빈 목록, 튜플 또는 집합이 지정된 경우 아무 것도 삭제되지 않습니다. 중복 열은 UserErrorException을 발생합니다.

MLTable.traits.timestamp_column 열 또는 MLTable.traits.index_columns 열이 명시적으로 유지되지 않으면 UserErrorException이 삭제됩니다.

keep_columns(columns: str | List[str] | Tuple[str] | Set[str])

매개 변수

반환

이 MLTable을 두 개의 MLTable로 임의로 분할합니다. 하나는 원래 MLTable 데이터의 약 "백분율"% 있고 다른 하나는 나머지(1-"퍼센트"%)를 가집니다.

random_split(percent=0.5, seed=None)

매개 변수

반환

이 MLTable을 MLTable YAML 파일 및 지정된 디렉터리 경로에 연결된 경로로 저장합니다.

경로가 지정되지 않은 경우 기본값은 현재 작업 디렉터리입니다. 경로가 없으면 만들어집니다. 경로가 원격인 경우 기본 데이터 저장소가 이미 있어야 합니다. 경로가 로컬 디렉터리이고 절대 디렉터리가 아니면 절대 경로가 됩니다.

경로가 파일을 가리키는 경우 UserErrorException이 발생합니다. 경로가 이미 저장되고 있는 하나 이상의 파일(MLTable YAML 파일 포함)이 포함된 디렉터리 경로이고 덮어쓰기가 False 또는 'fail'로 설정된 경우 UserErrorException이 발생합니다. 경로가 원격인 경우 공동 배치된 경로로 지정되지 않은 로컬 파일 경로(MLTable이 로드된 디렉터리를 기준으로 하는 파일 경로)는 UserErrorException을 발생합니다.

연결된 경로가 경로에 저장되는 방법을 공동 배치된 컨트롤입니다. True이면 파일이 MLTable YAML 파일과 함께 경로 에 상대 파일 경로로 복사됩니다. 그렇지 않으면 연결된 파일이 복사되지 않고, 원격 경로가 지정된 대로 유지되며, 필요한 경우 경로 리디렉션을 기준으로 로컬 파일 경로가 만들어집니다. False로 인해 권장되지 않는 MLTable YAML 파일이 표시되지 않을 수 있습니다. 또한 경로 가 원격인 경우 상대 경로 리디렉션이 원격 URI에 대해 지원되지 않으므로 UserErrorException이 발생합니다.

로컬 상대 경로가 있는 from_paths() 또는 from_read_delimited_files() 와 같은 메서드를 사용하여 MLTable을 프로그래밍 방식으로 만드는 경우 MLTable 디렉터리 경로는 현재 작업 디렉터리로 간주됩니다.

새 파일을 저장하기 전에 디렉터리가 기존 파일의 지워지지 않은 기존 MLTable 파일 및 연결된 데이터 파일이 있는 디렉터리에 새 MLTable 및 연결된 데이터 파일을 저장할 때 유의해야 합니다. 특히 기존 데이터 파일에 새 데이터 파일과 일치하는 이름이 없는 경우 새 파일을 저장한 후 이미 기존 데이터 파일이 지속될 수 있습니다. 새 MLTable에 해당 경로 아래에 패턴 지정자가 포함된 경우 기존 데이터 파일을 새 MLTable과 연결하여 의도치 않게 MLTable을 변경할 수 있습니다.

이 MLTable의 파일 경로가 경로 의 기존 파일을 가리키지만 다른 URI가 있는 경우 덮어쓰기가 'fail' 또는 'skip'인 경우 기존 파일을 덮어쓰지 않습니다(즉 건너뛰기).

save(path=None, overwrite=True, colocated=False, show_progress=False, if_err_remove_files=True)

매개 변수

반환

파티션을 선택하는 변환 단계를 추가합니다.

select_partitions(partition_index_list)

매개 변수

반환

설명

다음 코드 조각은 제공된 MLTable에서 선택한 파티션에 select_partitions api를 사용하는 방법을 보여 줍니다.

   partition_index_list = [1, 2]
   mltable = mltable.select_partitions(partition_index_list)

이 MLTable의 첫 번째 개수 행을 Pandas 데이터 프레임으로 검색합니다.

show(count=20)

매개 변수

반환

이 MLTable의 첫 번째 개수 행을 건너뛰는 변환 단계를 추가합니다.

skip(count)

매개 변수

반환

변환 단계를 추가하여 이 MLTable의 첫 번째 개수 행을 선택합니다.

take(count=20)

매개 변수

반환

확률 확률을 사용하여 이 MLTable의 각 행을 임의로 선택하는 변환 단계를 추가 합니다 . 확률은 범위 [0, 1]에 있어야 합니다. 임의 시드를 선택적으로 설정할 수 있습니다.

take_random_sample(probability, seed=None)

매개 변수

반환

MLTable 파일에 지정된 경로의 모든 레코드를 Pandas DataFrame으로 로드합니다.

to_pandas_dataframe()

반환

설명

다음 코드 조각은 to_pandas_dataframe api를 사용하여 제공된 MLTable에 해당하는 pandas 데이터 프레임을 가져오는 방법을 보여 줍니다.

   from mltable import load
   tbl = load('.\samples\mltable_sample')
   pdf = tbl.to_pandas_dataframe()
   print(pdf.shape)

이 MLTable의 데이터를 로드할 수 있는지 확인합니다. 현재 컴퓨팅에서 MLTable의 데이터 원본에 액세스할 수 있어야 합니다.

validate()

반환

파티션 키를 반환합니다.

반환

이 MLTable에 지정된 원래 경로를 포함하는 사전 목록을 반환합니다. 상대 로컬 파일 경로는 이 MLTable 인스턴스가 로드된 MLTable YAML 파일이 있는 디렉터리를 기준으로 가정합니다.

반환