수집 편집
이 섹션 에서는 수집 편집 화면에 대해 설명합니다. 수집 항목을 편집하여 데이터 수집, 저장, 스키마 설정을 수정할 수 있습니다.
데이터 수집 설정
데이터 수집 설정에서는 수집 유형 및 상세 설정을 할 수 있습니다.
설정 항목
기본 설정
- 수집 유형: 데이터 수집 유형을 나타내며, 편집할 수 없습니다.
상세 설정
- Kafka
- 메시지 유지 기간: 메시지를 유지할 기간을 설정합니다. (분, 시간, 일, 개월, 년 단위로 설정할 수 있습니다.)
- 메시지 유지 크기: 메시지를 유지할 최대 크기를 설정합니다. (Bytes, KiB, MiB, GiB, TiB 단위로 설정할 수 있습니다.)
- 파티션 수: 메시지 파티션 수 를 설정합니다. (어플라이언스 1대로 구성된 경우, 옵션이 비활성화됩니다.)
- 복제 수: 메시지 복제 수를 설정합니다. (어플라이언스 1대로 구성된 경우, 옵션이 비활성화됩니다.)
- 정리 정책: 메시지의 정리 정책을 설정합니다. (삭제, 압축 중 선택할 수 있습니다.)
- MQTT
- 상세 설정이 없습니다.
데이터 저장 설정
데이터 저장 설정에서는 테이블 ID, 테이블 이름, 데이터 유지 기간을 설정할 수 있습니다.
설정 항목
- 테이블 ID: 테이블의 고유 식별자(ID)를 나타내며, 편집할 수 없습니다.
- 테이블 이름: 테이블의 이름을 설정합니다.
- 저장소 유형: 현재는 Delta Lake만 지원하며, 편집할 수 없습니다.
- 데이터 유지 기간: 데이터를 유지할 기간을 설정합니다. (일, 개월, 년 단위로 설정할 수 있습니다.)
데이터 스키마 설정
데이터 스키마 설정에서는 데이터 필드를 정의하고 관리할 수 있습니다.
설정 항목
- 기존 데이터 스키마: 기존에 추가된 데이터 스키마는 "Comment"만 편집할 수 있습니다. 새로운 데이터 스키마의 추가는 가능합니다.
- 새로운 데이터 스키마 추가: 새 필드를 추가하여 데이터 스키마를 확장할 수 있습니다.
- CSV 가져오기: CSV 파일을 가져와서 데이터 스키마를 추가할 수 있습니다. 기존 스키마는 유지된 상태에서 아래에 데이터가 추가됩니다.
데이터 스키마 항목
- Type: 데이터 타입을 선택합니다.
- String: 문자열 타입을 선택합니다.
- Integer: 정수 타입을 선택합니다.
- Long: 롱 타입을 선택합니다.
- Float: 부동 소수점 타입을 선택합니다.
- Double: 더블 타입을 선택합니다.
- Boolean: 불리언 타입을 선택합니다.
- Timestamp: 시간 정보를 포함하는 필드로, 데이터의 시간 정보를 추적하는 데 사용됩니다.
- Subtype: 서브 타입을 선택합니다 (Timestamp 타입만 선택 가능).
- Microsecond: 마이크로초 단위의 시간 정보를 포함합니다. (현재 Timestamp 타입은 마이크로초 서브타입만 지원합니다. 추가 서브타입은 추후 업데이트를 통해 제공될 예정입니다.)
- Name: 필드의 이름을 입력합니다. (영문 소문자, 숫자, 밑줄(_)만 입력 가능합니다.)
- Comment: 필드 설명을 입력합니다.
주의 사항
- 모든 설정을 확인한 후, '저장' 버튼을 클릭하기 전 다시 한 번 설정을 검토하시기 바랍니다. 설정이 잘못되었을 경우 데이터 수집이 올바르게 이루어지지 않을 수 있습니다.
- 데이터 스키마가 새로 추가된 경우, 설정을 '저장'한 시점부터 새로운 데이터 스키마를 기준으로 데이터가 수집됩니다. 기존 데이터 스키마를 사용하는 데이터는 저장소에 유지 및 조회할 수 있으며, 새로운 데이터 스키마는 새로 수집된 데이터에만 적용됩니다.
이 섹션을 통해 수집 항목을 편집하는 방법을 배웠습니다. 각 항목을 정확히 설정하여 효율적인 데이터 관리를 할 수 있습니다.