본문으로 건너뛰기

수집 생성

이 섹션에서는 수집 항목을 생성하는 과정을 설명합니다. 수집 항목은 Kafka와 MQTT 두 가지 유형이 있으며, 각 단계별 설정 방법을 안내합니다.

1단계: 데이터 수집 설정​

Kafka 수집 설정​

수집 생성 - 1단계 - Kafka

  • 수집 유형: Kafka 선택
  • 메시지 유지 기간: 메시지를 유지할 기간을 설정합니다. (분, 시간, 일, 개월, 년 단위로 설정할 수 있습니다.)
  • 메시지 유지 크기: 메시지를 유지할 최대 크기를 설정합니다. (Bytes, KiB, MiB, GiB, TiB 단위로 설정할 수 있습니다.)
  • 파티션 수: 파티션의 수를 설정합니다. (어플라이언스 1대로 구성된 경우, 옵션이 비활성화됩니다.)
  • 복제 수: 복제본의 수를 설정합니다. (어플라이언스 1대로 구성된 경우, 옵션이 비활성화됩니다.)
  • 정리 정책: 메시지의 정리 정책을 설정합니다. (삭제, 압축 중 선택할 수 있습니다.)

MQTT 수집 설정​

수집 생성 - 1단계 - MQTT

  • 수집 유형: MQTT 선택

2단계: 데이터 저장 설정​

수집 생성 - 2단계

  • 테이블 ID: 테이블의 고유 ID를 입력합니다. (알파벳 소문자, 숫자, 밑줄(_)만 입력 가능합니다.)
  • 테이블 이름: 테이블의 이름을 입력합니다.
  • 저장소 유형: 현재는 Delta Lake만 지원합니다.
  • 데이터 유지 기간: 데이터를 유지할 기간을 설정합니다. (일, 개월, 년 단위로 설정할 수 있습니다.)

3단계: 데이터 스키마 설정​

수집 생성 - 3단계

Nazare Streaming이 실시간 데이터 스트리밍에 참조할 스키마를 정의합니다.
스키마에는 Timestamp 타입의 필드가 반드시 한 개 이상 포함되어야 하며, 이 필드는 인덱스로 사용되어 성능 최적화에 기여합니다.

  • Type: 데이터 타입을 선택합니다.
    • Timestamp: 시간 정보를 포함하는 필드로, 데이터의 시간 정보를 추적하는 데 사용됩니다.
    • Integer: 정수 타입을 선택합니다.
    • Float: 부동 소수점 타입을 선택합니다.
    • String: 문자열 타입을 선택합니다.
    • Boolean: 불리언 타입을 선택합니다.
    • Double: 더블 타입을 선택합니다.
  • Subtype: 서브 타입을 선택합니다 (Timestamp 타입만 선택 가능).
    • Microsecond: 마이크로초 단위의 시간 정보를 포함합니다. (현재 Timestamp 타입은 마이크로초 서브타입만 지원합니다. 추가 서브타입은 추후 업데이트를 통해 제공될 예정입니다.)
  • Name: 필드의 이름을 입력합니다. (영문 소문자, 숫자, 밑줄(_)만 입력 가능합니다.)
  • Comment: 필드에 대한 추가 설명이나 주석을 입력할 수 있습니다.

CSV 가져오기 및 내보내기​

수집 생성 - 3단계 - CSV

필드 설정을 CSV 파일로 가져오거나 내보낼 수 있습니다. 템플릿 다운로드를 통해 파일 형식을 확인할 수 있습니다.

템플릿 형식 및 예시​

Type,Subtype,Name,Comment
Timestamp,Microsecond,timestamp,Default timestamp field
Integer,,spindle_speed,필드 설명
Float,,spindle_temp,필드 설명

4단계: 설정 검토​

입력한 설정을 검토하고 수집 생성을 완료합니다.

Kafka 유형​

수집 생성 - 4단계 - Kafka

  • 데이터 수집 설정: 수집 유형, 메시지 유지 기간, 메시지 유지 크기, 파티션 수, 복제 수, 정리 정책 등을 확인합니다.
  • 데이터 저장 설정: 테이블 ID, 테이블 이름, 저장소 유형, 데이터 유지 기간 등을 확인합니다.
  • 연결 정보: Kafka와 MQTT 연결 정보를 확인할 수 있습니다.

MQTT 유형​

수집 생성 - 4단계 - Kafka

MQTT 유형의 경우, 연결 정보란에는 MQTT 정보만 표시됩니다.

주의 사항​

  • 모든 설정을 확인한 후, '생성' 버튼을 클릭하기 전 다시 한 번 설정을 검토하시기 바랍니다. 설정이 잘못되었을 경우 데이터 수집이 올바르게 이루어지지 않을 수 있습니다.
  • 필요한 경우, 이전 단계로 돌아가 설정을 수정할 수 있습니다. 각 단계의 설정이 올바르게 되었는지 확인해 주세요.
  • 주의: Kafka, MQTT 연결 정보는 해당 화면을 벗어나면 재확인할 수 없습니다. 반드시 .csv 파일 다운로드 버튼을 클릭하여 연결 정보를 저장해 두세요.

이 섹션을 통해 수집 항목을 생성하는 방법을 배웠습니다. 각 단계에서 필요한 설정을 정확히 입력하여 원활한 데이터 수집을 진행하시기 바랍니다.