안녕하세요. 2020 AWS RE:invent AWS IoT 서비스 업데이트 3번째 포스팅입니다. 첫번째 리뷰와 마찬가지로 AWS IoT architecture(Data Software, Control Services, Data Services) 중 이번 내용은 Data Services에 해당되는 소개됩니다. 전체구조를 보기 위해서 첫번째 리뷰를 참고해주세요:) 

AWS RE:Invent 2020에 Data Services 서비스에 주요 업데이트입니다.

• AWS IoT Analytics

• AWS IoT Events

• AWS IoT SiteWise

• AWS IoT Things Graph​ 

AWS IoT Analytics 업데이트

1. AWS IoT Analytics, Apache Parquet 형식을 사용하여 처리된 IoT 데이터를 저장소에 저장

AWS IoT Analytics는 대규모 IoT 데이터에 대한 정교한 분석을 실행하고 분석 플랫폼을 구축하는 데 일반적으로 필요한 복잡성에 대해 걱정할 필요 없이 IoT 장치의 작동 방식에 대한 통찰력을 얻기 위해 IoT 데이터를 쉽게 수집, 사전 처리, 강화, 저장 및 분석할 수 있는 완벽한 관리 서비스입니다.

오늘부터 IoT Analytics는 AWS IoT Analytics 데이터 저장소에 데이터를 저장할 수 있는 효율적인 개방형 칼럼 스토리지 형식인 Apache Parquet 형식도 지원합니다. Apache Parquet는 이전에 AWS IoT Analytics에서 처리된 데이터를 저장하기 위해 지원되었던 유일한 스토리지 형식이었던 JSON과 같은 텍스트 형식과 비교하여 더 적은 스토리지를 사용하고 대량의 데이터를 쿼리하는 데 더 빠릅니다. 

Apache Parquet 스토리지 형식은 대량의 처리된 데이터를 AWS IoT Analytics에 저장하고 쿼리해야 하며 처리된 데이터의 스키마가 고정되어 있는 경우에 가장 적합합니다. 반면 JSON 스토리지 형식은 처리된 데이터의 스키마가 발전할 것으로 예상되는 경우 AWS IoT Analytics에 더 적은 양의 데이터를 저장하고 쿼리하는 데 가장 적합합니다.

https://aws.amazon.com/about-aws/whats-new/2020/12/aws-iot-analytics-store-processed-iot-data-data-stores-apache-parquet-format/

2. AWS IoT Analytics 데이터 처리 파이프라인의 향상된 오류 처리 기능

AWS IoT Analytics는 AWS Lamba 활동에서 런타임 오류가 발생할 경우 향상된 오류 처리 및 재처리 기능을 시작했습니다. IoT Analytics 데이터 처리 파이프라인에서 람다 활동을 사용하여 위치 및 장치 설치 데이터와 같은 추가 정보로 IoT 장치의 메시지를 풍부하게 함으로써 장치의 데이터를 보다 효율적으로 분석할 수 있습니다. 

이러한 Lamba 기능이 런타임 오류를 반환할 때마다 Amazon CloudWatch Events에서 자동으로 알림을 받게 되며 오류가 수정되면 실패한 메시지를 재처리할 수 있습니다.

알림 및 이러한 메시지를 재처리하는 방법에 대한 자세한 내용은 AWS IoT Analytics 사용 설명서의 Amazon CloudWatch 이벤트 모니터링을 참조하여 설정할 수 있습니다.

https://docs.aws.amazon.com/iotanalytics/latest/userguide/cloudwatch-events.html

https://aws.amazon.com/about-aws/whats-new/2020/12/enhanced-error-handling-capabilities-in-aws-iot-analytics-data-processing-pipelines/

AWS IoT SiteWise 업데이트

1. Grafana용 AWS IoT SiteWise 플러그인 소개

Grafana용 AWS IoT SiteWise 플러그인을 사용하면 Grafana 대시보드에서 AWS IoT SiteWise 데이터를 쉽게 시각화할 수 있습니다. 이 플러그인을 사용하면 Grafana 대시보드의 다양한 시각화 옵션을 사용하여 장비 데이터를 거의 실시간으로 쉽게 시각화하고 모니터링할 수 있습니다. 또한 여러 소스(예: AWS IoT SiteWise, Amazon Timesream, Amazon CloudWatch)의 데이터를 쉽게 결합하고 단일 Grafana 대시보드를 사용하여 모든 데이터를 모니터링할 수도 있습니다. 이러한 그라파나 대시보드를 사용자 지정 응용 프로그램에 포함할 수도 있습니다.​

Grafana 프로젝트는 오픈 소스 이니셔티브이기 때문에 고객은 Grafana가 지원하는 점점 증가하는 시각화 옵션에 액세스하거나 기여할 때 오픈 소스 커뮤니티와 협력할 수 있는 이점을 누릴 수 있습니다.

https://aws.amazon.com/about-aws/whats-new/2020/12/introducing-aws-iot-sitewise-plugin-for-grafana/​