
AWSとは?自社でクラウドを本格導入する時に困らない為の初心者向け早わかりガイド
AWSはストリーミングデータをリアルタイムで収集、処理、分析することが簡単にできるため、インサイトを適時に取得して新しい情報に迅速に対応できます。あらゆる規模のストリーミングデータを効率良く処理するための主要機能として、Amazon Kinesisがあります。今回は、Amazon Kinesisのメリットや機能、料金体系や用例について解説します。
Amazon Kinesisは、アプリケーションの要件に最適なツールを柔軟に選択できるだけでなく、あらゆる規模のストリーミングデータを効率良く処理するための主要機能を提供します。機械学習、分析、その他のアプリケーションに用いる動画、音声、アプリケーションログ、ウェブサイトのクリックストリーム、IoTテレメトリーデータなどをリアルタイムで取り込めます。Amazon Kinesisではデータを受信するとすぐに処理と分析を行うため、すべてのデータを収集するのを待たずに処理を開始して直ちに結果を出すことが可能です。
Amazon Kinesisの主な機能とメリットについて解説します。
主な機能は次のとおりです。
Amazon Kinesis Video Streamsを使用すると、分析、機械学習、再生、その他の処理のために接続されたデバイスから、AWSへ動画を簡単かつ安全にストリーミングできるようになります。Amazon Kinesis Video Streamsは、数百万ものデバイスからの動画のストリーミングデータを取り込むために、必要なすべてのインフラストラクチャを自動的にプロビジョニングして、伸縮自在にスケールします。また、ストリーム内の動画データを耐久性に優れた形式で保存、暗号化、インデックス化を行い、使い勝手のよいAPIを介したデータへのアクセスも可能にします。
Amazon Kinesis Data Streams(KDS)は、スケーラブルで持続的なリアルタイムのデータストリーミングサービスです。KDSはウェブサイトクリックストリームやデータべースイベントのストリーム、金融取引、ソーシャルメディアフィード、ITログ、ロケーション追跡イベントなど、何十万ものソースから毎秒GBのデータを継続してキャプチャすることが可能です。収集データはミリ秒単位で入手でき、リアルタイム分析をリアルタイムダッシュボード上で管理し、リアルタイム異常検知や、ダイナミックに変動する価格設定などの事例に利用することが可能です。
Amazon Kinesis Data Firehoseによって、データストリームをAWSデータストアにキャプチャ・変換・ロードし、既存のビジネスインテリジェンスツールを使って準リアルタイムで分析が可能です。
Amazon Kinesis Data Analyticsによって、新しいプログラミング言語や処理フレームワークを習得することなく、慣れ親しんだSQLやJavaでデータストリームをリアルタイムで簡単に処理することができます。
Amazon Kinesisを利用するメリットは、以下のとおりです。
データが生成された時点で直ちにAmazon Kinesisストリームにデータを書き込めるので、万が一、データの生成元に障害が発生した場合でも、データが失われることがありません。ストリーミングデータをリアルタイムで取得・バッファ・処理するため、通常は数時間から数日かかるインサイト(大量のログを分析・視覚化したレポート)の生成を数秒から数分で完了できます。
データを取得すると直ちにリアルタイムでストリーミングデータの分析を行うことができるので、取得時とタイムラグのない分析結果を得ることができます。
Amazon Kinesisアプリケーションはもちろん、データストリームのDirected Acyclic Graph(DAG)を作成することで、Amazon Kinesisストリームにデータを追加したり、継続的にストリームを処理したりできます。またAmazon Kinesis は完全マネージド型ですので、インフラストラクチャを管理する必要なく、ストリーミングアプリケーションを実行できます。
一時的にトラフィックが増加しても、データのバッファリングで対応できますので、データを取得し損なう危険性を低く抑えることができます。またサイズの上限なくストリーミングデータに対応しますので、数千ものソースからのデータを非常に低いレイテンシーで処理できます。
ここではAmazon Kinesisの料金体系や活用例について解説します。
Amazon Kinesisの料金は従量課金制です。前払い料金や最低料金はなく、使用したリソースに対してのみ支払えば利用可能となっています。料金体系には、「時間単位のシャード速度基準」と、「PUTペイロードユニット基準」の2つの基準があります。
1時間ごとの各シャード料金が発生します。シャードとは、Amazon Kinesisストリームのベースとなるスループット単位です。1シャードは、1MB/秒のデータ入力と2MB/秒のデータ出力の能力を提供します。1つのシャードは1秒当たり最大1,000件のレコード(データ生成元が Amazon Kinesisストリームに追加するデータ)をサポートできます。ユーザーのスループット要件に応じて、ストリーム内で必要なシャード数を指定できます。
シャード単位で料金がかかるため、負荷が低い時間帯はシャードをマージすると料金を安くすることが可能です。また負荷が高くなる時間帯はシャードを分割することができます。
100万件のPUT ペイロードごとに料金が発生します。PUTペイロードユニットは、1レコードを構成する25KBペイロードの「チャンク」で計算されます。例えば、5 KBのレコードは1つのPUTペイロードユニット、45KBのレコードは2つのPUT ペイロードユニット、1MBのレコードは40のPUTペイロードユニットが含まれます。
Amazon Kinesisは、ほかのAWSの多彩なサービスと連携して使用することによって、より一層パフォーマンスを実現することができます。
Lambdaは、Amazon Kinesisで受信したデータを、S3、DynamoDBに格納する軽量な処理に最適です。リアルタイム性能を確保する必要がある場合や、複雑なアプリケーションの実行環境としてはEC2を利用します。さらにデータ規模、処理内容によってはEMR(※)の利用も検討します。
S3,Redshiftへのデータアーカイブ用途にはAmazon Firehoseの利用が適しています。S3をトリガーとしたLambda連携による、準リアルタイム(ラグ数分程度)処理が実現できます。
AWS IoTや、CloudWatch LogsのデータをAmazon Kinesisで受け取ることが可能です。この場合、Kinesis、Lambdaがサービス連携のハブとして機能します。Amazon Kinesis Analyticsがリリースされ、ログ監視といった高度なアラームが設置可能になりました。
Amazon Kinesisはリアルタイムの動画ストリーミングデータ、ログデータの取得や分析に威力を発揮します。また複雑なストリーミング処理についても対応可能です。料金は利用したリソースに対してのみ支払えばよいため、非常にコストパフォーマンスに優れたサービスです。Lambda、EC2、S3、DynamoDBなどのサービスとの連携によりデータアーカイブなどにも力を発揮します。
移行準備段階で知っておくべきAmazon Web Servicesの
サービスを学び、具体的にクラウド検討を考える!
クラウド運用に興味がある人に読んで欲しいコラム:
自社のクラウド導入に必要な知識、ポイントを
この1冊に総まとめ!
初めての自社クラウド導入、
わからないことが多く困ってしまいますよね。
クラウド化のポイントを知らずに導入を進めると、以下のような事になってしまうことも・・・
など、この1冊だけで自社のクラウド化のポイントが簡単に理解できます。
またNTT東日本でクラウド化を実現し
問題を解決した事例や、
導入サポートサービスも掲載しているので、
ぜひダウンロードして読んでみてください。
NTT東日本なら貴社のクラウド導入設計から
ネットワーク環境構築・セキュリティ・運用まで
”ワンストップ支援”が可能です!
特に以下に当てはまる方はお気軽に
ご相談ください。
クラウドを熟知するプロが、クラウド導入におけるお客さまのLAN 環境や接続ネットワーク、
クラウドサービスまでトータルにお客さまのお悩みや課題の解決をサポートします。
相談無料!プロが中立的にアドバイスいたします
クラウド・AWS・Azureでお困りの方はお気軽にご相談ください。