Microsoft Azure Stream Analytics Servisi

Bir önceki yazımızda Microsoft Azure Event Hubs ile verinin elde edilmesi kısmını ele almış ve bu servisin genel özelliklerini ve çalışma mekanizmasını açıklamıştık. Bu yazıda ise elde edilen stream verinin analizini gerçekleştirmek için kullanılacak olan Microsoft Azure Stream Analytics servisinin genel özelliklerini aktaracağız.

ASA-blog

Microsoft Azure Event Hubs servisi ile elde edilen veri Microsoft Azure Stream Analytics servisi ile işlenebilmekte ve çıktı üretebilmektedir. Microsoft Azure Stream Analytics servisi iki farklı veri türünü input olarak kabul edebilmektedir. Bunlar, Event Hubs’tan gelen input verisi ve Blob Storage’dan gelen input verisidir. Stream olarak akan büyük miktarda verileri Azure Event Hubs’tan alarak Stream Analytics servisine aktarabilmekteyiz. Diğer yandan statik olan veya çok az değişen referans veriler için ise Azure Stream Analytics bizlere Blob Storage kaynağını sunmaktadır. Referans veri bizler için aslında akan veriyi anlamlandıran lookup yapılabilecek statik verileri temsil eder. Örneğin otoyol veya köprülerde karşımıza çıkan gişeleri düşünelim. Gişelerden anlık olarak yüzlerce araç geçmektedir. Bu araçların bilgileri RFID benzeri sistemlerle okunarak Event Hubs ile elde edilebilir. Ancak araca ait detay bilgileri bu akan stream verisinde bulmamız pek mümkün olmayacaktır. Veriyi analiz ederken bu bilgileri de göstermek veya işlemek istiyorsak araç plakası vb. bir lookup ile referans dataya erişebilir ve ilgili aracın rengi, markası, modeli, varsa borcu, trafiğe çıkış tarihi gibi detay bilgilere de ulaşılabilir. Referans datanın Azure Blob Storage üzerinde tutulması ve gerekli sıklıklarla refresh edilmesi gerekebilir. Bunları da Azure üzerinde tanımlayabileceğimiz joblar yardımıyla elde edebilmekteyiz. Şu an için Azure Stream Analytics ile referans datayı sadece Blob Storage üzerinde tutabilmekte ve buradan alabilmekteyiz. Limit olarak da referans datayı alma işlemi için 50 MB üst limiti bulunmaktadır.

8637.103015_0303_EventHubsSt2

Azure Stream Analytics ile işlenmek istenilen stream verisini ve referans veriyi alırken hangi formatta serialize (serileştirme) edeceğimizi de seçebilmekteyiz. Bunlar daha önce de bahsedildiği gibi CSV, JSON ve AVRO formatlarıdır. Ayrıca seçilen seçeneğe göre Unicode seçeneği de seçilebilmektedir. Şu an için UTF-8 formatı desteklenmektedir.

maxresdefault

Microsoft Azure Stream Analytics servisi ile anlık veri analizi yapılabilmektedir. Ayrıca yüzde 99,9 SLA oranı ile devamlılığı garanti etmektedir. Microsoft Azure Stream Analytics servisi ile stream verilerini analiz edecek bir çözüm üretmek oldukça kolaydır, kullanımı oldukça basittir. Var olan sistemlerde bile oldukça hızlı bir şekilde geliştirilebilmektedir. Ayrıca bütün Microsoft Azure servislerinde olduğu gibi Microsoft Azure Stream Analytics servisinde de otomatik restore seçeneği mevcuttur. Bu şekilde olası bir felaket senaryosunda veri kaybı yaşanmamış ve sistem çok hızlı bir şekilde tekrar kullanıma alınabilmektedir.

perf

Microsoft Azure Stream Analytics servisini kullanarak altyapı maliyetine ve gerekli geliştirme karmaşıklığına hiç girmeden hızlı bir şekilde sadece servis hizmetini satın alarak kullandığınız kadar ücret ödeyebilirsiniz. Bu da ölçeklenebilir bir ödeme sistemi ve kullanım şekli avantajını bizlere sunmaktadır. Sahip olma konusunda başlangıç maliyeti ve fayda analizi yapıldığında Microsoft Azure Stream Analytics servisi oldukça ciddi bir avantaj sağlamaktadır. Yine ölçeklenebilir yapısı sayesinde ihtiyaç duyulan dönemlerde ölçeği arttırarak daha hızlı ve daha büyük verilerin analizini yapabilmekte, gerek duyulmadığında ise maliyet konusunda avantaj sağlayabilmek için sadece bir kaç tıklama ile ölçeği azaltarak sistemi daha efektif bir hale getirebilmekteyiz.

Bir sonraki yazımızda stream verinin elde edilmesi için kullanılan Event Hubs ve analizi için kullanılan Stream Analytics servisleri uçtan uca çözüm odaklı olarak nasıl kullanılabiliyor konusunu ele alacağız. Şimdilik görüşmek üzere…

Yazar: Abdullah ALTINTAŞ

Dipnot: Yazı içinde kullanılan görsel öğeler için Microsoft Azure Documentation sayfası ve çeşitli kaynaklardan faydalanılmıştır.

Yorum Yaz