Microsoft Azure Event Hubs Servisinin Ayağa Kaldırılması (Demo)

Serinin daha önceki yazılarında stream olarak hızlı bir şekilde akan verinin elde edilmesi ve analizinin gerçekleştirilmesi için kullanabileceğimiz seçeneklerden ve genel mimariden bahsetmiştik. Microsoft Azure Event Hubs ve Microsoft Azure Stream Analytics servislerinin bu amaçla ne gibi çözümler sağladığını açıklamaya çalıştık. Bu yazımızda Microsoft Azure Event Hubs ile bir uygulamadan gelen click stream verilerinin nasıl elde edilebilineceğini örnek bir uygulama yaparak göstereceğiz.

Örnek uygulamada yazılan bir .Net uygulamasına belirli görsel fotoğraflar konulmuştur. Bu uygulama bir web sitesini simule ediyor gibi düşünülebilir. Kullanıcılar uygulamaya bağlandıklarında istedikleri yerlere tıklayarak işlemlerini gerçekleştirebilmektedir.  Bu tıklamalar örneğimiz için veri kaynağını oluşturmaktadır.

Uygulamada amacımız gelen verileri Event Hubs ile toplayarak Stream Analytics için veri input’u olmasını sağlamaktır. Stream Analytics ile alınan veriler analiz edilerek sorgular yazılabilecek ve buradan dönen sonuçlar output olarak Power BI’ya yönlendirilerek anlık olarak gerçek zamanlı tıklamalar raporlanabilecektir.

  • MICROSOFT AZURE HESABI OLUŞTURULMASI

Örneğimizde ilk olarak yazmış olduğumuz uygulamanın üreteceği verileri tutacak olan Microsoft Azure Event Hubs servisi kurulacaktır. Bunu için herhangi bir Microsoft kullanıcı hesabınız ile aylık ücretsiz 610 TL kullanım imkanı sunulan Microsoft Azure hesabı alabilmektesiniz. Ücretsiz Azure hesabı açmak için https://azure.microsoft.com/tr-tr/ adresine giderek yeni bir Azure hesabı oluşturabilmektesiniz. Yeni bir ücretsiz hesap açarken bile telefon numarası ve kredi kartı bilgileri girilmesi gerekmektedir. Kullanım süresi dolduğunda ücretli olarak kullanmaya devam etmeniz için onay vermeniz gerekmektedir. Onayınız olmadan kredi kartınızdan herhangi bir kesinti yapılmamaktadır.

  • MICROSOFT AZURE EVENT HUBS SERVİSİNİN OLUŞTURULMASI

Microsoft Azure hesabını açtıktan sonra ilk olarak verileri geçici olarak tutmak için kullanacağımız Azure Event Hubs servisini oluşturmamız gerekmektedir. Event Hubs oluşturmak için Azure portali üzerinde altta bulunan New sekmesine tıklanarak açılan servislerden App Services kısmına tıklanır. Açılan servisler listesinden Service Bus seçilir. Ardından gelen ekranda Event Hub seçeneğine tıklanarak yan tarafta açılan Quick Create butonuna tıklanır. Gelen ekranda oluşturulacak olan Event Hub’a bir isim verilmelidir. Oluşturulmak istenilen Event Hub servisinin hangi bölgede olacağı seçildikten sonra, namespace kısmında verilen Event Hub ismine göre bir namespace otomatik olarak oluşturulacaktır. Bu işlemler tamamlandıktan sonra sayfanın en altında bulunan Create a New Event Hub kısmına tıklanarak Event Hub’ın oluşturulması sağlanır.

azure portal ana ekran

Bu aşamada arka tarafta yapılan işlemler ve işlemin hatasız bir şekilde tamamlanıp tamamlanmadığı bilgisini sayfanın altında bulunan kısımdan (ribbon) takip edebilirsiniz.

azure portal ana ekran2

Oluşturulan Event Hub’a ilgili uygulamalardan bağlanıp veri gönderebilmek için sayfada ilgili Event Hub ismine tıklanır. Gelen ekranda oluşturulan Event Hub için veri akışını izleyebileceğiniz Dashboard, Event Hub için gerekli ayarları yapabileceğiniz Configure ve her bir Event Hub’ın dahil edildiği Consumer Group ayarlarını yapabilmek için Consumer Group tabları bulunmaktadır. Ayrıca bu ekranın sağ tarafında oluşturulan Event Hub ile ilgili Status, Event Hub URL, Operation Logs, Retention, Partition Count ve Namespace bilgilerini bulabilmektesiniz.

azure portal ana ekran3

Oluşturulan Event Hub servisine dışarıdan bir uygulama bağlanacağı için gerekli yetkiye sahip olması gerekmektedir. Bu nedenle dışarıdan ilgili Event Hub’a erişim için Configure tabına gelerek “manage” ismini verdiğimiz bir shared access policy oluşturmamız gerekmektedir. İlgili tam yetkiye sahip olabilmek için Manage, sadece veri gönderimi için Send, gelen verileri dinlemek için Listen olarak gelen seçeneklerden uygulamamız için Manage yetkisini seçmekteyiz.

event hub config

Ayrıca bu sayfada Event Hub’ın verileri ne kadar geçmişe dönük olarak saklayacağı set edilebilmektedir. Default olarak 1 gün olarak gelen bu seçeneği 30 güne kadar çıkarmak mümkündür. Benzer şekilde Event Hub’ın aktif veya pasife çekilmesi yine bu ekrandan sağlanabilmektedir.

Microsoft Azure Event Hub, partition yapısına göre tasarlanmış bir çözümdür. Ne kadar çok veriyle çalışacaksak partition sayısının o kadar fazla olması gerekmektedir. Her bir partition 1MB/sec veri alabilmektedir. Default olarak 4 partition ile oluşturulan bir Event Hub için bu değer ihtiyaca göre artırılıp azaltılabilmektedir. Event Hub için partition sayısı ne kadar yüksek olursa paralel olarak alınabilecek veri miktarı da o kadar yüksek olacaktır. Tabi bu da diğer yandan kullanım ücretine yansıyacaktır.

Bu sayfada gerekli ayarlar yapıldıktan sonra sayfa altında bulunan Save butonuna tıklanarak gerekli değişiklikler kaydedilir. Bu aşamada ilgili Event Hub oluşturulması tamamlanmış durumdadır. Yapılması gereken sadece uygulamadan buraya bağlantı kurabilmemiz için gerekli olan bağlantı cümlesini (connection string) buradan almamız gerekmektedir. Bunun için de ilgili Event Hub için Dashboard tabına tıkladığımızda sağ tarafta bulunan View Connection String kısmına tıklayarak gerekli bilgiler alınabilir.

event hub yetki

Açılan sayfada oluşturulan “manage” ismindeki shared access policy için gelen connection string bilgisi kopyalanabilir.

  • UYGULAMA AYARLARININ YAPILMASI

Event Hub oluşturma işlemi tamamlandığına ve uygulamadan bağlanabilmek için gerekli olan izinler verilip connection string elde edildiğine göre yazılan uygulamamızda gerekli ayarları artık yapmamız gerekmektedir. Bunun için daha önce yazmış olduğumuz tıklama verilerini alacağımız uygulama içinde Event Hub için gerekli olan bağlantı bilgisi ilgili yere eklenir.

Yazılan uygulama içinde conneciton bilgisi ister direkt olarak kod içerisinde istenirse de appconfig dosyası içinde set edilerek alınabilir.

event hub kod1

Oluşturulan connection için Event Hub üzerinde oluşturulan ve kopyalanan connection string bilgisi burada kullanılır.

event hub kod2

Uygulamadan üretilen bilgiler (tıklanan noktaya ait X ve Y koordinatları, tıklayanın adı, tıklanan nesnenin adı, olay tarihi vb.) daha sonra Stream Analytics servisine gönderileceği için serialize edilmelidir. Bunun için geçerli olan daha önce de bahsedilen JSON, CSV ve AVRO seçenekleri mevcuttur. Örneğimizde üretilen datalar JSON formatına serialize edilmektedir.

event hub kod3

Uygulamada yazılan kodlar ile program çalıştırıldığında üzerine tıklanılan resim ile ilgili bilgiler JSON formatına serialize edilerek connection bilgisi girilen Event Hub’a gönderilmektedir.

Uygulamayı çalıştırdığımızda karşımıza çıkan ekranda “Event Hub Name” kısmına oluşturmuş olduğumuz Event Hub’ın adını giriyoruz. Bizim örneğimizde altintashub olarak belirlemiştik. Connection String kısmına da manage isminde tanımlamış olduğumuz shared access policy için kopyaladığımız connection string bilgisini girmemiz gerekiyor. Bu bilgileri az önce belirttiğimiz gibi appconfig dosyasında tanımlayıp böyle bir giriş ekranı tanımlamamıza gerek kalmadan da oluşturabilirdik. Bu işlemleri tamamlayıp Connect butonuna tıkladığımızda uygulamamız herhangi bir hata olmaması durumunda Microsoft Azure Event Hub servisine bağlanacak ve tıklama verileri Event Hub’a JSON formatında serialize edilerek gönderilecektir.

uygulama ekrani1

Bu aşamada artık uygulama üzerinde tıklama işlemleri ile veri oluşturabilir ve Event Hub’a gönderilmesini sağlayabiliriz. “Your Name” kısmına tıklayan kullanıcı adı olarak kendi adımızı yazabiliriz. Örneğimizde biz altintas olarak bu kısmı dolduruyoruz. Ardından ekran üzerinde istediğimiz bir bölüme tıklayarak veri oluşturulmasını sağlayabiliriz. Oluşturulan veriler JSON formatına göre serialize edilerek hem Event Hub’a gönderilecek hem de görmemiz için uygulamanın altında bulunan listede tıklandıkça JSON verisi listelenecektir.

uygulama ekrani2

Bu yazımızda Microsoft Azure hesabının açılması, Azure Event Hubs servisinin configure edilmesi ve son kısımda da yazılan uygulama ile bağlantısının yapılıp tıklama verilerinin Event Hub‘a aktarılmasını bir örnek üzerinde incelemiş olduk. Bir sonraki yazımızda Event Hub‘a gelen verilerin gerçek zamanlı olarak analizinin yapılmasını sağlayacak olan Azure Stream Analytics servisi üzerinde örneğimize devam edeceğiz.

Görüşmek dileğiyle…

Yazar: Abdullah ALTINTAŞ

Yorum Yaz