Big Data (Büyük Veri) Nedir

Big Data (Büyük Veri) Nedir

İnternet kullanımı artarak yaygınlaştıkça (daha fazla internet kullanıcısının oluşması) internet üzerinde biriken verinin büyüklüğü de neredeyse takip edilemez bir hızla katlanıyor

BIG DATA NEDİR?

Büyük veri anlamına gelen, ilk olarak 2004-2005 yıllarında telaffuz edilmeye başlanan ve son yıllarda sıkça kullanılan Big Data kavramı, bilginin ham ve karmaşık halinin analizler ve sınıflandırmalarla hem anlamlı hem de işlenebilir duruma dönüştürülmesidir.Günümüz teknolojisinde verilerin artık normal sabit disklerde saklanamayacak boyuta ulaşmasından, internette üretilen verilere kadar geniş bir alanda tanımlayabiliriz bu kavramı. Fakat en büyük pay kuşkusuz internet üzerinde üretilen verilerin. ERP çözümleri de Big Data için örnek olarak gösterilebilir.

Farkında mısınız? İnternet kullanımı artarak yaygınlaştıkça (daha fazla internet kullanıcısının oluşması) internet üzerinde biriken verinin büyüklüğü de neredeyse takip edilemez bir hızla katlanıyor. 4,66 milyar insan çeşitli amaçlarla her gün internette vakit geçirirken yeni veriler oluşturuyor. Bir web sayfasını ziyaret etmeniz, sosyal medya uygulamaları ve bunlar üzerinde kullanıcıların ürettiği milyarlarca fotoğrafla birlikte sayısız içerik, video paylaşım uygulamalarında biriken videolar, yorumlar, hastane kayıtları ve işlemlerimizi takip etmemiz, blog sayfamızda ürettiğimiz içerikler, internet bankacılığı işlemlerimiz, arama motorlarında geçirdiğimiz vakit, tıp dünyasında kayıtları tutulan sayısız bilgi..Kısaca, internette bıraktığımız her iz ve yaptığımız her etkileşim hayal edemeyeceğimiz dijital bir boyut kazanıyor.Aranan, saklanan, depolanan, paylaşılan her veri bir alan kaplar.Örneğin Google üzerinde bir dakikalık süre zarfında 5 milyon arama yapıldığını biliyor muydunuz?

Hepimiz bilginin peşindeyiz ve ona en doğru ama en hızlı şekilde ulaşmak isteriz. Bazen saniyeler bile sabrımızı zorlar. Çünkü beklemek özellikle zamanla yarıştığımız durumlarda işleri zorlaştırır. İşte tam da bu noktadaBig Data kavramının resmini görebiliriz. Çünkü internet ortamında sahneye çıkan verilerinsorunsuz bir şekilde ulaşılabilir olması için işlenebilir ve anlamlı hale getirilmesi gerekmektedir. Şimdi bu işlemi hayal eder misiniz? Hayal etmekte bile zorlandığımız bu durumun geleneksel teknolojinin altyapısıyla aşılması çok zor. Kuşkusuz, veri analizi uzmanlarına çok iş düşüyor.

Veriler büyüdükçe gün yüzüne çıkmamış bellek ölçü birimleri de hayatımıza girmeye başlıyor. Big Data penceresinden veri boyutunu Gigabyte veya Terabyte gibi veri büyüklükleri yerine Petabyte hatta Exabyteile ifade ediyoruz ve görünüşe bakılırsa Zettabytebile söz konusu. Mesela Exabyte1048576Terabyteölçü birimi değerinde. Resim bu kadar büyük olunca, yeni bir bilim dalı hayatımızda epeyce bir zaman yer önce aldı: Veri Bilimi.

VERİ BİLİMİ NEDİR?

Üretilen tüm verilerin anlamlı ve doğru bir değere dönüştürülmesi, tüm bu verilerden yenilerinin oluşturulması ve gelecek için öngörülerde bulunmak için ilgili bilimsel yöntemlerin ve çeşitli algoritmaların kullanılması veri bilimi alanında gerçekleşir. Veri bilimi çatısı altında bulunan diğer başlıklarla değerlendirdiğimizdeyse ortaya geniş bir disiplin çıkıyor:

*    Veri Kazıma
*    Veri Analizi
*    Veri Analisti/Veri Analizi Uzmanı
*    Veri Madenciliği
*    Veri Denetimi

Tüm başlıklarıyla veri bilimi aynı zamanda yakın gelecekte çok daha fazla genişleyecek olan yeni bir iş sahasını da karşımıza çıkardı.2013 yılından bu tarafa veri işlemek için personel ihtiyacı %350 oranında arttı. Veri analizi uzmanları bunlardan biri. Veri analistleri veri yığınlarını toplayıp, düzenlemek için veri madenciliği ve veri denetimine de hakim olmalı.

Eskiden 3V (volüme, velocity, variety) kriterlerine göre işlenen Big Data artık 5V kriterlere göre karmaşık halden düzenli ve kullanılabilir hale getirilebiliyor:

1.    Variety: Çeşitlilik (Çokça veri tipini tek standarda getirmek)
2.    Velocity: Hız (Verinin işlenme ve üretim hızı)
3.    Volume: Hacim (gerçek zamanlı olarak verinin işlenmesi ve yeni bir veriye, bilgiye dönüştürülmesi)
4.    Verification/Veracity: (Doğruluk (verilerin doğru akış esnasında, doğru katmanda olmasının yanında en iyi güvenlik seviyesinde izlenmesi, doğru kişilerce görülmesinin sağlanması)
5.    Value: Değer (Ulaşılan verinin değer sağlaması ve aynı zamanda yol gösterici olması)

Veri analistleri bu saydıklarımız ışığında, en doğru algoritmaları geliştirme konusunda başarılı yazılım araçlarıyla veriyi işleyerek, anlamlı ve kullanılabilir hale getirir.

BAŞARILI BİR VERİ ANALİZİ İÇİN GEREKEN BECERİLER:

•    İlgili programlama dillerine hakimiyet
•    Veri görselleştirme
•    Yapay zeka ve makine öğrenmesi
•    Veri Madenciliği
•    Kantitatif Analiz
•    Algoritmalar
•    Veri tabanları ve veri yapıları

VERİ KAZIMA

İngilizce anlamı DataScrapingolan veri kazıma, herhangi bir internet sayfasındaki istenilen kısımdan veri alma, bir yığından veri çıkarma işlemidir.

VERİ ANALİZİ

Ham verilerin toplanıp, ayıklanması ve beraberinde düzenlenmesine veri analizi denir. Veri analizi işlemi, verilerden bilgi elde etmek için belli başlı yöntemler ve tekniklerin ışığında hem analitik hem de mantıksal muhakeme kullanılarak gerçekleşen bir süreçtir.

Veri Analizi Yöntem ve Teknikleri
1. Paydaşlarla birlikte ihtiyaçlarda işbirliği yapılması
2. Cevap bekleyen soruların belirlenmesi
3. Verilerin toplanması
4. Anahtar Performans Göstergelerinin(KPI) ayarlanması
5. Yararsız görülen verilerin atlanması
6. İstatistiksel analiz yapılması
7. Bir veri yönetimi yol haritası oluşturulması
8. Teknolojiyle entegrasyon. (En doğru yazılım araçları)
9. Sorularınyanıtlanması
10. Verilerin görselleştirilmesi
11. Metin analizi metodu uygulanması
12. Teşhis analizlerinin detaylı incelenmesi
13. Otonom teknolojinin dikkate alınması
14. Bir anlatı hazırlanması
15. Bilgi paylaşımı

VERİ BİLİMCİ

Veri bilimci, ileri analiz teknolojilerinden yararlanarak, veri yığınlarının analizini yapıp, yorumlayan kişidir. Bir veri bilimci bilgisayar alanında uzmanlaşmış olmanın yanı sıra matematik ve istatistik alanlarına da hakim olmalıdır.R, Python, Apache, ScalaSpark, Hadoop ve makine öğrenmesi gibi yetkinlikleri olmalı.

VERİ MÜHENDİSİ

Ham verileri toplayan ve onları veri formatlarına dönüştüren ve veri bilimcilerin çalışma zeminlerini oluşturan kişi veri mühendisidir. Veri akışı, NoSQL, Hadoop, MapReduce, Hive, Pig, SQL ve çeşitli araçlara hakim olması gereken yazılım mühendisleridir.

VERİ ANALİSTİ/VERİ ANALİZİ UZMANI

Veri Analisti, istatistik, matematik, veri akışı ve veri görselleştirme becerilerine sahip ve veri analizi araçlarını kullanarak verilerden elde edilen bilgilerin incelenmesi,düzenlenmesiyle raporlanması gibi işlerden sorumlu kişidir.

İŞ ZEKASI GELİŞTİRİCİSİ

İş zekasıarayüzlerini geliştirip, dağıtmaktan sorumlu olan ve bunları yaparken veriyönetimi ve tasarımı için kullanılan SQL diline hakim mühendislerdir.

VERİ MADENCİLİĞİ

Veri madenciliği, eldeki verilerin yanı sıra dışarıdan alınan verileri de güvenli bir şekilde muhafaza edip, olası sonuçları tahmin etmek için veri yığınları içinde modelleri, normalin dışındaki durumları ve korelasyonları bulma sürecidir. Belirli tekniklerden faydalanarak, elde edilen bu bilgilergelirartışı elde etmek,riski azaltmak, maliyetleri düşürmek, müşteri ilişkilerini iyileştirmekve daha fazlası için kullanabilir.

BIG DATA ÖNEMLİ. ÇÜNKÜ:

-    Sağlıktan, ticarete tüm alanlarda geleceğin verilerinin en güvenli şekilde korunmasını ve en doğruşekilde kullanılabilmesini mümkün kılar,
-    Suçluların tespiti ve suçun önlenmesi gibi emniyet güçlerinin sorumluluk alanına giren konularda mümkün olan en kısa zaman içerisinde neticeye ulaşmak, önlemler almak ve tahminlerde bulunmak için verilerden faydalanılır,
-    Dijital reklam araçları ve yeni pazarlama modelleri geliştirmeye yardımcı olur,
-    Çeşitli algoritmalar sayesinde ticaretin elektronik ortamdaki tarafında müşterilerin tercihleri ve ürün yönelimleri açısından göstergeleri sunar,
-    İş tarafından bakarsak en hızlı ve en yerinde karar yeteneklerini arttırır,
-    Diğer taraftan işletmelere ait bilgilerin uzun ömürlü olmasına ve verilerine istedikleri kriterlere göre ulaşıp, ürün çalışmalarını başarılı yöntemlerle daha fazla müşteri odaklı yapmalarına yardımcı olur,
-    Eğitim alanında yeni stratejiler ve modeller geliştirilmesine kapı aralar,
-    İnternetin kullanım amacı ve verilerin çeşitlenmesini düşünürsek, Big Data sınırsız yenilikler oluşturmaya olanak tanır.
Geniş bir veri haznesine sahip olmak ne kadar cazip ve avantajlı gözükse de önemli olan veriyi doğru kullanmaktır.