Karanlıktaki büyük veri!

Yapay zeka çağında verinin önemi giderek daha fazla anlaşılıyor... Şirketlerin yeni teknolojilerden yararlanması için verilerini kullanılabilir hale getirmesi, teknoloji liderlerinin deyimiyle 'karanlıktan' çıkarması gerekiyor. Bu nedenle sırada bazı şirketlerde yüzde 90'lara ulaşan bu oranı hızla aşağıya çekmek var.

- MEHTAP DEMİR

Dijital çağda veriyi yönetmek, şirketler için en stratejik görevlerden biri haline geldi. Her gün milyonlarca dosya, log, eposta ve sensör verisi üretiliyor. Ancak tüm bu veri analiz edilmiyor; çoğu depolarda "karanlık veri" olarak kalıyor. Splunk'ın 2024 tarihli 'The State of Dark Data' raporuna göre, organizasyonların verilerinin yüzde 55-60'ı hâlâ kullanılmıyor.

Dünya Ekonomik Forumu (World Economic Forum) verileri ise şirketlerin her gün yaklaşık 1.3 trilyon gigabayt karanlık veri ürettiğini ortaya koyuyor. Bu veriyi bir yıl boyunca fosil yakıtlarla çalışan veri merkezlerinde depolamak, Londra-New York arası üç milyon uçuşun karbon salımına eşdeğer CO2 üretiyor. Bu durum, karanlık veriyi yönetmenin sadece ekonomik değil, çevresel açıdan da kritik bir konu olduğunu gösteriyor.

Karanlık veri sadece kayıp fırsatlar yaratmakla kalmıyor; yapay zekanın potansiyelini de sınırlıyor. Çünkü yapay zeka ve analitik, ancak veri erişilebilir, temiz ve anlamlı olduğunda başarıya ulaşabiliyor. Bu nedenle şirketler, karanlık veriyi aydınlatmak için hem teknolojik hem kültürel bir dönüşümün eşiğinde bulunuyor.

KARANLIKTA NE VAR?

Yaratılan veri hacmi her yıl katlanarak artıyor. Statista'nın rakamlarına göre 2010 yılında yaratılan veri 2 Zettabayt (ZB) idi. 2024 yılında 174 ZB'a çıktı, 2025 yılında ise 181 ZB olması gerekiyor. En önemlisi ise son 5 yılda yaratılan verinin, insanlık tarihinde yaratılanın yüzde 70-80 arasına geliyor olması...

IoT cihazları, bulut sistemleri ve sensörler sayesinde şirketlerin elinde devasa miktarda veri bulunuyor. Ancak, Splunk ve DataStackHub'ın raporları, bu verinin yarısından fazlasının hâlâ "karanlık" olduğunu gösteriyor.

Sektörlere göre ticari karanlık veri oranları yüzde 40 ile 90 arasında değişiyor, yani çoğu şirketin verilerinin büyük çoğunluğu kullanılmıyor.