ETL ve Veri Ambarı / Veri Ambarı arasındaki fark nedir?


cevap 1:

ETL, işlendikten sonra verilerin alındığı ve yüklendiği süreçtir; oysa Veri Ambarı, verilerin analiz / raporlama için saklandığı yerdir (SQL Server, Oracle, AWS Redshift, MySQL, vb. Gibi sistemlerde Veritabanları gibi). Veri Ambarı, ETL kullanarak bir Veri Ambarı'na veri yükleme işlemidir.

Kilit iş paydaşları, çoğunlukla bir Veri Ambarından veya Veri Ambarından türetilen belirli Veri Gruplarından oluşturulan raporları kullanarak bir kuruluşun daha iyi geleceği için kararlar alırlar.

Temel bir Veri Ambarı projesine örnek olarak şunlar verilebilir:

Burada anlaşılacak diğer ilgili terminolojiler şunlardır: -

→ Veri Paylaşımları: Veri farkları, belirli bir kullanıcı grubuna daha hızlı ve basitleştirilmiş erişim için daha küçük, konuya özgü verileri depolamayı amaçlayan veri ambarının alt kümeleridir.

→ Evreleme alanı: Evreleme alanı veya iniş alanı, çıkarma, dönüştürme ve yükleme (ETL) işlemi sırasında veri işleme için kullanılan bir ara depolama alanıdır.

→ İş Zekası: Şirket yöneticilerinin, iş yöneticilerinin ve diğer son kullanıcıların daha bilinçli iş kararları vermesine yardımcı olmak için verileri analiz etmek ve eyleme geçirilebilir bilgiler sunmak için teknoloji odaklı bir süreç.

→ ETL Araçları: ETL işlemini gerçekleştirmemize yardımcı olan Araçlar, yani aşağıdaki 3 etkinlik: -

- Veri çıkarma - homojen veya heterojen veri kaynaklarından veri çıkarır

-Veri dönüşümü - verileri sorgulama ve analiz amacıyla uygun biçimde veya yapıda depolamak için dönüştürür

-Veri yükleme - nihai hedefe yükler (veritabanı, daha spesifik olarak, operasyonel veri deposu, veri mart veya veri ambarı)

Referanslar: Wikipedia, Google Arama


cevap 2:

ETL olarak kısaltılan Ayıkla, Dönüştür ve Yükle, farklı kaynak sistemlerinden verileri entegre etme, iş gereksinimlerine göre dönüşümleri uygulama ve daha sonra raporlama yapabilen tüm iş verileri için merkezi bir havuz olan bir yere yükleme işlemidir . İlgili adımlar şunlardır:

  1. Çıkarma: Çıkarma kısmı, Düz dosyalar, CSV'ler, veritabanları, diğer platformlardan veritabanları, web hizmetleri ve benzeri gibi farklı kaynak sistemlerinden veri kaynağı içerir. Ayrıca, farklı kaynaklardan gelen verileri benzer bir yapıya getiren bir veritabanına entegre edilirler. Birçok mimar bunu sektördeki bir evreleme veritabanına yönlendiriyor.Transformasyon: Artık aşamalı veriler dönüştürülüyor, bu da farklı dönüşümlerin uygulanmasını içeriyor, bu da verilerin raporlamayı kolaylaştıracak bir forma kalıplanması anlamına geliyor. Veri analizini kolaylaştıran (BI'nın nihai amacı olan) ex: Pivoting, YearOverYear satış hesaplaması, kar yüzdesi hesaplamaları, tarih, ay, dönem, dönem, yıl seviyelerindeki verilere ilişkin toplamalar gibi farklı hesaplamalar yapılır. Veri temizleme de bu sürecin bir parçasıdır. Yük: Bu, dönüştürülmüş verilerin raporlama amacıyla verilerin arandığı tek bir merkezi depoya yüklenmesini içerir. Bu genellikle bir veri ambarı olarak adlandırılabilir. Her ne kadar BI sisteminin mimarisine bağlı olarak, bu da veri ambarı veya veri merkezi olabilir. Ayrıca OLAP sistemleri kullanılıyorsa, veriler bu aşamada zaman zaman OLAP küplerine işlenir.

Dolayısıyla bu ETL işlemi verilerinizi raporlamaya hazır hale getirir ve veri analizi ve raporlaması için yapılandırılmış bir yerde (DW, OLAP Küpü) saklar.

Şimdi Data Warehouse'dan birkaç kez bahsetmiştim. Peki bir veri ambarı nedir. Veri ambarının geleneksel tanımını google'da veya Oracle Docs'ta bulabilirsiniz, ancak basit bir dilde DataWarehouse:

  1. Çok fazla veri içerdiği için gerçekten büyük olan büyük bir veri merkezi (ilişkisel veritabanı) .Raporlama ve iş analitik gereksinimlerine bağlı olarak raporlama amaçları için uygun olan aslında / boyut tabloları modellenmiştir. tüm geçmiş verileri içerir ve veriler gece ETL işleri (ETL mantıklarını tanımlayan otomatik prosedürler / kodlar) kullanılarak periyodik olarak bu veriye yüklenir

İşte veri deponuz bu. Farklı kaynak sistemlerinden veri almayı ve sonuçta veri deposuna dökülmesini sağlayan ETL'den geçmesine izin veren tüm süreç, Veri Ambarı olarak bilinir. Genellikle OLAP küpleri de veri ambarının bir parçası olarak kabul edilir, ancak birçok insan bunu kabul etmese de ayrılmaz bir parçadır ve veri ambarından ayrılamaz.

Herhangi bir karışıklık devam ederse haberim olsun.


cevap 3:

ETL olarak kısaltılan Ayıkla, Dönüştür ve Yükle, farklı kaynak sistemlerinden verileri entegre etme, iş gereksinimlerine göre dönüşümleri uygulama ve daha sonra raporlama yapabilen tüm iş verileri için merkezi bir havuz olan bir yere yükleme işlemidir . İlgili adımlar şunlardır:

  1. Çıkarma: Çıkarma kısmı, Düz dosyalar, CSV'ler, veritabanları, diğer platformlardan veritabanları, web hizmetleri ve benzeri gibi farklı kaynak sistemlerinden veri kaynağı içerir. Ayrıca, farklı kaynaklardan gelen verileri benzer bir yapıya getiren bir veritabanına entegre edilirler. Birçok mimar bunu sektördeki bir evreleme veritabanına yönlendiriyor.Transformasyon: Artık aşamalı veriler dönüştürülüyor, bu da farklı dönüşümlerin uygulanmasını içeriyor, bu da verilerin raporlamayı kolaylaştıracak bir forma kalıplanması anlamına geliyor. Veri analizini kolaylaştıran (BI'nın nihai amacı olan) ex: Pivoting, YearOverYear satış hesaplaması, kar yüzdesi hesaplamaları, tarih, ay, dönem, dönem, yıl seviyelerindeki verilere ilişkin toplamalar gibi farklı hesaplamalar yapılır. Veri temizleme de bu sürecin bir parçasıdır. Yük: Bu, dönüştürülmüş verilerin raporlama amacıyla verilerin arandığı tek bir merkezi depoya yüklenmesini içerir. Bu genellikle bir veri ambarı olarak adlandırılabilir. Her ne kadar BI sisteminin mimarisine bağlı olarak, bu da veri ambarı veya veri merkezi olabilir. Ayrıca OLAP sistemleri kullanılıyorsa, veriler bu aşamada zaman zaman OLAP küplerine işlenir.

Dolayısıyla bu ETL işlemi verilerinizi raporlamaya hazır hale getirir ve veri analizi ve raporlaması için yapılandırılmış bir yerde (DW, OLAP Küpü) saklar.

Şimdi Data Warehouse'dan birkaç kez bahsetmiştim. Peki bir veri ambarı nedir. Veri ambarının geleneksel tanımını google'da veya Oracle Docs'ta bulabilirsiniz, ancak basit bir dilde DataWarehouse:

  1. Çok fazla veri içerdiği için gerçekten büyük olan büyük bir veri merkezi (ilişkisel veritabanı) .Raporlama ve iş analitik gereksinimlerine bağlı olarak raporlama amaçları için uygun olan aslında / boyut tabloları modellenmiştir. tüm geçmiş verileri içerir ve veriler gece ETL işleri (ETL mantıklarını tanımlayan otomatik prosedürler / kodlar) kullanılarak periyodik olarak bu veriye yüklenir

İşte veri deponuz bu. Farklı kaynak sistemlerinden veri almayı ve sonuçta veri deposuna dökülmesini sağlayan ETL'den geçmesine izin veren tüm süreç, Veri Ambarı olarak bilinir. Genellikle OLAP küpleri de veri ambarının bir parçası olarak kabul edilir, ancak birçok insan bunu kabul etmese de ayrılmaz bir parçadır ve veri ambarından ayrılamaz.

Herhangi bir karışıklık devam ederse haberim olsun.