Big Data

Wyrażenie „duże zbiory danych” jest często używane w przedsiębiorstwo ustawienia opisujące duże ilości plików data. Nie odnosi się do określonej ilości danych, ale raczej opisuje zbiór danych, którego nie można przechowywać ani przetwarzać w tradycyjny sposób baza danych oprogramowanie.

Przykłady dużych zbiorów danych obejmują Google indeks wyszukiwania, baza danych Facebook profile użytkowników i lista produktów Amazon.com. Te zbiory danych (lub „zbiory danych”) są tak duże, że danych nie można przechowywać w typowej bazie danych ani nawet na jednym komputerze. Zamiast tego dane muszą być przechowywane i przetwarzane przy użyciu wysoce skalowalnego system zarządzania bazą danych. Big data jest często dystrybuowana w wielu urządzenia pamięci masowej, czasami w kilku różnych miejscach.

Wiele tradycyjnych systemów zarządzania bazami danych ma ograniczenia dotyczące ilości danych, które mogą przechowywać. Na przykład baza danych Access 2010 może zawierać tylko dwa pliki gigabajty danych, co uniemożliwia przechowywanie kilku petabajty or eksabajty danych. Nawet jeśli DBMS może przechowywać duże ilości danych, może działać nieefektywnie, jeśli jest ich zbyt wiele stoły or dokumentacja są tworzone, co może prowadzić do spowolnienia działania. Rozwiązania Big Data rozwiązują te problemy, zapewniając wysoce responsywne i skalowalne systemy pamięci masowej.

Istnieje kilka różnych typów dużych zbiorów danych oprogramowanie rozwiązania, w tym platformy do przechowywania danych i programy do analizy danych. Do najpopularniejszych produktów oprogramowania Big Data należą Apache Hadoop, IBM Big Data Platform, Oracle NoSQL Baza danych, Microsoft HDInsight i EMC Pivotal One.