Rozwiązanie in-memory dostosowane do wdrożeń dla Big Data

Teradata zapowiedziała innowacyjną technologię bazodanową Teradata Intelligent Memory. To pierwsze na rynku tego typu rozwiązanie, które pozwala wykorzystać pamięć operacyjną do istotnego zwiększenia szybkości przetwarzania i umożliwia wykorzystanie potencjału technologii in-memory dla zróżnicowanych zbiorów Big Data. Innowacje firmy Teradata pomagają przedsiębiorstwom wykorzystać posiadane przez nie dane do lepszego poznania klientów oraz własnej działalności, co przekłada się na możliwość zwiększenia rentowności.

Wprowadzenie technologii Teradata Intelligent Memory pozwoli naszym klientom w nowy sposób wykorzystać wydajność pamięci operacyjnej w ramach środowiska bazodanowego Teradata. Jako najbardziej wydajna i dostępna w konkurencyjnej cenie technologia dla hurtowni danych, Teradata Intelligent Memory wzmocni naszą wiodącą pozycję rynkową," - powiedział Scott Gnau, prezes Teradata Labs. „Technologia Teradata Intelligent Memory wchodzi w skład hurtowni danych, więc klienci nie muszą nabywać żadnych dodatkowych rozwiązań. Ponadto, dajemy klientom swobodę w konfigurowaniu mechanizmów in-memory pod kątem optymalnej wydajności i poziomu kosztów. Przechowywanie wszystkich danych w pamięci byłoby trudne, kosztowne i niepraktyczne. Unikalne podejście firmy Teradata pozwala na w pełni automatyczne wykorzystanie pamięci operacyjnej do przetwarzania najbardziej wartościowych danych tak, by zagwarantować najwyższą wydajność.

Teradata Intelligent Memory to już kolejne, najlepsze w swojej klasie rozwiązanie wpisujące się w strategię Teradata Unified Data Architecture i łączące możliwości bazy Teradata, platformy Teradata Aster oraz rozwijanego na zasadach open source środowiska Apache™ Hadoop. Często używane dane przechowywane w ramach platformy Apache Hadoop mogą być udostępniane za pomocą interfejsu Teradata SQL-H -i w oparciu o analizę wartości - automatycznie kierowane do obszaru pamięci Intelligent Memory tak, by zapewnić największą wydajność przetwarzania.

Niektórzy dostawcy, w celu przyspieszenia przetwarzania, zachęcają do przechowywania w pamięci operacyjnej wszystkich zasobów danych, jednak koszt takiego podejścia jest niezwykle wysoki. Ograniczona jest też pojemność dostępnej pamięci operacyjnej, co jest szczególnie istotne w przypadku analizy dużych zasobów zróżnicowanych danych.

Teradata Intelligent Memory optymalizuje wykorzystanie pamięci kierując najgorętsze, czyli najczęściej wykorzystywane dane, do pamięci operacyjnej na bieżąco je aktualizując i synchronizując. Proces ten jest w pełni automatyczny i nie wymaga żadnej interwencji ze strony operatora. Dodatkowo wdrożenie mechanizmów Teradata Intelligent Memory nie wymaga dokonywania żadnych zmian w aplikacjach, zapytaniach SQL, czy w sposobie, w jaki informacje są przechowywane w bazie danych. Nowe rozwiązanie daje klientom pełnię korzyści płynących z wykorzystania narzędzi analitycznych na zbiorach danych przechowywanych w technologii in-memory. Technologia ta pozwala na wyeliminowanie wąskich gardeł i opóźnień typowych dla pamięci dyskowych oraz zwiększenie przepustowości całego środowiska bazodanowego. Szybkość dostępu do danych jest o trzy rzędy wielkości wyższa niż w przypadku dysków twardych.

Technologia Teradata Intelligent Memory jest dostępna dla wszystkich obecnie oferowanych systemów przetwarzania danych opartych na bazie Teradata Database. Technologia Teradata Intelligent Memory umożliwia osiągnięcie wydajności niezbędnej do wykorzystania analiz biznesowych jako źródła przewagi konkurencyjnej.

Teradata Intelligent Memory wykorzystuje wyrafinowane algorytmy pozwalające w sposób automatyczny śledzić i wartościować informacje, umożliwiając efektywne zarządzanie danych i obsługę zapytań użytkowników.

Dane pamięci Teradata Intelligent Memory mogą być skompresowane i zapisywane w kolumnach, bądź wierszach, co pozwala zwiększyć efektywność wykorzystania dostępnej pamięci. Jednocześnie Teradata Intelligent Memory dba o to, aby w danej chwili w wydajnej pamięci operacyjnej przechowywane były tylko najczęściej wykorzystywane dane. Dzięki temu możliwe jest szybsze przetwarzanie większości zapytań do bazy danych, przy jednoczesnej maksymalizacji stopy zwrotu w poczynione inwestycje.

Przedsiębiorstwa stające w obliczu rosnącej konkurencji i pogarszających się warunków gospodarczych, podejmując decyzje biznesowe muszą opierać się na aktualnych danych. Rosną więc potrzeby w zakresie posiadania jak największej ilości danych niezbędnych do ciągłego poszerzania i pogłębiania analiz biznesowych. Jednak na wydajności hurtowni i środowisk bazodanowych negatywnie odbija się ten gwałtowny wzrost ilości, złożoności, zróżnicowania i zmienności informacji wykorzystywanych do analiz biznesowych. W obecnej sytuacji administratorzy środowisk bazodanowych nie są już w stanie ręcznie optymalizować baz danych przy każdej zmianie ich obciążenia.

Integralną częścią proponowanej przez firmę Teradata architektury in-memory są mechanizmy optymalnego zarządzania danymi," - powiedział Richard Winter, dyrektor generalny firmy WinterCorp. „To bardzo istotne, ponieważ najgorętsze informacje są w sposób automatyczny przenoszone do warstwy in-memory, te nieco mniej potrzebne do pamięci SSD, i tak dalej. Możliwość przechowywania danych w kolumnach oraz opracowane przez firmę Teradata algorytmy kompresji dodatkowo wzmacniają wartość płynącą z przechowywania danych bezpośrednio w pamięci operacyjnej. Dzięki temu klienci mogą cieszyć się faktycznym wzrostem wydajności bez konieczności samodzielnego podejmowania decyzji o tym, które informacje w danej chwili powinny być przechowywane w pamięci operacyjnej.

Teradata to jedyny dostawca oferujący kompleksowe, systemowe podejście do zarządzania danymi w kontekście ich przydatności, które przekłada się na optymalną wydajność w najbardziej wymagających zastosowaniach biznesowych. Teradata Intelligent Memory pozwala na rozszerzenie mechanizmów zarządzania danymi w kontekście ich przydatności na warstwę pamięci operacyjnej. Jednocześnie rozwiązanie to wspiera inne mechanizmy pozwalające optymalizować sposób i miejsce zapisu danych pod kątem ich faktycznej przydatności. Jednym z takich mechanizmów jest Teradata Virtual Storage, który pozwala zautomatyzować zarządzanie całym cyklem życia informacji, tak, aby najrzadziej wykorzysywane dane były automatycznie migrowane do najtańszych, ale najmniej wydajnych nośników. Mechanizmy Teradata Virtual Storage w sposób ciągły optymalizują sposób składowania danych między nośnikami SSD, a typowymi dyskami twardymi pod kątem zapewnienia jak najlepszej wydajności hurtowni danych.

Dodatkowo dane, które system sklasyfikuje jako rzadko wykorzystywane są poddawane silnej kompresji, co przekłada się na istotne oszczędności przestrzeni danych. Taki proces pozwala na wyeliminowanie częstej kompresji i dekompresji bardziej przydanych zasobów informacyjnych, nie wymaga żadnych działań ze strony użytkownika i pozwala wydatnie zwiększyć stopień wykorzystania nośników danych.

Technologia Teradata Intelligent Memory będzie częścią najnowszej bazy Teradata Database 14.10, której premierę zaplanowano na drugi kwartał 2013 roku.

Źródło: Teradata