Tele2 увеличила емкость платформы big data на 40% при помощи RT.DataLake

  • 14/07/2022, 11:35
Российский оператор мобильной связи, успешно завершил расширение существующего кластера хранения и обработки больших данных за счет решения RT.DataLake.

Общая емкость нового внедренного кластера Hadoop RT.DataLake составила 2,4 Пб. Это позволило на 40% нарастить полезную емкость платформы big data Tele2 и увеличитьновости бизенса производительность для расчетов задач machine learning. Благодаря расширению компания сократила зависимость от иностранного ПО, получила возможность увеличивать вычислительные мощности и масштабировать текущее решение без ограничений.

Tele2 использует кластер Hadoop для хранения и аналитики данных с 2018 года. За это время в кластер интегрировано более 100 источников данных, а ежедневный объем интегрируемых данных достигает 100 Тб. Платформой big data ежедневно пользуются десятки бизнес- и технических команд, при этом основным внутренним клиентом является команда аналитики и монетизации данных. Нагрузка на кластер непрерывно росла, а свободное место уменьшалось. Сложные процессы интеграции данных затрудняли работу команды data scientists. В связи с этим компания решила разделить архитектуру платформы big data на сегмент обработки данных и сегмент data science.

Для расширения платформы big data Tele2 выбрала продукт RT.DataLake от «Ростелекома» на базе технологии Hadoop. Данное решение показало лучшие показатели по экономии бюджета и совокупной стоимости владения: расчет в рублях за лицензии исключает валютные и санкционные риски, а суммарная экономия за 5 лет составит более $3 млн.

Сборка RT.DataLake является одним из самых современных коммерческих дистрибутивом Hadoop в мире – она состоит из самых «свежих» стабильных версий фреймворков и компонент. Это позволяет решить потребности инженеров данных и data scientists Tele2, которые крайне требовательно относятся к регулярному обновлению версий компонент в кластере. «Ростелеком» как вендор ПО показал готовность выполнить кастомизацию дистрибутива под нужды Tele2. Это дало возможность обеспечить необходимый набор используемых версий компонента Hadoop, реализовать добавление функционала в исходный код проекта и предоставить набор средств автоматизации развертывания и управления на базе технологии Ansible.

Tele2 надежно обеспечивает информационную безопасность и сохранность данных, постоянно проводя аудиты и совершенствуя методы их защиты. RT.DataLake не исключение. В решении реализовано разграничение доступа на базе технологии Ranger, внедрен протокол аутентификации Kerberos и выполнена интеграция с корпоративной службой Active Directory. Команда «Ростелекома» регулярно выпускает патчи обновления компонент и устранения угроз информационной безопасности.

Алексей Мартынов, директор по информационным технологиям Tele2:

«IT-cотрудники Tele2 расширяли кластер без привлечения подрядчиков. Большую помощь в этом процессе оказывала команда “Ростелекома”, которая устраняла любые недостатки в дистрибутиве в считанные дни. Наша компания сократила зависимость от иностранного ПО, получила возможность масштабировать платформу big data Tele2 без ограничений и увеличивать вычислительные мощности».

Антон Мерзляков, директор по аналитике больших данных Tele2:

«После расширения платформа big data Tele2 позволяет хранить 6,6 Пб данных, состоит из 126 вычислительных узлов суммарной мощностью 9000 ядер и 86 Тб оперативной памяти. Мощность расширенного кластера позволяет комфортно работать команде data scientists и решать самые высоконагруженные задачи. Мы уверенно смотрим в будущее и рассчитываем на полную реализацию наших планов по запуску продуктов на базе аналитики больших данных как для задач Tele2, так и обширного круга внешних клиентов и партнеров».

 

Фото предоставлено пресс-службой компании Tele2

Рубрики :

Регионы: Сибирь

Теги : технологии сотовый оператор



Erid:F7NfYUJCUneP3WgpqCtDЖК

ЖК "Новые Матрешки"

Пл.Маркса
25 минут
Реклама. Рекламодатель: ООО СЗ "ВИРА Инвест".

Erid:F7NfYUJCUneP3WgpqD32ЖК «Матрешкин двор»

ЖК «Матрешкин двор»

Студенческая
30 минут
Реклама. Рекламодатель: ООО СЗ "ВИРА Инвест".

Erid:F7NfYUJCUneP3WgpqYHfЖК «Grando»

ЖК «Grando»

Березовая роща
5 минут
Реклама. Рекламодатель: ООО СЗ "ВИРА Инвест".

Erid:F7NfYUJCUneP3WgpqYWzЖК «Luna»

ЖК «Luna»

Заельцовская
9 минут
Реклама. Рекламодатель: ООО СЗ "ВИРА Инвест"

Erid:F7NfYUJCUneP3WgpqYSZЖК «GORIZONT»

ЖК «GORIZONT»

Золотая Нива
12 минут
Реклама. Рекламодатель: ООО СЗ "ВИРА Инвест"

Erid:F7NfYUJCUneP3WgpqCjSЖК Сподвижники

ЖК Сподвижники

Пл.Маркса
20 минут
Реклама. Рекламодатель: ООО СЗ "ВИРА Инвест"
Руслан Мингалимов: На строительном рынке Новосибирска растет спрос на качественные стройматериалы

Руслан Мингалимов: На строительном рынке Новосибирска растет спрос на качественные стройматериалы

Потребители ставят качество стройматериалов на первое место, а цена на них отошла на второе.

Подпишитесь на новости
Подпишитесь на рассылку самых актуальных новостей.
 
×
Поиск по автору:
×
Ноябрь 2024
Пн Вт Ср Чт Пт Сб Вс
« Окт    
 123
45678910
11121314151617
18192021222324
252627282930  
×





Отправляя сообщение, я принимаю условия соглашения об использовании персональных данных и соглашаюсь с Правилами сайта
Я согласен (согласна)

×

Эксклюзивный материал

Материалы, отмеченные значком , являются эксклюзивными, то есть подготовлены на основе информации, полученной редакцией InfoPro54.ru. При цитировании, перепечатке ссылка на источник обязательна

×

Участие в конференции бесплатно






Формат участия:

Отправляя сообщение, я принимаю условия соглашения об использовании персональных данных и соглашаюсь с Правилами сайта

×

Участие в конференции бесплатно






Отправляя сообщение, я принимаю условия соглашения об использовании персональных данных и соглашаюсь с Правилами сайта

×
Наверх в Новости Новосибирска