В ИВТ СО РАН уверены, что без единой системы передачи, хранения и обработки Big Data в Сибирском отделении невозможно развитие исследований на современном уровне.

Общая коммуникационная сеть институтов Сибирского отделения формировалась с 1990-х годов по инициативе председателя СО РАН академика Валентина Коптюга, поставившего академику Юрию Шокину при создании ИВТ СО РАН задачу информатизировать научную и организационную деятельность Отделения и институтов, сообщает издание «Наука в Сибири».

— Это, в принципе, была первая в России мощная корпоративная сеть, которая и сегодня остается самой крупной в рамках Академии наук», — отметил заместитель директора ИВТ СО РАН кандидат физико-математических наук Андрей Юрченко. — Ее участниками являются около 65 организаций в 11 городах, а до происшедших в ходе реформы РАН укрупнений в сети работало более 100 научных учреждений.

Отмечается, что перемены сказались не только на количестве пользователей этой сети. До реформы она получала поддержку в размере около 50 миллионов рублей ежегодно от Сибирского отделения РАН как одна из его целевых программ, которые распределялись координаторам деятельности сети в 11 городах для ее содержания и развития. Эта сумма включала в себя также закупку всех каналов выхода в Интернет в Новосибирске и остальных десяти городах. Затем финансирование проекта перешло в ФАНО России, где применили оригинальную методику исчисления размеров финансирования на объекты научной инфраструктуры — не по потребностям, а по объемам внешних заявок.

— Сумма поддержки колебалась от 14 до 22 миллионов рублей для ИВТ, и дополнительно было выделено около 7 миллионов рублей для Иркутска, где аналогичную сеть содержит Институт динамики систем и теории управления им. В. М. Матросова СО РАН, — конкретизировал Андрей Юрченко. — Однако в 2018 году никакой финансовой поддержки деятельности по содержанию сети и каналов связи получено не было, и ИВТ СО РАН совместно с партнерами в других научных центрах Сибири самостоятельно несли это бремя.

 После упразднения в нынешнем году ФАНО новое Министерство науки и высшего образования РФ еще никак не обозначило свою позицию по финансированию информационных систем.

— Переговоры идут в следующем ключе: да, закупка каналов выхода в Интернет стала прерогативой каждого института по отдельности. Однако единую внутреннюю систему работы с данными было бы крайне неэффективно разрушить, разделить на обособленные замкнутые сегменты, — отметил Андрей Юрченко. — Сеть, построенная в Новосибирске, по-прежнему полностью находится на обеспечении ИВТ СО РАН. Это кабельные каналы, соединяющие все научные институты между собой и с центральным узлом в нашем здании на проспекте Академика Лаврентьева, 6. Мы гарантируем бесперебойную работу всей системы при любых условиях, но необходима юридически проработанная консолидация усилий.

Другими профильными организациями новосибирского Академгородка, с которыми происходит интенсивный обмен данными, ученый назвал Новосибирский государственный университет, Институт вычислительной математики и математической геофизики СО РАН и его Сибирский суперкомпьютерный центр. В создании систем работы с Big Data ИВТ является не монополистом, но наиболее мощной и де-факто головной организацией в Сибирском отделении.

Как отмечает Андрей Юрченко, можно говорить не просто о внутренней сети передачи данных, а о своеобразном замкнутом контуре их обращения. Данные генерируются, хранятся и обрабатываются (анализируются) в пределах локальных телекоммуникационных и вычислительных ресурсов, а также систем хранения и обработки. При этом задействуются и облачные технологии: в ИВТ СО РАН работает частное облако для хранения научной информации, развиваются сервисы по организации их обработки. Если же сравнивать с внешними «облаками», то ключевое преимущество локализованного цикла в том, что объемы данных здесь циркулируют очень большие, для их передачи нужны высокоскоростные каналы, а внутри сети они есть (от 1 до 10 Гбит/с).

— Недавно мы провели анализ и выяснили, что внешний трафик институтов в разы меньше объемов информации, идущей к ним и от них по внутренней сети, — дополнил Андрей Юрченко. — Это происходит прежде всего из-за интенсификации работы с большими данными. Big Data становятся основой научной деятельности, и их начинают генерировать и обрабатывать практически все: биологи, физики, геологи и многие другие. В последнее время быстро нарастают запросы наших медиков — они работают уже с терабайтами.

Замдиректора ИВТ не исключил, что Big Data, высокопроизводительная обработка и анализ данных станут актуальными также для экономистов и гуманитариев: речь идет не только о статистике, но и о картографической информации разного содержания, а также о распознавании и сравнении многих тысяч визуальных образов — например, археологических находок.

— Я знаю, в частности, как сравнительный анализ данных аэрофотосъемки помог историкам здесь, в СО РАН, обнаруживать скрытые объекты, следы дорог и городищ минувших времен, — конкретизировал заместитель директора ИВТ СО РАН.

Возможно, крупнейшим академическим институтам более логично создавать собственные системы работы с Big Data? Ведь данные экономического профиля вряд ли потребуются физикам-ядерщикам, а анализ тысяч снимков земной поверхности — генетикам.

— Да, тот же ФИЦ «Институт цитологии и генетики СО РАН» — учреждение, достаточно крупное, чтобы позволить себе организацию собственного хранилища данных, — отреагировал Андрей Юрченко. — Но даже такому институту-гиганту непросто удовлетворить быстро нарастающие потребности: мне известно, что ФИЦ ИЦиГ уже в следующем году будет нуждаться в не менее чем 2,5 петабайтах пространства для долговременного хранения своих данных, а таких ресурсов там нет, и не предвидится.

 Аналогичная проблема, по словам ученого, есть и у Института ядерной физики им. Г.И. Будкера СО РАН, где заявляют о необходимости иметь хранилища в сотни петабайтов для данных с сенсоров различных ускорителей.

— Мы сторонники разумной централизации и понимаем, что совсем необязательно все ресурсы сваливать в одну кучу, — отметил замдиректора ИВТ. — Однако эффективное управление данными и вычислениями — непростая научно-техническая задача, поручать решение которой целесообразно специалистам, каковых нужно держать вместе, чтобы они постоянно варились в одном котле, работали как одна профессиональная команда. Про эффективность использования общих каналов связи знают все, это основа деятельности операторов Интернета: самим иметь гигабитный канал, но продавать двадцати пользователям стомегабитные каналы. Мы это четко видим на нашем консолидированном канале: по сумме пиковых скоростей для общего пользования требуется не менее 5 Гбит/с, однако 1,2 Гбит/с хватает с запасом, поскольку пики потребления у разных организаций приходятся на разное время — возникает экономия.

 Другой пример. Когда у отдельного института есть возможность взять, например, канал на 100 Мбит/с, то это будет максимальная скорость, на которой он сможет общаться. Если таких институтов пять, и они объединят свои коммуникационные ресурсы, то суммарная пропускная способность консолидированного канала будет 500 Мбит/с, и тогда, за счет неравномерности трафика, отдельный институт сможет передавать и принимать данные на существенно более высокой, чем 100 Мбит/с, скорости — вплоть до 500 Мбит/с в часы единоличного потребления.

И еще о цифрах. По словам Андрея Юрченко, в хранилище ИВТ только данных по дистанционному мониторингу земной поверхности (не очень быстро растущих) сосредоточено более 400 терабайт. Емкость предназначенных для них систем хранения — полтора петабайта, но в ближайшее время в эксплуатацию будут введены новые мощности потенциалом в 2,5 Пб. Для институтов, специализирующихся по конкретным областям знания, такие объемы являются практически недостижимыми — даже для крупнейших.

 — Информационно-телекоммуникационная система Сибирского отделения строилась и совершенствовалась десятилетиями, — резюмировал научный руководитель ИВТ академик Юрий Шокин. — В Новосибирском научном центре создана мощная и организованная информационно-вычислительная среда. Она опирается на телекоммуникационные ресурсы ИВТ и всё больше востребована. И эта востребованность растет буквально с каждым днем. Поэтому наша задача — «наращивать мускулатуру» упреждающими темпами, для чего в программу развития научной инфраструктуры «Академгородка 2.0» внесен проект создания Сибирского национального центра высокопроизводительных вычислений, обработки и хранения данных (СНЦ ВВОД). Заинтересованность в нем есть практически у всех институтов, и со временем она будет только расти.

По материалам издания «Наука в Сибири»

Автор Андрей Соболевский

Фото и рисунок предоставлены ИВТ СО РАН