Томские ученые создадут систему хранения данных для экспериментов на Большом адронном коллайдере
На базе ТПУ открылась Лаборатория обработки и анализа больших данных (Big Data Analytics and Technologies Laboratory), ученые которой планируют за два года разработать систему хранения больших объемов информации, которую опробуют в экспериментах ЦЕРНа — Европейского центра ядерных исследований, сообщает пресс-служба вуза.
Презентация новой лаборатории прошла накануне в главном корпусе вуза. Ее открытие стало одним из пунктов визита в ТПУ ученых из ЦЕРНа, которые два дня работали в вузе. Курировать работу лаборатории будет Алексей Климентов — глава исследовательской группы по физическому программному обеспечению Национальной лаборатории Брукхэвен (США). В ЦЕРНе, в крупном эксперименте «АТЛАС», он координирует вопросы обработки полученных данных и разработки связанные с суперкомпьютерами.
«Наука, различные области производства сейчас остро нуждаются в новой системе, архитектуре хранения больших объемов информации. Только представьте, над экспериментом АТЛАС работают порядка 3000 ученых. И это не просто большой эксперимент, это огромный эксперимент. Мы работаем со 160 петабайтами данных, Google, например, со 180 петабайтами. И существующие подходы к хранению информации уже не могут нам предложить подходящего варианта. Поэтому возникла идея создать на базе ТПУ лабораторию, ученые которой разработают новую технологию хранения больших объемов данных. На постоянной основе в лаборатории будут работать 6-7 человек, также будем привлекать молодых ученых», — рассказывает о новой лаборатории ее куратор Алексей Климентов.
По его словам, прежде чем создать лабораторию, ученые ТПУ уже успешно выполнили пилотный проект. Ученым удалось соединить классический подход к хранению информации и опыт социальных сетей.
«Существует классический подход к хранению данных, который действует, например, на основе реляционной базы данных ORACLE. При таком подходе данные хранятся табличным способом. Такая база данных не может масштабироваться: она создается на определенный объем данных. И это для многих сфер уже неактуально. Иную масштабируемую технологию разработали для социальных сетей. Соцсети хранят данные как будто это лежат отдельные файлы. На сегодняшний день такую технологию продает та же компания Google. В принципе можно ее купить. Но в таком случае мы купим черный ящик и не будем понимать, насколько наша информация остается конфиденциальной. Соединением этих двух подходов и занимались ученые ТПУ, решение уже найдено», — поясняет Алексей Климентов.
Политехники предложили хранить информацию «горизонтально», на двух иерархических уровнях. Один уровень содержит данные, которые уже нет необходимости изменять, другой хранит динамические данные. Как отмечают ученые, система будет универсальной, и ее можно будет применять в различных областях.
Протестируют новую технологию в экспериментах ЦЕРНа, в частности, в проекте «АТЛАС», который уже накопил большой объем данных, который позволит показать эффективности системы томских ученых.
«АТЛАС» — один из четырех основных экспериментов на Большом адронном коллайдере в ЦЕРНе. Эксперимент предназначен для исследований в области физики элементарных частиц. Это один из двух экспериментов, где был открыт бозон Хиггса.