Революция в Big Data: Huawei представила новые решения хранения данных

15 мая 2024, 14:30 #На правах рекламы Написать автору

Активное использование искусственного интеллекта бросает вызов традиционному хранению данных и требует внедрения инноваций.

На прошедшем в Баку форуме Huawei "Инновационная инфраструктура данных", посвящённом теме "Активация данных: создание передовой инфраструктуры данных, готовой к применению искусственного интеллекта", д-р Питер Чжоу, вице-президент Huawei и президент серии продуктов Huawei для хранения данных, выступил с речью на тему "Пересмотр хранения данных в эпоху активации данных". Д-р Чжоу прогнозирует, что будущее систем хранения данных зависит от множества возможностей, включая сверхвысокую производительность, устойчивость данных, новую парадигму данных, масштабируемость, долговечность и структуру данных.

С появлением генеративного искусственного интеллекта спрос на надёжные решения для хранения данных стал ещё более актуальным в современной технологической среде. Поскольку масштаб кластеров крупных моделей искусственного интеллекта вырос и включает в себя десятки тысяч и даже сотни тысяч графических процессоров, это расширение привело к более частым сбоям в работе кластера и перерывам обучения. Длительный процесс многократной записи данных контрольных точек и возобновления обучения приводит к увеличению времени простоя вычислительных плат, что приводит к снижению использования кластера более чем на 50%. Более того, ожидается, что к 2026 году энергопотребление глобальных центров обработки данных в 2,3 раза превысит показатель 2022 года и будет эквивалентно годовому энергопотреблению Японии. Более половины мощности в центрах обработки данных будет потребляться искусственным интеллектом.

Искусственный интеллект стремится изменить традиционное хранение данных, уделяя особое внимание не только производительности, надёжности и парадигме данных, но и масштабируемости, долговечности и матрице данных. В эпоху активации данных Huawei пересмотрит систему хранения данных, внедрив передовые инновации в следующих шести сферах.

1. Сверхвысокая производительность. Huawei повышает производительность систем хранения данных в 10 раз по сравнению с традиционными методами хранения. Хранение также поддерживает пропускную способность в Пбайт/с и 100 млн операций ввода-вывода в секунду, что значительно повышает эффективность всего процесса генеративного искусственного интеллекта.

2. Устойчивость данных: Инновационная архитектура и технологии обеспечивают высокую надежность на уровне 99,9999%. Встроенный механизм обнаружения программ-вымогателей повышает точность обнаружения до 99,99%. Даже время восстановления контрольной точки во время тренировки искусственного интеллекта сокращается менее чем до минуты.

3. Новая парадигма данных. Многомерные тензорные данные позволяют поддерживать быстрый поиск и выборку данных с помощью интеллектуального механизма поиска. Технология генерации ответа, дополненная результатами поиска (RAG), работает со встроенной базой знаний для устранения ложной информации в больших моделях искусственного интеллекта.

4. Масштабируемость. Один кластер хранения данных может быть расширен до уровня EB, а каждый механизм может быть дополнен несколькими графическими процессорами, устройствами обработки данных (DPU) или нейронными (NPU) процессорами для вычислений вторичного хранения данных.

5. Долговечность. Инновации в области носителей информации и устройств хранения данных обеспечили исключительную энергоэффективность (менее 1 Вт/ТБ) и плотность размещения данных (более 1 ПБ/Ед).

6. Матрица данных. Возможности управления метаданными хранилища и поиска обеспечивают глобальную видимость и управляемость данными, а также мобильность данных, которая в 10 раз эффективнее.

Эти впечатляющие инновации заложили основу для выпуска высокопроизводительного процессора OceanStor A800, который является мощным дополнением к моделям хранения данных Huawei серии OceanStor A. Адаптированный к ИИ, OceanStor A800 может увеличить использование кластера ИИ на 30%, а что касается производительности, то он обеспечивает высокую пропускную способность и скорость ввода-вывода в секунду, которые в 4 и 8 раз выше, чем у аналогичных поставщиков. Что касается масштабируемости, OceanStor A800 поддерживает масштабирование до уровня EB с использованием до 512 контроллеров, а также максимум до 4096 вычислительных плат. Что касается экономии места и энергии, то он обеспечивает исключительную плотность размещения данных – 1 ПБ/Ед и энергоэффективность – 0,7 Вт/ТБ. Он также предоставляет новую парадигму данных с векторным индексом, тензорными данными и RAG. Что касается устойчивости данных, то точность обнаружения программ-вымогателей повышена с 99,9 до 99,99%. Кроме того, функция матрицы данных облегчает управление информационными активами.

В то же время инновации в области носителей информации являются движущей силой устойчивого развития. Недавно выпущенные Huawei твердотельные накопители большой ёмкости обеспечивают в 10 раз большую ёмкость при том же размере диска, что позволяет ещё больше снизить энергопотребление центра обработки данных. При ёмкости 128 ТБ на диск новые твердотельные накопители потребляют на 88% меньше места для хранения и на 92% меньше энергии, чем твердотельные накопители аналогичных поставщиков, при хранении каждого петабайта данных.

Чтобы быть готовыми к применению искусственного интеллекта, предприятия должны быть в состоянии готовности данных. Глобальная файловая система Omni-Dataverse, встроенная в DME, делает корпоративные информационные ресурсы видимыми, управляемыми и мобильными в разных регионах, создавая тем самым для предприятий надёжную базу хранилища озёр данных искусственного интеллекта.

В заключение д-р Питер Чжоу подчеркнул стремление Huawei пересмотреть систему хранения данных, ориентируясь на задачи и запросы клиентов в эпоху активации данных, и создать передовую инфраструктуру данных с поддержкой искусственного интеллекта для повышения ценности для клиентов.