Опубликован стандарт параллельного программирования OpenMP 4.5

После двух с половиной лет разработки опубликован набор спецификаций OpenMP 4.5 (Open Multi-Processing), определяющих API и способы применения методов параллельного программирования для языков Си, Си++ и Фортран на многоядерных и гибридных (CPU+GPU/DSP) системах с общей памятью и блоками векторизации (SIMD). OpenMP 4.5 примечателен расширением средств для параллельного программирования на системах с аппаратными ускорителями и GPU, а также поддержкой распараллеливания циклов с хорошо структурированными зависимостями. Реализация OpenMP 4.5 уже почти завершена в GCC и будет представлена в выпуске GCC 6.0, а также уже началась в экспериментальной ветке Clang, в которой формируется выпуск 3.8.

Основные новшества OpenMP 4.5:

  • Значительно улучшена поддержка дополнительных аппаратных вычислительных устройств, таких как специализированные аппаратные ускорители. Реализованы механизмы для привязки к подобным устройствам операций с неструктурированными данными или асинхронного выполнения кода. Добавлены процедуры для управления памятью устройства, позволяющие выделять, копировать и высвобождать блоки памяти;
  • Представлен механизм «doacross loops«, позволяющий организовать распараллеливание циклов с хорошо структурированными зависимостями;
  • Новая конструкция «taskloop», позволяющая разделять циклы на задачи, избегая необходимости выполнения всех потоков внутри цикла;
  • Поддержка сокращения (редукции) массивов С/С++;
  • Новые механизмы hint-ов, через которые можно задать параметры выставления задачам относительных приоритетов и выбора предпочтительных средств синхронизации;
  • Поддержка привязки (affinity) потоков к заданным вычислительным устройствам;
  • Возможность распараллеливания многих приложений, написанных в соответствии со спецификацией Fortran 2003;
  • Поддержка расширений SIMD, в том числе возможность указать точное число обработчиков в потоке (метрика SIMD Width) и дополнительные атрибуты при обращении к общим данным.

Опубликована 46-я редакция списка самых высокопроизводительных суперкомпьютеров

Опубликован 46-й выпуск рейтинга 500 самых высокопроизводительных компьютеров мира. Как и в пяти предыдущих выпусках рейтинга пятёрка лидеров осталась неизменной. В десятке лидеров отмечено только два новых кластера, построенных компанией Cray: Trinity в лабораториях Министерства энергетики США и Hazel-Hen в Центре высокопроизводительных вычислений в Штутгарте (Германия). В общем списке отличился Китай, которые утроил свои позиции в рейтинге, в то время как число попавших в рейтинг кластеров США упало до минимальных показателей с 1993 года. Заслуживающим внимания изменением также является исчезновение из списка TOP500 кластеров на базе Windows.

Наиболее интересные тенденции:

  • Самый мощный отечественный кластер Lomonosov 2 сместился с 31 на 36 место в рейтинге. Кластер Lomonosov опустился с 78 на 96 место. Третий по производительности отечественный кластер Tornado опустился с 107 на 131 место. Всего в Top500 вошло 7 отечественных суперкомпьютеров, что на 1 меньше, чем в прошлом рейтинге. Для сравнения, в Индии 11 систем, в Южной Корее — 10. Существенно, с 37 до 109 увеличилось число систем в Китае;
  • Распределение по операционным системам, используемым на суперкомпьютерах (в скобках указано изменение по сравнению с прошлой редакцией рейтинга):
    • Linux — 494 (+6), 98.8%
    • Unix — 6 (-4), 2%
    • Смешанные — 0 (-1), 0%
    • Windows — 0 (-1), 0%
    • BSD — 0 (0), 0%

    Из Linuх-систем 66.2% не детализируют дистрибутив, 10.8% используют CentOS, 8.8% — SUSE , 8.6% — Cray Linux, 3.6% — RHEL, 0.6% — Scientific Linux, 0.4% — Ubuntu Kylin,

  • Минимальный порог пиковой производительности для вхождения в Top500 вырос за полгода со 165.1 до 204.3 терафлопсов, а для Top100 — с 715 до 917 терафлопсов. Система, замыкающая нынешний рейтинг, в прошлом выпуске находилась на 369-ом месте;
  • Суммарная производительность всех систем в рейтинге за полгода возросла с 361 до 420 петафлопсов (три года назад было 162 петафлопса). В настоящее время 81 кластер демонстрирует производительность более петафлопcа (в прошлом рейтинге — 68);
  • Общее распределение по количеству суперкомпьютеров в разных частях света выглядит следующим образом: 212 суперкомпьютера находится в Америке (246 в предыдущем списке), 174 в Азии (ранее 107) и 108 в Европе (ранее 141);
  • Распределение по количеству суперкомпьютеров в разных странах:
    • США: 199 (231 в прошлой редакции рейтинга);
    • Китай: 109 (37);
    • Япония: 37 (39);
    • Германия: 33 (37);
    • Великобритания: 18 (33)
    • Франция: 18 (27)
    • Индия: 11 (11);
    • Южная Корея: 10 (9);
    • Россия 7 (8);
    • Саудовская Аравия 6 (6);
    • Швейцария 6 (5);
    • Бразилия: 6 (6);
    • Канада: 6 (6);
    • Польша 5 (7);
  • В качестве процессорной основы лидируют CPU Intel — 89% (было 86.2%), на втором месте — IBM Power — 5.2% (было 7.6%), на третьем — AMD — 4.2% (было 4.6%);
  • 30.4% (41%) всех используемых процессоров имеют восемь ядер, 23% (17.4%) — 12 ядер, 16.2% (15.6%) — десять, 14.2% (10%) — шесть, 8.6% (9.4%) — 16 ядер, 3.4% (2.6%) — 4 ядра, 2.8% — 14 ядер (2.6% ), 1% — 32 ядра (0.8%), 0.4% — 18 ядер (0.4%). Двух- и одноядерные системы не входят в рейтинг;
  • 104 из 500 систем (в прошлом рейтинге — 88) дополнительно используют ускорители или сопроцессоры, при этом в 68 системах задействованы чипы NVIDIA (было 48), в 29 — Intel Xeon Phi (было 29), в 3 — GPU AMD (было 4), в 4 используются гибридные решения (было 4), в 2 — PEZY-SC (было 3);
  • Среди производителей кластеров на первом месте компания Hewlett-Packard 31% (35.6%), на втором месте — Cray 13.8% (14.2%), на третьем месте — Sugon 9.8% (1%), на четвёртом — IBM 9% (18.2%), на пятом — SGI 6.2% (5.8%).

Пятёрка лидеров:

  • На первом месте находится кластер Tianhe-2, работающий в национальном суперкомпьютерном центре Китая. Tianhe-2 включает в себя 16 тысяч узлов, укомплектованных двумя процессорами Intel Xeon IvyBridge и тремя процессорами Xeon Phi, то есть данный кластер в сумме содержит более трёх миллионов процессорных ядер. Tianhe-2 достигает в тесте Linpack производительности 33.86 петафлопс, что почти в два раза больше, чем могут обеспечить занимающие второе и третье места кластеры Titan (17.590 петафлопс) и Sequoia (17.173 петафлопс). Производительность одного Tianhe-2 близка к суммарной производительности всех систем, представленных в 34-м выпуске списка самых мощных суперкомпьютеров (ноябрь 2009 г.). Интересно, что в качестве операционной системы в кластере Tianhe-2 используется Ubuntu Kylin — китайская редакция Ubuntu Linux.
  • На втором месте — кластер Titan, используемый национальной лабораторией Оук-Ридж (США). Titan построен компанией Cray и включает в себя 18688 16-ядерных процессоров Opteron 2.2 ГГц и столько же 14-ядерных вычислительных ускорителей на базе GPU NVIDIA Tesla K20x (общее число ядер CPU и GPU — 560640).
  • На третьем месте — кластер Sequoia, внедрённый в Ливерморской национальной лаборатории. Sequoia базируется на платформе IBM BlueGene/Q и содержит 1 572 864 ядра процессоров Power.
  • На четвёртом месте — созданный компанией Fujitsu японский кластер K computer, использующий 705 024 ядра процессоров на базе архитектуры SPARC64.
  • Пятое место в рейтинге занял кластер Mira (США) на базе платформы IBM BlueGene/Q.

В ближайшее время будет выпущен альтернативный рейтинг кластерных систем Graph 500, ориентированного на оценку производительности суперкомпьютерных платформ, связанных с симулированием физических процессов и задач по обработке больших массивов данных, свойственных для данных систем. Также будет опубликована новая редакция рейтинга Green500, в который включаются наиболее энергоэффективные суперкомпьютеры. В Green500 в качестве критерия эффективности учитывается отношение LINPACK FLOPS к потребляемой мощности в ваттах.

Организация Linux Foundation представила OpenHPC, стек приложений для Linux-кластеров

Организация Linux Foundation объявила о создании нового совместного проекта OpenHPC Collaborative Project. Среди участников совместного проекта отметилось большинство известных производителей специализированных кластерных систем, ведущих мировых научных лабораторий и суперкомпьютерных центров, а также такие компании как Cray, Dell, Fujitsu, Hewlett Packard, Intel, Lenovo, NEC и SUSE.

В рамках проекта началось развитие открытого стека приложений OpenHPC, нацеленного на предоставление готовых пакетов для быстрого построения окружений для организации высокопроизводительных вычислений. OpenHPC можно рассматривать как репозиторий, предоставляющий набор готовых для установки пакетов, необходимых для развёртывания и управления высокопроизводительным кластером на базе Linux. В состав OpenHPC входят инструменты для автоматизации управления конфигурацией и установки обновлений, утилиты для управления ресурсами, библиотеки ввода/вывода, системы мониторинга, инструменты для разработчиков, средства для организации параллельных вычислений и набор различных библиотек для научных работ.

Ожидается, что унификация окружения для построения кластеров позволит сократить расходы на разработку и установку высокопроизводительных систем, обеспечит наличие стабильной эталонной платформы с широкими возможностями тестирования и непрерывной интеграции, поможет формированию стабильного и всесторонне проверенного программного стека, а также предоставит возможность поставки протестированных компонентов, настроенных для достижения оптимальной производительности в различных областях применения.

Уже доступен первый релиз OpenHPC 1.0, в рамках которого подготовлено 255 пакетов, предназначенных для установки поверх штатного дистрибутива CentOS 7.1. Для сборки пакетов используется инструментарий Open Build Service. Развёртывание кластера сводится к установке на первичном сервере CentOS, подключении репозитория OpenHPC и установки пакетов ohpc-base, ohpc-warewulf и ohpc-slurm-server для развёртывания кластера. Далее, созданный первичный сервер используется для формирования базового образа для узлов и его загрузки на остальных серверах, входящих в кластер.

Cеминар «Суперкомпьютерные технологии в науке, образовании и промышленности»

Продолжает свою работу семинар «Суперкомпьютерные технологии в науке, образовании и промышленности». Очередное заседание состоится в понедельник 16 ноября в конференц-зале НОЦ «Суперкомпьютерные технологии» МГУ (http://agora.guru.ru/display.php?conf=sct&page=place).

Напоминаем, что если у вас нет пропуска в МГУ, и ранее (осенью 2015 г.) вы не предупреждали о своем желании посещать семинар, необходимо не позднее 12 ноября (четверг) сообщить свое полное ФИО письмом ученому секретарю семинара (sct@parallel.ru) с темой «Проход в МГУ на семинар». Это нужно сделать только один раз, в дальнейшем ваше ФИО будет вноситься в списки на проход автоматически в течение семестра. Обращаем внимание, что проход будет разрешен только через южный вход Второго корпуса МГУ и только во время работы семинара.

Программа семинара 16 ноября 2015 г., 16:30

  • Лущекина С.В., с.н.с. ИБХФ РАН
  • Немухин А.В., проф., заведующий лабораторией химической кибернетики Химического факультета МГУ
  • Варфоломеев С.Д., член-корр. РАН, научный руководитель ИБХФ РАН, зав. кафедрой Химической энзимологии Химического факультета МГУ

«Совместное использование суперкомпьютерного моделирования и экспериментальных методов для решения биохимических и биомедицинских задач»

В докладе будут рассмотрены примеры совместного использования генетических, биохимических, физиологических и суперкомпьютерных методов исследования в рамках решения общей биомедицинской задачи при разработке лекарственных препаратов для терапии болезни Альцгеймера и миастении гравис, исследованиях молекулярного полиморфизма человека.

Как обычно, с 16:00 — чай, кофе.

Программа, дополнительная информация о докладах, списки литературы: http://agora.guru.ru/display.php?conf=sct&page=item001

Обновление HPC Village: доступ к гибридной HPC-системе для разработчиков Open Source

Объявленный два года назад проект по развитию гибридной системы высокопроизводительных вычислений HPC Village от сообщества Openwall продолжает своё существование, и был недавно обновлен. Благодаря спонсору, компании Sagitta HPC, в основном сервере добавился NVIDIA GTX Titan X, самый производительный GPU на архитектуре NVIDIA Maxwell.

Теперь в одной системе одновременно доступны, в том числе при желании даже из одной программы, четыре архитектуры GPU (NVIDIA Maxwell, NVIDIA Kepler, AMD GCN, AMD VLIW5), Intel MIC (Xeon Phi) и многоядерные CPU (два 8-ядерных Intel Xeon E5-2670), в том числе все из них как OpenCL-устройства (а также через специфичные для них средства разработки, включая CUDA для NVIDIA GPU и OpenMP offload для Intel Xeon Phi). Хотя в реальных гетерогенных вычислительных системах наличие более чем двух типов вычислительных устройств в рамках одного узла является нетипичным, такая конфигурация удобна для ознакомления с различными технологиями, для их сравнения на конкретных задачах, и для разработки, отладки и оптимизации переносимых (portable) программ.

Помимо основного сервера, доступ также может быть предоставлен к дополнительным (и чаще меняющимся) небольшим системам, на данный момент включающим Intel AVX2, Intel HD Graphics (с настроенным и работоспособным «драйвером» OpenCL), AMD XOP, AMD GCN 1.1, NVIDIA Fermi, процессоры на не-x86 архитектурах (ARM, MIPS64, Epiphany), платы FPGA (ZedBoard с Xilinx Zynq 7020, ZTEX 1.15y с четырьмя Xilinx Spartan-6 LX150).

Как и два года назад, доступ предоставляется посетителям проводимой в Москве в ноябре конференции по информационной безопасности ZeroNights (независимо от их участия в Open Source), а также Open Source разработчикам со всего мира (независимо от их участия в ZeroNights).

Семинар «Суперкомпьютерные технологии в науке, образовании и промышленности» 19 октября 2015 г.

Автор: Евгений Мортиков

Продолжает свою работу семинар «Суперкомпьютерные технологии в науке, образовании и промышленности». Очередное заседание состоится в понедельник 19 октября в конференц-зале НОЦ «Суперкомпьютерные технологии» МГУ (http://agora.guru.ru/display.php?conf=sct&page=place).

Напоминаем, что если у вас нет пропуска в МГУ, и ранее (осенью 2015 г.) вы не предупреждали о своем желании посещать семинар, необходимо не позднее 15 октября (четверг) сообщить свое полное ФИО письмом ученому секретарю семинара (sct@parallel.ru) с темой «Проход в МГУ на семинар». Это нужно сделать только один раз, в дальнейшем ваше ФИО будет вноситься в списки на проход автоматически в течение семестра. Обращаем внимание, что проход будет разрешен только через южный вход Второго корпуса МГУ и только во время работы семинара.

Программа семинара 19 октября 2015 г., 16:30

Немухин А.В., проф., заведующий лабораторией химической кибернетики Химического факультета МГУ

«Суперкомпьютерное моделирование молекулярных процессов в белках»

В докладе будут представлены результаты моделирования химических и фотохимических процессов в белковых макромолекулах. Основной инструмент подобного моделирования — численное решение уравнений квантовой механики — молекулярной механики (КМ/ММ), что немыслимо без использования современных суперкомпьютеров.

Как обычно, с 16:00 — чай, кофе.

Программа, дополнительная информация о докладах, списки литературы:
http://agora.guru.ru/display.php?conf=sct&page=item001

IBM выпустила линейку мейнфреймов «только для Linux»

IBM выпустила линейку мейнфреймов LinuxONE, предназначенную для работы под управлением ОС Linux. В зависимости от конфигурации, системы могут быть поставлены с Ubuntu. Заказчикам предлагается платить за системы по подписке, без обременения в виде больших капитальных затрат.

Новая линейка мейнфреймов

IBM анонсировала линейку мейнфреймов на базе Linux — LinuxONE. Новые системы призваны расширить число заказчиков на фоне снижающейся 13 кварталов подряд выручки компании, сообщает TechCrunch. Мейнфреймы в линейке LinuxONE будут предлагаться только с операционными системами на ядре Linux, уточняет Reuters.

Две системы

Линейка LinuxOne включает модель LinuxONE Emperor для крупных предприятий и Rockhopper для организаций среднего размера, в том числе тех, кто приобретает мейнфрейм впервые. Emperor предложит «практически безграничную расширяемость для решения задач самой высокой сложности», тогда как Rockhopper занимает меньше места и может быть обновлен до уровня Emperor при необходимости.

По словам представителей IBM, модель Emperor позволяет запускать до 8 тыс. виртуальных машин или тысячи контейнеров. Она основана на мейнфрейме IBM z13, разработанном для обработки большого количества мобильных транзакций.

Новая модель оплаты

С новой линейкой IBM предложила возможность оплачивать мейнфреймы «по подписке». За квартал компания продает порядка 10-20 мейнфреймов, сообщает TechCrunch со ссылкой на Росса Маури (Ross Mauri), генерального директора IBM Systems. Предложив гибкую модель оплаты по аналогии с облачными сервисами, корпорация рассчитывает увеличить количество клиентов — потому что мейнфреймы станут доступны тем, кто раньше не мог себе их позволить вследствие больших капитальных затрат.

Маури уточнил, что мейнфрейм будет находиться в дата-центре заказчика. Однако платить он за него будет по мере использования. Величина платежей будет зависеть от интенсивности эксплуатации мейнфрейма. В компании не привели примеров стоимости.

ibm500
Мейнфрейм LinuxONE Emperor

Поддерживаемое ПО

На системах IBM LinuxOne можно будет запускать программное обеспечение Apache Spark, Node.js, MongoDB, MariaDB, PostgreSQL и Chef. Кроме того, как сообщили в IBM, они заключили соглашение с Canonical на дистрибуцию вместе с LinuxONE и Z операционной системы Ubuntu на ядре Linux.

Ubuntu

Симбиоз мейнфреймов и Ubunru может выглядеть необычно, отмечает TechCrunch. Но, по словам старшего аналитика Pund-IT Чарльза Кинга (Charles King), этим IBM лишь подтверждает тот факт, что все больше корпоративных заказчиков внедряют Ubuntu в свою инфраструктуру. Следует добавить, что обе компании уже работают вместе — в проекте OpenPOWER (открытие микропроцессорной архитектуры IBM Power).

По словам Кинга, сотрудничество пойдет на пользу обеим сторонам. В числе заказчиков мейнфреймов IBM могут оказаться организации, активно пользующиеся Ubuntu. Со своей стороны, Canonical получит выход к крупным организациям, пользующимися технологиями IBM.

Снижение продаж

Согласно отчету IBM, опубликованному в конце июля 2015 г., выручка корпорации во II квартале снизилась на 13,5% в сравнении год к год главным образом вследствие укрепления курса доллара. При этом продажи мейнфреймов выросли на 9% в денежном выражении. Мейнфреймы занимают 25% всей выручки IBM и около 35% всей прибыли «голубого гиганта».

Источник: http://www.cnews.ru/

В Китае запрещён экспорт суперкомпьютеров

В начале августа 2015 года стало известно об ограничениях, наложенных китайскими властями на экспорт суперкомпьютеров по соображениям национальной безопасности.

Как сообщает Reuters со ссылкой на государственное информационное агентство «Синьхуа», с 15 августа 2015 года из КНР будет запрещено вывозить компьютерные системы вычислительной мощностью более 8 терафлопс, которая примерно соответствует производительности четырех игровых консолей Sony PlayStation 3. Для сравнения, китайский суперкомпьютер Tianhe-2, который к августу 2015 года считается самым мощным в мире, способен обрабатывать 34 трлн операций в секунду (34 терафлопс).

Tianhe 2 Supercomputer
В Китае запретили экспорт мощных компьютеров и высокотехнологичных дронов по соображениям национальной безопасности

Компании, поставляющие мощные компьютеры за рубеж, должны будут получать специальные лицензии, в которых прописаны новые требования к экспортируемому оборудованию.

Ограничения на вывоз вычислительных решений в Китае последовали после того, как США наложили ряд запретов на использование китайских ИТ-продуктов американскими компаниями. Кроме того, в апреле 2015 года власти США ввели эмбарго на поставки технологий Intel китайским фирмам, обеспечивающим работу Tianhe-2.

Помимо суперкомпьютеров, в Китае запретили экспорт беспилотных летательных аппаратов. С середины августа 2015 года из Поднебесной нельзя будет вывозить дронов, способных в условиях порывистого ветра подниматься на высоту более 15 тыс. метров и летать более одного часа. Это не касается потребительских беспилотников, имеющих невысокую дальность полета.

В Китае опасаются, что управляемые дистанционно высокотехнологичные летательные аппараты попадут в руки террористов. Еще одной причиной ограничения вывоза дронов является защита прав на интеллектуальную собственность.

По мнению аналитика Forrester Research Гэнэ Цао (Gene Cao), запрет на экспорт суперкомпьютеров подтверждает мировое лидерство Китая в производстве этого вида вычислительной техники и имеет большое значение для отрасли.

Обама хочет, чтобы США построили самый быстрый суперкомпьютер в мире

Президент США Барак Обама подписал распоряжение, разрешающее создание нового суперкомпьютерного исследовательской инициативы под названием Национальная инициатива Стратегических Вычислений (National Strategic Computing Initiative, NSCI). Его цель: проложить путь для первого exaflop суперкомпьютера, который в 30 раз быстрее, чем сегодняшние суперкомпьютеры.

obama exaflop supercomputer

Суперкомпьютеры в центре огромного числа важных научных и оборонных исследовательских проектов. Они используются в аэрокосмической промышленности для проектирования самолётов и оружия и в климатологии для предсказания краткосрочного воздействия ураганов и долгосрочных последствий изменения климата.

Исследователи учавствующие в инициативе Белого дома Precision Medicine уверены, что скорость exaflop суперкомпьютеров может помочь в создании персонализированных лекарственных препаратов, в то время как проект Европейской комиссии Human Brain Project надеются, что они помогут раскрыть секреты человеческого мозга.

Несколько правительственных агентств, особенно Министерство энергетики, были глубоко вовлечены в развитие суперкомпьютеров в течение последних нескольких десятилетий, но они, как правило, работали отдельно. Новая инициатива соберет ученых и правительственные агентства, таких как Департамент энергетики, Министерства обороны и Национального научного фонда для обсуждения и работы над exaflop суперкомпьютером.

«Т-платформы» продали суперкомпьютер в Германию

Российский разработчик суперкомпьютеров компания «Т-платформы» поставит суперкомпьютер немецкому вычислительному центру Юлиха. Об этом говорится в сообщениях компании и вычислительного центра. Сумма сделки составит 17 млн евро, 10% из которых получит ParTec — немецкий разработчик софта, управляющего суперкомпьютером, говорит замдиректора компании по маркетингу Елена Чуракова.

Ломоносов

Пиковая мощность компьютера составит 1,8 квадриллиона операций с плавающей точкой в секунду (петафлопс) с возможностью увеличения еще на 0,4 петафлопса для некоторых приложений (это будет стоить еще 518 000 евро), утверждают в своем сообщении «Т-платформы». В сообщении суперкомпьютерного центра Юлиха сказано, что его пиковая мощность должна превышать 1,6 петафлопса, компьютер должен состоять из 1700 вычислительных узлов. Для компании «Т-платформы», разработавшей крупнейшие российские суперкомпьютеры серии «Ломоносов», стоящие в вычислительном центре МГУ, это первая зарубежная поставка такого масштаба, говорит Чуракова. Хотя раньше у «Т-платформ» были контракты с американским университетом Stony Brook и финским CSC, эти поставки Чуракова называет сравнительно небольшими — 0,0025 и 0,4 петафлопса соответственно.

Continue reading ««Т-платформы» продали суперкомпьютер в Германию»