6 Создание и уничтожение распределенного массива

6.1 Создание распределенного массива

Создание распределённого массива с помощью функции crtda_ означает лишь инициализацию системных структур, описывающих массив. Выделение памяти для элементов распределённого массива производится только после задания его отображения на абстрактную машину с помощью функции align_ (вычисления для каждого процессора, на который отображена абстрактная машина, локальной части массива в соответствии с его распределением, см. п.7.1). Доступ к элементам массива производится через функции системы поддержки (см. п.13).

Заголовок создаваемого распределённого массива представляет собой массив из *RankPtr+1 (при *ExtHdrSignPtr = 0) или *RankPtr*2+2 (при *ExtHdrSignPtr = 1) элементов типа "long". Его размещение в памяти (статическое или динамическое) должна произвести пользовательская программа. Инициализация заголовка распределённого массива осуществляется системой поддержки. Его основное назначение - обеспечить эффективный доступ к элементам локальной части распределённого массива.

Базовый указатель BasePtr должен ссылаться на любую переменную, имеющую тот же тип, что и тип элементов распределённого массива. Содержимое этой переменной несущественно, т.к. базовый указатель используется только для доступа к элементам локальной части распределённого массива.

Структура заголовка распределённого массива и его использование (совместно с базовым указателем) для доступа к локальной части массива рассмотрены в п. 13.4.

Задаваемый ненулевым значением *StaticSignPtr признак статического массив а означает создание массива, не уничтожаемого при выходе из программного блока (см.п.8). Такой массив может быть уничтожен только явно, с помощью рассмотренной ниже функции delda_.

Параметр *ReDistrParPtr может принимать значения:

Число параметров (ширины нижних и верхних границ), задаваемых в массивах LowShdWidthArray и HiShdWidthArray, должно быть равно размерности распределённого массива. Вопрос о границах локальных частей распределённых массивов рассмотрен в п.12. Здесь же отметим, что ширина границы может быть задана равной нулю.

Функция возвращает нулевое значение.

6.2 Уничтожение распределенного массива

long delda_(long ArrayHeader[]);

ArrayHeader – заголовок уничтожаемого массива.

Функция уничтожает созданный функцией crtda_ распределённый массив. После уничтожения распределённого массива его заголовок может использоваться по усмотрению пользовательской программы.

Распределённый массив может быть уничтожен функцией delda_ только в том случае, если он был создан в текущей подзадаче и в текущем программном блоке (или его подблоке) (см. п. 8 и п. 10). Вместе с массивом будут уничтожены все группы границ, в которые он включён (см. п. 12).

Распределённый массив может быть уничтожен также с помощью функции delobj_ (см. п.17.5).

Возвращается нулевое значение.

6.3 Создание дополнительного заголовка распределенного массива

Функция создает заголовок распределённого массива, который в дальнейшем может использоваться равноправно с уже существующими заголовками. Его можно использовать, в частности, для создания других дополнительных заголовков.

При задании расположения распределённого массива (выравнивании) с помощью функций align_ и malign_ (см.п.7) инициализируются все его заголовки. Изменение расположения массива функциями realn_, mrealn_, redis_ и mredis_ (см. п.п. 5 и 7) также влечет изменение содержимого всех его заголовков.

Возвращается нулевое значение.

6.4 Уничтожение заголовка распределенного массива

long delhdr_(long ArrayHeader[]);

ArrayHeader – уничтожаемый заголовок распределённого массива.

Функция уничтожает заголовок, созданный функцией addhdr_ или заданный при обращении к функции crtda_. Нельзя уничтожить единственный заголовок распределённого массива.

Возвращается нулевое значение.

7 Отображение распределенного массива

7.1 Задание расположения (выравнивание) распределенного массива

Функция align_ задает расположение указанного распределённого массива в пространстве указанного представления родительской абстрактной машины (выравнивает распределённый массив). При этом элементы массива распределяются между дочерними абстрактными машинами, которые входят в состав этого представления. Представление абстрактной машины определяется образцом, который может быть как самим представлением, так и, при косвенном отображении, распределённым массивом. В последнем случае ссылкой на образец является первое слово заголовка распределённого массива.

Использование в качестве образца распределённого массива допустимо лишь в том случае, если он уже отображён на некоторое представление абстрактной машины, а представления абстрактной машины - если оно уже отображено на некоторую процессорную подсистему. Поэтому выполнение функции align_ сводится к распределению элементов выравниваемого массива между процессорами, входящими в состав этой процессорной системы.

Образец выравнивания может быть отображён (в конечном результате) только в текущую процессорную систему или её подсистему.

Нельзя отобразить уже отображённый распределённый массив.

Рассмотрим отображение распределённого массива детальнее. Пусть F - многозначная функция, определённая на индексном пространстве выравниваемого массива и принимающая значения в индексном пространстве образца:

где:

Выравнивание распределённого массива по заданному образцу – это указание системе поддержки (посредством задания функции F) о том, что элемент выравниваемого массива, определённый индексным вектором (i₁, ... , i_n), должен быть размещён на тех и только тех процессорах, на которых размещён (или на которые отображён) хотя бы один из элементов образца, определённых множеством F((i₁, ... , i_n)) (т.е. множеством-образом, элементами которого являются векторы индексного пространства образца).

Функции F₁, ... , F_m называются координатными правилами выравнивания. Система поддержки обеспечивает следующие правила выравнивания.

1. F_j(I₁, ... , I_n) = {A_j*I_k + B_j} , где:

В этом случае образом элемента (i₁, ... , i_n) индексного пространства выравниваемого массива является множество, содержащее один элемент - A_j*I_k + B_j, принадлежащий множеству значений индексной переменной j-го измерения образца.

A_j и B_j должны удовлетворять условиям:
0 <= B_j <= MAX_j и 0 <= A_j*MAX_k + B_j <= MAX_j, где:

2. F_j(I₁, ... , I_n) = {q О M_j: 0 <= q <= MAX_j} , где:

В этом случае образом любого элемента (i₁, ... , i_n) индексного пространства выравниваемого массива является все множество значений индексной переменной j-го измерения образца (в подобных случаях принято использовать символ "*" , т. е. "любой из допустимых").

Примеры.

1. Выравнивание F((I₁, I₂)) = {I₁} x {I₂} означает, что элемент двухмерного массива должен быть отображён на те же процессоры, что и элемент двухмерного образца, если их индексы совпадают.
2. Выравнивание F((I₁, I₂)) = {*} x {I₁+5} x {*} означает, что элемент двухмерного массива будет отображён на те же процессоры, что и элемент трёхмерного образца, если индекс по 2-му измерению образца на 5 больше индекса по 1-му измерению выравниваемого массива (вне зависимости от значения индекса выравниваемого массива по 2-му измерению и от значений индексов образца по 1-му и 3-му измерениям).
3. Выравнивание F((I₁, I₂, I₃)) = {*} x {*} означает, что каждый элемент трёхмерного массива будет расположен на каждом процессоре, на который отображён хотя бы один элемент двухмерного образца (вне зависимости от значений индексов выравниваемого массива и образца).
4. Выравнивание F((I₁, I₂)) = {0} x {1} x {2} означает, что каждый элемент двухмерного массива (вне зависимости от значений его индексов) будет размещён на тех процессорах, на которые отображён элемент трёхмерного образца с индексами (0,1,2).

Определяя расположение массива в пространстве образца (т.е. задавая функции F₁, ... , F_m), необходимо учитывать, что его элементы не должны выходить за пределы пространства образца. Соблюдение корректного отображения в каждом звене цепочки последовательных выравниваний обеспечит, в конечном результате, верное распределение элементов массива по процессорам.

Отметим, что если в качестве образца использован массив, то при его переотображении с помощью функции realn_ (см.п.7.3) массив, отображённый с помощью этого образца, сохранит прежнее расположение.

При обращении к функции align_ правило выравнивания F_j(I₁, ... , I_n) = A_j*I_k + B_j для j-го измерения образца задается следующим образом:

Для задания правила F_j(I₁, ... , I_n), значением которого для любых I₁, ... , I_n является множество всех значений индексной переменной j-го измерения образца, значение AxisArray[j-1] (значение k) должно быть установлено равным -1. Значения CoeffArray[j-1] и ConstArray[j-1] (значения A_j и B_j) в этом случае несущественны.

Число правил выравнивания, заданных при обращении к функции align_, должно быть равно размерности образца.

Функция возвращает ненулевое значение, если отображённый массив имеет локальную часть на текущем процессоре, и нулевое - в противном случае.

Замечание 1. Заданное функции align_ отображение распределённого массива может быть выполнено лишь в том случае, если для любого процессора, на который отображён хотя бы один элемент массива, локальный размер каждого измерения массива, получаемый в результате отображения, не меньше ширин верхней и нижней границ этого измерения.

Замечание 2. При ненулевом значении параметра запуска системы поддержки DisArrayFill (файлы sysdebug.* базовых наборов параметров) отображённый распределённый массив будет расписан "нулевым" байтом, то есть байтом, каждый бит которого имеет нулевое значение). При нулевом значении параметра DisArrayFill содержимое отображённого массива считается неопределённым.

7.2 Суперпозиция выравниваний

Пусть функция G задает расположение n-мерного массива в пространстве r-мерного образца, а функция P - r-мерного массива в пространстве m-мерного образца:

Тогда осуществленное с помощью функции align_ выравнивание P r-мерного массива PatternDA в m-мерном пространстве образца Pattern с последующим выравниванием G n-мерного массива DA в r-мерном пространстве массива PatternDA является выравниванием F n-мерного массива DA в m-мерном пространстве образца Pattern, представляющим собой произведение (суперпозицию) отображений P и G:

Координатные правила выравнивания F_s (0 <= s <= m ) отображения F являются суперпозицией координатных правил выравнивания отображений P и G и могут быть записаны следующим образом.

1. Пусть P_s((J₁, ... , J_r)) = { q О M_s: 0 <= q <= MAX_s } , где:

Тогда F_s((I₁, ... , I_n)) = M_s, т.е. полное размножение массива DA по s-му измерению образца Pattern.

где:

Тогда F_s((I₁, ... , I_n)) = A_s*I_l + B_s , где A_s = C_s*Q_k и B_s = C_s*R_k + D_s.

где:

Тогда

т.е. частичное, разреженное линейной функцией P_s, размножение массива DA по s-му измерению образца Pattern.

Описанное отображение F эквивалентно заменяет выравнивания P и G в цепочке последовательных выравниваний. В частности, если образец Pattern не является представлением абстрактной машины и, следовательно, выравнен по другому образцу некоторой функцией Q, то отображения F и Q могут быть заменены их суперпозицией Q*F. Таким образом, заменой последовательных выравниваний их суперпозицией может быть построено результирующее выравнивание массива DA по представлению абстрактной машины (что и осуществляется системой поддержки при выполнении функции align_ выравнивания массива DA по массиву PatternDA).

7.3 Изменение расположения распределенного массива

Функция realn_ отменяет расположение, установленное ранее с помощью функции align_ (или malign_ , см.п.7.5) для распределённого массива с заголовком *ArrayHeaderPtr, и задаёт для этого массива новое расположение в соответствии с указанными при обращении к функции параметрами. Все распределённые массивы, при выравнивании которых рассматриваемый массив использовался в качестве образца, свое расположение сохранят.

Как переотображаемый распределённый массив, так и образец выравнивания на момент обращения к функции должны быть отображены в текущую процессорную систему или её подсистему (возможно, каждый в свою).

Содержимое вновь выравненного массива, в зависимости от значения *NewSignPtr, будет:

• сохранено (при *NewSignPtr = 0);
• считаться неопределённым (при *NewSignPtr = 1);
• расписано "нулевым" байтом, то есть байтом, все биты которого имеют нулевые значения (при *NewSignPtr = 2).

При NewSignPtr = 1 перераспределённый массив будет, тем не менее, расписан "нулевым" байтом, если система поддержки была запущена с ненулевым значением параметра DisArrayFill (файлы sysdebug.* базовых наборов параметров).

При переотображении массива содержимое его границ (см. п. 12) не сохраняется.

Перераспределение массива с помощью функции realn_ возможно лишь в том случае, если при его создании функцией crtda_ значение её параметра *ReDistrParPtr было задано равным 2 или 3 (см.п.6).

Распределённый массив, заданный при обращении к функции, может быть ранее не отображён. В этом случае функция realn_ выполняется как функция align_ , но при *NewSignPtr = 2 впервые отображённый массив будет расписан "нулевым" байтом. Значение параметра *ReDistrParPtr, с которым был создан распределённый массив, несущественно.

Функция возвращает ненулевое значение, если переотображённый массив имеет локальную часть на текущем процессоре, и нулевое - в противном случае.

7.4 Опрос карты отображения

Функция arrmap_ создает объект (карту отображения), описывающий текущее отображение распределённого массива на представление абстрактной машины, и возвращает ссылку на созданный объект.

Карта отображения распределённого массива содержит, в частности, следующую информацию:

• ссылку на представление абстрактной машины, в которое отображён распределённый массив;
• правила выравнивания для всех измерений этого представления;
• размерности распределённого массива и представления абстрактной машины (для контроля).

Задаваемый ненулевым значением *StaticSignPtr признак статической карты отображения означает создание карты, не уничтожаемой при выходе из программного блока (см.п.8). Такая карта может быть уничтожена только явно, с помощью рассмотренной в п.7.7 функции delarm_.

7.5 Задание расположения распределенного массива по карте отображения

Функция malign_ задает отображение указанного распределённого массива на представление абстрактной машины по заданной карте отображения.

Размерность распределённого массива и размерность представления абстрактной машины должны быть равны соответствующим размерностям, содержащимся в карте отображения.

При равном NULL значении AMViewRefPtr или при нулевом значении *AMViewRefPtr образцом выравнивания будет представление абстрактной машины, ссылка на которое содержится в карте отображения.

Перед обращением к функции malign_ представление абстрактной машины (заданное ссылкой *AMViewRefPtr или в карте отображения) должно быть отображено в текущую процессорную систему или её подсистему.

Нельзя отобразить уже отображённый распределённый массив.

Возвращается ненулевое значение, если отображённый массив имеет локальную часть на текущем процессоре, и нулевое - в противном случае.

Замечание. При ненулевом значении параметра запуска системы поддержки DisArrayFill (файлы sysdebug.* базовых наборов параметров) отображённый распределённый массив будет расписан "нулевым" байтом, то есть байтом, каждый бит которого имеет нулевое значение). При нулевом значении параметра DisArrayFill содержимое отображённого массива считается неопределённым.

7.6 Изменение расположения распределенного массива по карте отображения

Функция mrealn_ отменяет расположение, установленное ранее с помощью функции malign_ (или align_ , см.п.7.1) для распределённого массива с заголовком *ArrayHeaderPtr, и задаёт для этого массива новое расположение в соответствии с указанной при обращении к функции картой отображения. Все распределённые массивы, при выравнивании которых рассматриваемый массив использовался в качестве образца, своё расположение сохранят.

Размерность распределённого массива и размерность представления абстрактной машины должны быть равны соответствующим размерностям, содержащимся в карте отображения.

При равном NULL значении AMViewRefPtr или при нулевом значении *AMViewRefPtr образцом выравнивания будет представление абстрактной машины, ссылка на которое содержится в карте отображения.

Как переотображаемый распределённый массив, так и представление абстрактной машины (заданное ссылкой *AMViewRefPtr или в карте отображения) на момент обращения к функции должны быть отображены в текущую процессорную систему или её подсистему (возможно, каждый в свою).

Содержимое вновь выравненного массива, в зависимости от значения *NewSignPtr, будет:

• сохранено (при *NewSignPtr = 0);
• считаться неопределённым (при *NewSignPtr = 1);
• расписано "нулевым" байтом, то есть байтом, все биты которого имеют нулевые значения (при *NewSignPtr = 2).

При NewSignPtr = 1 перераспределённый массив будет , тем не менее, расписан "нулевым" байтом, если система поддержки была запущена с ненулевым значением параметра DisArrayFill (файлы sysdebug.* базовых наборов параметров).

При переотображении массива содержимое его границ (см. п. 12) не сохраняется.

Перераспределение массива с помощью функции mrealn_ возможно лишь в том случае, если при его создании функцией crtda_ значение её параметра *ReDistrParPtr было задано равным 2 или 3 (см.п.6).

Распределённый массив, заданный при обращении к функции, может быть ранее не отображён. В этом случае функция mrealn_ выполняется как функция malign_, но при *NewSignPtr = 2 впервые отображённый массив будет расписан "нулевым" байтом. Значение параметра *ReDistrParPtr, с которым был создан распределённый массив, несущественно.

Функция возвращает ненулевое значение, если переотображённый массив имеет локальную часть на текущем процессоре, и нулевое - в противном случае.

7.7 Уничтожение карты отображения

long delarm_(ArrayMapRef *ArrayMapRefPtr);

*ArrayMapRefPtr - ссылка на карту отображения распределённого массива.

Функция уничтожает созданную функцией arrmap_ карту отображения распределённого массива. После уничтожения карты отображения ссылка на неё может использоваться по усмотрению пользовательской программы.

Карта отображения может быть уничтожена функцией delarm_ только в том случае, если она была создана в текущей подзадаче и в текущем программном блоке (или его подблоке) (см. п. 8 и п. 10).

Карта отображения может быть уничтожена также с помощью функции delobj_ (см.п.17.5).

Возвращается нулевое значение.

Замечание. Одним из возможных применений функций выравнивания распределённого массива по карте отображения - сохранение и восстановление расположения массивов в процедурах, обрабатывающих внешние распределённые массивы с их перераспределением.

Отметим, что на момент использования карты отображения для задания или изменения расположения массива массив, являвшийся источником этой карты, может и не существовать.

7.8 Опрос ссылки на представление абстрактной машины, в которое отображён заданный распределённый массив

AMViewRef getamv_ (long ArrayHeader[]);

ArrayHeader - заголовок распределённого массива.

Функция getamv_ возвращает ссылку на представление абстрактной машины, по которому выравнен распределённый массив, заданный заголовком ArrayHeader. Нулевое значение возвращённой ссылки означает, что заданный массив не отображён.