並列ランク問題 - Performing Parallel Rank with MPI

TMPI_Rank(
    void *send_data,
    void *recv_data,
    MPI_Datatype datatype,
    MPI_Comm comm)

// ルートプロセスに数値を集めます。
// ルートプロセスは結果の（ランクの）配列を返します。他のプロセスにはNULLを返します。
void *gather_numbers_to_root(void *number, MPI_Datatype datatype,
                             MPI_Comm comm) {
  int comm_rank, comm_size;
  MPI_Comm_rank(comm, &comm_rank);
  MPI_Comm_size(comm, &comm_size);

  // ルートプロセスでは必要なバッファを用意します。データ型のサイズを配慮します  
  int datatype_size;
  MPI_Type_size(datatype, &datatype_size);
  void *gathered_numbers;
  if (comm_rank == 0) {
    gathered_numbers = malloc(datatype_size * comm_size);
  }

  // 全ての数値をルートプロセスに集めます
  MPI_Gather(number, 1, datatype, gathered_numbers, 1,
             datatype, 0, comm);

  return gathered_numbers;
}

// 値とコミュニケータランクを保持する
// この構造体はソートをされてもランクの情報を失わない
typedef struct {
  int comm_rank;
  union {
    float f;
    int i;
  } number;
} CommRankNumber;

// この関数はルートプロセスに値を集めて、その順位を元のプロセスに返します
// この関数はルートでのみ実行されます。
int *get_ranks(void *gathered_numbers, int gathered_number_count,
               MPI_Datatype datatype) {
  int datatype_size;
  MPI_Type_size(datatype, &datatype_size);

  // 集めた値をCommRankNumbersに保持します。
  // これによりソートしてもコミュニケータランクを失いません。
  CommRankNumber *comm_rank_numbers = malloc(
    gathered_number_count * sizeof(CommRankNumber));
  int i;
  for (i = 0; i < gathered_number_count; i++) {
    comm_rank_numbers[i].comm_rank = i;
    memcpy(&(comm_rank_numbers[i].number),
           gathered_numbers + (i * datatype_size),
           datatype_size);
  }

  // ランクの情報を持ったまま値をソートする
  if (datatype == MPI_FLOAT) {
    qsort(comm_rank_numbers, gathered_number_count,
          sizeof(CommRankNumber), &compare_float_comm_rank_number);
  } else {
    qsort(comm_rank_numbers, gathered_number_count,
          sizeof(CommRankNumber), &compare_int_comm_rank_number);
  }

  // ソートが完了したので値を戻すための結果の配列を用意する。iにはプロセスiの順位が含まれる。
  int *ranks = (int *)malloc(sizeof(int) * gathered_number_count);
  for (i = 0; i < gathered_number_count; i++) {
    ranks[comm_rank_numbers[i].comm_rank] = i;
  }

  // comm_rank_numbersを解放する
  free(comm_rank_numbers);
  return ranks;
}

// datatype型のsend_dataの順位を取得する。
// ランクはrecv_dataで戻ってくるdatatype型である。
int TMPI_Rank(void *send_data, void *recv_data, MPI_Datatype datatype,
             MPI_Comm comm) {
  // datatypeがMPI_INTかMPI_FLOATであるかを確認します
  if (datatype != MPI_INT && datatype != MPI_FLOAT) {
    return MPI_ERR_TYPE;
  }

  int comm_size, comm_rank;
  MPI_Comm_size(comm, &comm_size);
  MPI_Comm_rank(comm, &comm_rank);

  // 順位を計算するために値をルートプロセスに集めます。
  // そして、ソートして結果を求め、Scatterで順位情報を戻します。
  // ルートプロセスにはプロセス0を使います
  void *gathered_numbers = gather_numbers_to_root(send_data, datatype,
                                                  comm);

  // 各プロセスの順位を計算する
  int *ranks = NULL;
  if (comm_rank == 0) {
    ranks = get_ranks(gathered_numbers, comm_size, datatype);
  }

  // Scatterする
  MPI_Scatter(ranks, 1, MPI_INT, recv_data, 1, MPI_INT, 0, comm);

  // clean up
  if (comm_rank == 0) {
    free(gathered_numbers);
    free(ranks);
  }
}