Parallel Books

Библиотека суперкомпьютерного центра (Иркутск) -хорошая подборка в pdf, без всяких регистраций и прочих выкрутасов.

Practical MPI programming - IBM Redbook.

Хо-хо, я теперь знаю, что такое рэдбук)!