ИХМО проще передать угол - т.к. с матрицей может быть неоднозначность.
Правильнее сказать, что "вероятность однозначности стремится к 0"
Величину угла поворота можно получить из матрицы только если уверен, что:
1) Матрица содержит только поворот - нет переноса, масштабирования и поворот вокруг только одной оси.
2) Знаешь точку, являющуюся центром поворота.
3) Знаешь ось, вокруг которой осуществляется поворот.
Короче проще с этим не заморачиваться...