The rotation operation is a key element of non-reversible transforms commonly used in compression, such as DCT, DST, and/or FFT.

А также как переводятся выражения из этой же области:

window modulation
butterfly calculation
residue coder

Буду очень благодарен.

http://eva.cmts.msu.ru/Hornak/chap-5/chap-5-r.htm#5.4
http://www-2.cs.cmu.edu/~fx/phase1.html

То есть, непосредственное FFT в программах, по видимому, никто не применяет, а делают "фазовую коррекцию". Из второй ссылки Вы видите, что они называют эту операцию "phase-rotation" (вот откуда rotation). Мое мнение, что именно о ней идет речь. Смысл фразы таков - не применяя фазовую коррекцию - ничего Вы хорошо не сожмете.
Теперь - как перевести. Если Вы разбираетесь в сути вопроса и можете из контекста получить подтверждения, что я прав, - переводите "фазовая коррекция". Если нет - лучше оставить размытое "вращение". Люди, находящиеся в проблеме, поймут о чем речь, а остальным - что коррекция, что вращение...