Потому что этого требует математика. В компьютерной графике распространены такие задачи, как перемещение объектов, вращение объектов, изменение их формы, регулировка их освещения и т.д., и во всех этих задачах используются матричные операции. И GPU стали специализироваться на них.