Другой чертой характера наследника, волновавшей воспитателей, была его, как они это называли, «невыдержанность». Тот же Мердер вспоминал, как во время прогулки по реке Виельгорский, дурачась, неосторожно вел шлюпку и зачерпнул бортом воду. Великий князь так рассердился, что схватил Иосифа за шею и дал ему несколько пинков, прежде чем вмешались воспитатели, сделавшие выговор наследнику.