Затем могилку Ксении обнесли оградой, к которой прикрепили кружку для сбора пожертвований на сооружение над могилой часовни. И пожертвования не заставили долго ждать себя. На собранные таким образом деньги, при содействии некоторых почитателей рабы Божией Ксении, над ее могилой была сооружена небольшая, из цокольного камня, часовня с двумя окошечками по бокам, с дубовым иконостасом в восточной стороне и с железной дверью – с западной.