Крепость имела геометрически правильные четырехугольные очертания с выдвинутыми по углам бастионами, окружена рвом и валом, на котором был «поставлен палисадник в человека вышиною». В экспликации к одному из планов XVIII века обнаружена такая запись: «сия крепость построена в 1720 г. россиянами и названа по каменным горам, сквозь которые река Иртыш в сем месте сочиняет якобы устье во оных горах…»

       В жизни Усть-Каменогорска, свидетельствовал священник Б.Герасимов, бывали печальные дни, когда ему приходилось полностью выгорать, терпеть большой урон от наводнений. Случавшиеся на Иртыше заторы разбивали стрельбой из крепостных пушек.

       Во второй половине XVIII века около крепости стали оседать переселенцы, в основном сибирские казаки. Много было и ссыльных. В 1762 году был издан указ, который приглашал русских староверов, которые в свое время бежали в Польшу от религиозных преследований, вернуться на родину. Для переселения им предлагались места на Алтае. Первооснову городу положили улицы Ильинская, Троицкая, Большая, Андреевская. Начинались они от берега и застраивались вдоль Ульбы. Эти улицы пересекали переулки Соляной, Крепостной, Мечетский, Соборный. Старые карты города показывают строгую прямолинейность улиц и преулков. Благодаря такой планировке город хорошо продувался свежими ветрами с гор, а во время наводнений вода легко расходилась по улицам и переулкам.