Дом с номером «31» имеет необычный для Оренбурга архитектурный стиль — «русская готика». До наших дней он сохранился в весьма ветхом состоянии.
История не сохранила имя хозяина особняка. Осталась лишь легенда. По словам старожилов, в доме жили два брата татарина. После революции 1917 года большевики выселяли владельцев купеческих имений. Дошла очередь и до дома №31 в переулке Фабричном. Хозяев этого дома выгнали на улицу. После этого жена одного из братьев в отчаянии прокляла новых жильцов.
Со слов старожил переулка: «приехали люди, начали выгонять прежних жильцов, да не словами, а силой. Все, что было нажито, выкинули на улицу, а их пинками, да кулаками выкинули из родного дома. Когда они уже оказались на улице, женщина, которая жила в этом доме, начала очень сильно кричать (мама, жена, свекровь, теща, дочь, сестра… кем она доводилась хозяину дома, уже не узнать). В ее криках были слышны проклятья, она проклинала тех, кто выселил ее на улицу, кто оставил ее семью без дома, говорят, кричала очень сильно, и крики проклятья были слышны по всему переулку. С тех пор нет семейного счастья на нашем переулке, в основном мы одни женщины тут и живем, без мужей».
В 1998 году исторический особняк признали объектом культурного наследия регионального значения. В 2019 году здание объявили аварийным.