در دوران معاصر گویا آنجا ملک شخصی پدر معزالدین و مصلح الدین مهدوی بوده است. که مورد بغض ظل السلطان، حاکم اصفهان ، قرار گرفته بود. درباره خراب کردن عمارات و ابنیه تاریخی به دست و فرمان ظل السلطان مطالب زیادی انتشار یافته است. مطلبی که در کتاب «داستان هایی از پنجاه سال» به قلم معزالدین مهدوی، تازگی داشت آن است که این مرد حتی به ابنیه خصوصی بازمانده از صفوی نیز رحم نمی کرد و عمارت کلاه فرنگی داخل باغ زرشک را نیز که ملک شخصی بود، از تیشه خود دور نداشت. معزالدین مهدوی درخاطرات خود می آورد:
«پدرم بیان داشت که این باغ ملک من بود. و در وسط آن نیز عمارت بسیار زیبا و آبرومندی از زمان صفویه باقی بود (نظیر عمارت هشت بهشت ولی کوچکتر) که روزهای جمعه را آنجا می گذراندم و گاهی دوستان را نیز دعوت می کردم. روزی ظل السلطان مرا خواست. اتفاقاً موقعی بود که او عمارات صفویه را خراب می کرد. من به ملاقات او رفتم. اظهار داشت «عمارت باغ زرشک را خراب کن!» چون این کار برای من عملی نبود گفتم «عمارت کوچکی است و در جنب عمارات دیگری که خراب شده است، قابل اعتنا نیست» شروع کرد مدتی درباره صفویه صحبت کردن و از هر ناسزایی به آنان خود داری نکرد . گفت آنها چنین و چنان بوده اند...در هر حال مجلس گذشت و من حاضر نشدم که آنجا را خراب کنم. چون به منزل مراجعت کردم باغبان باغ زرشک را جلو در منزل دیدم که اطلاع داد مأمورین ظل السلطان آمده اند و عمارت را خراب می کنند. گفتم من توانایی مقاومت با ظل السلطان را ندارم. برو ببین بعداً چه خواهند کرد و به من اطلاع بده. عصر باغبان آمد و گزارش داد که عمارت را خراب کردند و رفتند و چیزی از آن نبردند.»(مهدوی،داستان هایی از پنجاه سال،  1348: 63)
باغ زرشک پس از مشروطیت و در تاریخی که نمی دانیم، به مالکیت امیرمجاهد بختیاری ، در آمد. شاید هم او عمارت خراب شده وسط را تعمیر کرده و صفایی به آن داده بود تاجایی که در سال 1317 ش که تاگور، فیلسوف و شاعر هندی به ایران مسافرت کرد، دولت ترجیح داد وی را در آنجا سکنا دهد. نصرالله سیف پور فاطمی که میهماندار وی بود می گوید : «در اصفهان تاگور و همراهانش را در باغ زرشک منزل امیرمجاهد بختیاری که در دست دولت بود، نزدیک پل زاینده رود جا دادند. »(سیف پور فاطمی، آیینه عبرت، ص 829)
اما سرنوشت برای این باغ تقدیری نوشته بود که آنجا تبدیل به باغ صنعتی شود. بدین معنی که کارخانه صنایع پشم سرانجام در آنجا برپا گردد. قسمتی از مقاله روزنامه اخگر در بیان تاریخچه کارخانه مذکور:
«این کارخانه که شرکتش در اواخر سال 1314 با سرمایة شش میلیون ریال تشکیل و یک سال بعد نیز سه میلیون ریال دیگر بر میزان سرمایة اولیة آن افزوده شد، از سال 1315 ماشین‌آلاتش تدریجاً به اصفهان وارد و در سال 1316 نیز از طرف شرکت به کار نصب آن‌ها پرداخته و در اواسط سال 1317 نصب اکثریت آن‌ها خاتمه یافته واز اول مهر همان سال، قسمت ریسندگی آن شروع به کار ریستن کرده و با وجود این که در یک پست بیشتر کار نمی‌کرد و پنبه مطابق مصرف آن نمی‌رسید، روزانه تعداد زیادی بقچة ریسمان، که از انواع درجه اول ریسمان‌‌های کشور است، بیرون می‌داد و در بازار اصفهان و سایر شهرستان‌‌های ایران به معرض فروش می‌گذاشت... هم اکنون پارچه‌‌های این کارخانه از بهترین محصولات کارخانجات اصفهان به شمار می‌رود. »(روزنامه اخگر، ش 1441، 7 تیر 1318.)
بی گمان آخرین برگ از دفتر زندگی باغ زرشک زیاد خوشایند نیست. بعد از انتقال کارخانه صنایع پشم در تاریخی که من نمی دانم، زمین های این کارخانه تبدیل به آپارتمان گردید و از آن جلال قدیم فقط دو چیز باقی مانده است که امیدواریم آن ها نیز به تیشه بی خردی راه نیستی نپیمایند: اول سردری که مربوط به زمان کارخانه صنایع پشم بوده است با دربی بزرگ و چوبی با حکاکی های زیبا که آرم کارخانه را دارد و دوم قسمت اداری کارخانه که فعلاً دبیرخانه شورای شهری اصفهان آنجاست، عمارتی بسیار زیبا با معماری رضاشاهی و تزیینات داخلی چشم گیر. بیاییم برای این که این باغ پرشکوه به خاطره ها نپیوندد، از سرنوشت ظل السلطان درس بگیریم تا این دو اثر را به باد فنا ندهیم!!