兒玉源太郎在1900年離台，1906年過世。而原先的住客籾山衣洲則在1904年返回日本。失去了主人與住客的南菜園，雖交由慈善團體「台灣婦人慈善會」保存，但不敵時光的壓力，仍日漸荒廢。1908年時，已有報導以「（南菜園）本島不可復得之古名蹟也」，因而強烈要求「重修南園」。
1930年，臺灣總督府公佈了「史蹟天然名勝紀念物保存方法」。1941年，南菜園被指定為「史蹟」。在指定為史蹟的同時，殖民政府也將1901年北白川宮能久親王大妃來台參加臺灣神社鎮座祭，順道造訪南菜園時吟詠的御歌刻在石碑上，並將石碑置於南菜園中。這是南菜園首次確立其古蹟身分。
 |
| ▲御歌碑被放到園中的1941年，正是南菜園由別墅到古蹟的關鍵年份。 |
