På en mark i nærheden af landstedet Elmegården og en klynge elmetræer, der stod i nærheden af hvor Netto på Kongelundsvej ligger i dag, blev Elmegården grundlagt som en haveforening den 6. april 1941, hvor det første møde blev holdt og der blev trukket lod om haverne. En haveforening fungerede som et sommerfristed for de af byens indbyggere, der boede i lejligheder.

Efter krigen flyttede mange familier fra København ud i deres kolonihave, og det var sådan, at traditionen for at bosætte sig fast i sin kolonihave startede. I 1957 ligger Vestamager i toppen som det kolonihaveområde i hele Norden, som har størst koncentration af ulovligt helårsbeboelse. I mange år så Københavns Kommune igennem fingre med at folk boede permanent i deres haveforeningshuse, men det var stadig grundlæggende ulovligt, først og fremmest fordi de sanitære forhold, kloaksystemet, vandforsyningen og opvarmnings mulighederne ikke levede op til de krav, der blev stillet.  Omkring 1960 køber foreningen den lejede grund af Gårdejer Petersen, kort før dennes død, og herefter laves de vedtægter, som stadig i dag er gældende.  I 2005 opnåede Haveforeningen Elmegården helårs status, hvilket vil sige at man kan bo her lovligt hele året rundt. Elmegården skiftede i den anledning navn til Parcelforeningen Elmegården.