A necrópole foi inaugurada por imigrantes de origem germânica que chegaram à região naquele mesmo ano. Naquela época, a área era uma colônia agrícola e extrativista incentivada pela política de povoamento do governo imperial de Dom Pedro I. A maioria dos imigrantes era alemã, mas também havia suíços e austríacos.
O Cemitério de Colônia foi dividido para receber os grupos religiosos protestantes e católicos, com os túmulos dos católicos recebendo cruzes e os dos protestantes sendo desprovidos de símbolos. Uma curiosidade do lugar são as cruzes de ferro, forjadas na Real Fábrica de Ferro Ipanema, que estão expostas enfileiradas em uma das paredes laterais da necrópole.
Além disso, o bairro de Parelheiros tem sua importância marcada no próprio nome, que vem das parelhas, corridas de cavalo em que os estrangeiros competiam com os brasileiros. A presença germânica na região também é celebrada anualmente com a Colônia Fest, uma festa alemã realizada na localidade.
No entanto, apesar da importância histórica do bairro, atualmente há poucos descendentes do grupo de imigrantes germânicos que chegaram no início do século 19. A região passou a receber um grande número de imigrantes nordestinos e japoneses ao longo dos anos.
O Cemitério de Colônia completou sua restauração no início dos anos 2000 e, desde então, tem recebido enterros nos níveis superiores, que têm atividade regular e atendem à população em geral. A necrópole é tombada pelo Conselho Municipal de Preservação do Patrimônio Histórico da Cidade de São Paulo (Conpresp) e possui cerca de duas centenas de túmulos e uma pequena capela.
A história do Cemitério de Colônia é um importante registro da herança cultural e histórica da cidade de São Paulo, retratando a presença e influência dos grupos imigrantes que contribuíram para a formação e desenvolvimento da região ao longo dos séculos.
