A Paróquia de São Geraldo foi criada em 15 de fevereiro de 1914, pelo Decreto do Exmo. Sr. Dom Duarte Leopoldo e Silva, Arcebispo Metropolitano de São Paulo e foi desmembrada do território da Paróquia de Santa Cecília. 

O seu primeiro pároco foi o zeloso Cônego Péricles Gomes Barbosa, que está sepultado na Matriz, sob o altar-mor.
Havia, neste bairro, em 1900, no Largo das Perdizes, uma Capela, muito pequena e pobre, dedicada à nossa Senhora da Conceição e Santa Cruz. E nesta Capela funcionou a primeira Matriz da nova Paróquia de São Geraldo.

A nova Matriz, como conhecemos hoje, foi inaugurada em 14 de fevereiro de 1932. O estilo da Igreja é Neo-Basilical Bizantino Romântico, com belíssimos vitrais e altares de mármore travertino italiano. No conjunto da matriz temos a Capela do Santíssimo Sacramento, decorada artisticamente pelo renomado artista Salvador Ligabue.

Em 1942 partiu da Matriz São Geraldo a solene e triunfal Procissão de Encerramento do IV Congresso Eucarístico Nacional, dirigindo-se para o local do Congresso, o Vale do Anhangabaú.

Para "repicar" à saída da procissão, foi doado, pelo então Arcebispo de São Paulo, um grande Sino, chamado "Bronze Velho", que havia pertencido à antiga Sé Metropolitana, e repicou anunciando à cidade a proclamação da Independência do Brasil. Este Sino, tombado pelo Patrimônio Histórico é também chamado de "Sino da Independência" e pesa 2.500Kg.

A Matriz de São Geraldo é, sem dúvida, um marco da arquitetura artística da cidade de São Paulo e um dos mais belos templos da cidade.

O atual Pároco de São Geraldo das Perdizes é o Pe. José Augusto Schramm Brasil que, mesmo antes de sua Ordenação Sacerdotal em 19 de novembro de 1983, já colaborava nos trabalhos paroquiais desta comunidade. Em 1990 foi nomeado Pároco.