Vila do Porto apresenta duas partes distintas, a mais moderna que fica para cima da Matriz e a mais antiga que vai da Matriz até ao cais. Tem ruelas estreitas, canadas e travessas com cariz sombrio e medievo.
O Hospital da Santa Casa da Misericórdia foi fundado em 1500, mais tarde por más condições, sobretudo, pelo fraco espaço que apresentava foi substituído pelo actual Centro de Saúde de Vila do Porto, situado na avenida do concelho. O antigo hospital apresenta-se hoje como um lar de idosos.
Em termos de igrejas esta localidade apresenta cinco: a Nossa Senhora da Assunção, a Nossa Senhora da Vitória, a igreja de Santo Antão, a do Senhor dos Passos e a Nossa Senhora da Conceição da Rocha. A primeira é Matriz e principal igreja, cujo nome deu-se através da invocação da Assunção de Nossa Senhora. Esta igreja tem três naves, uma central e duas laterais, com oito capelas: a capela-mor e duas colaterais; nas naves laterais, a do Bom Jesus, Nossa Senhora do Carmo, Santo André, Santa Catarina e Almas. Existia também uma Capelinha do Baptismo e do Santo dos Óleos.
A Igreja de Nossa Senhora da Assunção sofreu várias destruições e profanações, uma delas foi o assalto em Agosto de 1576 pelos franceses e em 1599 pelos ingleses, tendo sido também queimada em Julho de 1616 pelos argelinos e turcos. Para estas reconstruções e melhoramentos grandes dificuldades haveriam para se conseguir fundos, isto apesar de Filipe IV (III de Portugal) impor a obrigação de não a gozar dos frutos dela senão depois de cinco anos. Assim, em 1630, a Câmara Municipal concertou a igreja.
No século XVIII e XIX, os concertos e todas obras nela feitas foram realizadas com o auxílio do povo e das confrarias. Isto sucedeu-se devido ao incêndio da Matriz, no dia 6 de Outubro de 1832, dia da festa da Nossa Senhora do Rosário, pois sua reconstrução foi feita à custa de paroquianos.
O lançamento da primeira pedra referente à igreja foi a 6 de Março de 1609. O convento necessitou de obras de reconstrução em 1725, devido à sequela dos piratas nos anos 1616 e 1675. Este convento desempenhou até a altura da sua extinção, um papel fundamental a nível da ilha, não só na área religiosa, mas também na área educativa. Actualmente, encontram – se no antigo convento vários serviços públicos, desde a câmara municipal; o tribunal da comarca de vila do porto e a secção de finanças e tesouraria.
A igreja de Santo Antão era do século XVI uma ermida erecta, sendo depois reconstruída em 1933, cuja bênção ocorreu em Janeiro do ano seguinte.
A igreja do Senhor dos Passos foi construída no século XVI, possui pintura artística antiga e a imagem de Cristo. Todos os anos organiza-se aqui cortejo processional.
Por fim, a igreja Nossa Senhora da Conceição da Rocha, vulgarmente conhecida por Santa Luzia, foi segundo a tradição, a primeira erguida nesta vila e, como tal, era antigamente a Matriz.
A Biblioteca Pública de Santa Maria situa-se no centro e está alojada no edifício de um antigo convento, aliás, é bem visível esse legado, tanto por dentro como por fora.
O Forte de São Brás é dos poucos espaços revitalizados na zona histórica de Vila do Porto, alberga neste momento um estabelecimento de diversão nocturna. O Forte de São Brás, sobranceiro ao porto da Vila, constitui um exemplo de arquitectura militar, construído durante o domínio filipino para proteger a população dos frequentes ataques de piratas. No seu interior encontra-se a Ermida de Nossa Senhora da Conceição da Rocha.
Outros pontos de interesse são as ruínas da casa do capitão João Soares de Sousa (século XVI), com as suas janelas góticas, os solares antigos, com portadas góticas, janelas manuelinas e telhados de quatro águas, e os paços do concelho, situados no antigo Convento de São Francisco de Vila do Porto, um edifício do século XVII, que alberga actualmente a Câmara Municipal e outros organismos públicos, destacando-se o claustro com arabesco e um jardim interior.