Era filho de Afonso Martins, que esteve em Aljubarrota, e que seguindo depois a vida eclesiástica veio a ser prior de Santa Cruz, de Coimbra. Fernando Afonso da Silveira foi doutor em leis pela Universidade de Bolonha, foi do despacho de D. João I, que o encarregou de varias comissões de importância, embaixador de Castela com D. Fernando de Castro em 1423, e depois em 1428 foi mandado como. embaixador a França para ajustar o casamento da infanta D. Isabel com o duque de Borgonha. 

Foi pai de João Fernandes da Silveira, 1.º barão do Alvito.