È consuetudine nei paesi anglosassoni che lo stemma del vescovo e quello della diocesi di cui è titolare siano raffigurati insieme sullo stesso scudo. Lo stemma di monsignor Rice e quello della diocesi di Springfield-Cape Girardeau sono raffigurati fianco a fianco. Questa pratica in araldica è chiamata impalamento e dimostra che il titolare è "sposato" con la sua diocesi.

Gli ornamenti esterni sono quelli prescritti per un vescovo secondo l'istruzione della Santa Sede del marzo del 1969 Ut Sive. Dietro lo scudo vi è una croce astile d'oro. In araldica la croce dietro lo scudo è il vero emblema dell'araldica episcopale. Inoltre, sopra lo scudo è posto un galero, un cappello ecclesiastico verde con dodici nappe, sei per lato in tre file su entrambi i lati dello scudo, tutte in verde. Questo cappello a tesa larga, un tempo indossato nelle processioni formali, non è più usato, ma rimane un emblema araldico per il clero nella Chiesa cattolica. Il motivo per cui è verde è perché era questo, e non il viola, il colore originale indossato dai vescovi.

Il lato destro dello scudo (a sinistra dello spettatore) mostra lo stemma della diocesi di Springfield-Cape Girardeau. Esso è una combinazione di simboli scelti per rappresentare la storia della diocesi. Questo stemma è composto da un campo blu con un ondulato d'argento che rappresenta un punto o un promontorio nel fiume Mississippi a Cape Girardeau. I simboli sull'ondulato rappresentano la cattedrale dell'Annunciazione di Maria, Stella del Mattino. Le trombe dell'araldo che indicano una stella onorano l'Arcangelo Gabriele che annunciò la nascita di Cristo alla Vergine Maria, mentre la stella rappresenta la Vergine Maria sotto il titolo di Stella del Mattino. Sopra l'ondulato vi sono due fontane stilizzate in tondi composti da linee ondulate bianche e blu, che rappresentano le sorgenti d'acqua. Sono posizionati direttamente sullo scudo che è indicato come il campo. Nella base vi è un agnello con un ramo di palma da martire per onorare Sant'Agnese, titolare della cattedrale di Springfield, che venne martirizzata nel IV secolo.

Per il suo stemma personale, raffigurato sul lato sinistro dello scudo (a destra dello spettatore), monsignor Rice ha conservato il disegno fatto per lui quando fu ordinato vescovo ausiliare di Saint Louis. Esso attinge dall'eredità dei suoi genitori, John e Helen (Madden). Sono infatti presenti due covoni di riso che richiamano il cognome del titolare. Un covone è presente anche nello stemma di Robert James Carlson, che ha consacrato vescovo monsignor Rice. I covoni ricordano anche il Pane della vita, l'Eucaristia, che è il nucleo del mistero della fede cattolica e l'attività centrale del sacerdozio.

Sopra e sotto i covoni vi sono tre corone d'oro. Una corona onora San Luigi, re di Francia, il santo patrono dell'arcidiocesi di Saint Louis, dove monsignor Rice ha operato da prete e vescovo ausiliare. Un'altra corona onora Sant'Edoardo il Confessore, il patrono battesimale di monsignor Rice. La terza corona onora la Beata Vergine Maria, in particolare sotto il titolo di Nostra Signora del Perpetuo Soccorso, la parrocchia dove monsignor Rice fu battezzato.

Per il suo motto, il vescovo ha selezionato la frase latina "VENITE ET VIDEBITIS". La frase è tratta dal Vangelo di Giovanni (Gv 1,39). Quando i primi discepoli, Andrea e Giovanni, sono chiamati da Gesù, gli chiedono dove si trova. Gesù risponde: "Venite e vedrete". Il verso è stato scelto da monsignor Rice per riconoscere il suo percorso in seminario, il lavoro vocazionale e per evidenziare la chiamata di papa Giovanni Paolo II a un periodo di "nuova evangelizzazione" nella Chiesa.

Lo stemma di monsignor Edward M. Rice è stato blasonato e illustrato da padre Daniel C. Gill, un sacerdote della diocesi di Kansas City-Saint Joseph.