Народився 9 березня1925 в Сапулпі, Оклахома. Трохи пізніше його родина переїхала в місто Борджер — найбільше місто в окрузі Гатчінсон, Техас, де Міллер провів своє дитинство.
Після відвідин коледжу «Амарілло» в період з 1941 по 1942 отримав розподіл у Військову академію берегової охорони США. Закінчив її в 1945, отримавши ступінь бакалавра наук в галузі морської інженерії та ніс службу до 1949 в званні офіцера Берегової охорони на Далекому Сході і Західному узбережжі США. Під час своєї служби в Береговій охороні він познайомився і пізніше одружився з Аріадною Рогожарскі, російській емігрантці.
У 1952 отримав ступінь в юриспруденції та влаштувався в юридичну фірму Cravath, Swaine & Moore в Нью-Йорку.