Jacob Miller, der in German Valley (heute Teil von Washington Township, New Jersey) geboren wurde, besuchte die öffentlichen Schulen seiner Heimatgemeinde, studierte im Anschluss die Rechtswissenschaften und wurde 1823 in die Anwaltskammer aufgenommen, woraufhin er in Morristown als Jurist zu praktizieren begann. Im Jahr 1825 heiratete er Mary Louisa Macculloch, die Tochter eines wohlhabenden Geschäftsmanns. Eines ihrer neun Kinder war Lindley Miller, der als Offizier der Unionsarmee im Sezessionskrieg diente und dort ein Regiment aus Afroamerikanern befehligte.
1832 begann Jacob Millers politische Laufbahn mit der Wahl in die General Assembly, das Unterhaus der Staatslegislative von New Jersey. Von 1838 bis 1840 gehörte er dem State Council an, dem Vorgänger des Senats von New Jersey. Schließlich wurde er im Jahr 1840 als Vertreter der Whigs in den US-Senat in Washington, D.C. gewählt; sechs Jahre später gelang ihm die Wiederwahl, sodass er bis zum 3. März 1853 im Senat verbleiben konnte. Während dieser Zeit war er unter anderem Vorsitzender des Committee on the District of Columbia.
