Родился в Карлсруэ, в семье отставного майора армии Бадена. Отец был по профессии инженером-строителем и являлся членом комиссии по регулированию хода плавсредств на Рейне. Мать, урожденная Жозефина Кредерер, дочь процветающего торговца из Оберндорфа-на-Неккаре, была женщиной с романтическим характером, наделённой недюжинным интеллектом. Шеффель получил образование в лицее Карлсруэ, а затем (1843—1847) в университетах Мюнхена, Хайдельберга и Берлина[1].
После сдачи государственного экзамена при поступлении в судебные органы он закончил докторантуру юридических наук и в течение четырех лет (1848—1852) стажировался в Зекингене[2]. Здесь он написал свою поэму «Трубач из Зекингена, песня Верхнего Рейна» (Der Trompeter von Säckingen) (1853), романтические и юмористические сказки, которые сразу же приобрели необычайную популярность[3]. Поэма была переиздана более 250 раз и стала основой одноимённой оперы, созданной Виктором Эрнстом Несслером в 1884 году. Затем Шеффель отправился в путешествие по Италии.
Вернувшись домой в 1853 году, он обнаружил, что его родители более чем когда-либо озабочены тем, что он должен продолжать свою юридическую карьеру. Но в 1854 году Шеффель из-за дефекта зрения был вынужден оставить государственную службу и поселился в Хайдельберге, намеренно готовя себя к сотрудничеству с преподавательским составом университета. Его исследования, однако, пришлось прервать из-за болезни глаз, и в поисках эффективного лечения, в надежде на выздоровление, он отправился в Швейцарию, где поселился на Боденском озере. Там он разработал план своего знаменитого исторического романа «Эккехард» (Ekkehard), впоследствии изданный во Франкфурте-на-Майне в 1857 году.
Первые идеи для этой работы он получил от Monumenta Germaniae Historica. Роман стал не менее популярен, чем «Трубач из Зекингена». В 1901 году он был переиздан в 179-й раз. Шеффель вернулся в Хайдельберг и опубликовал «Гаудеамус» (Gaudeamus, 1867), «Песни времён Генриха фон Офтердингена» (Lieder aus Heinrich von Ofterdingens Zeit, 1868), коллекцию весёлых и юмористических песен, сюжеты которых частично были взяты из немецких легенд и частично из исторических сюжетов. В этих песнях автор показывает себя беззаботным студентом, другом вина и песни, их успех являлся беспрецедентным в немецкой литературе и породил многочисленных подражателей.
В течение двух лет (1857—1859) Шеффель был хранителем библиотеки князя Эгона фон Фюрстенберга в Донауэшингене. Посетил Йозефа фон Лассберга в Мерсбурге на Боденском озере, провёл некоторое время с великим герцогом Карлом Александром Саксен-Веймаром в Вартбурге в Тюрингии, а затем, поселившись в Карлсруэ, женился в 1864 году на Каролине фон Мальцен, а в 1872 году удалился в своё поместье Зеехалде возле Радольфцелля на нижнем Боденском озере. По случаю его юбилея (1876), который отмечался по всей Германии, великий герцог Баден пожаловал ему титул потомственного дворянина[3][4].
Умер в Карлсруэ 9 апреля 1886 года. Похоронен на Главном кладбище в Карлсруэ[5].
Кроме того Reisebilder (1887); Epistein (1892); а также Briefe (1898) были опубликованы посмертно. В 1907 году было издано Полное собрание сочинений в шести томах (1907).