В 1916 году в городе Себеже (Псковская область, 30 километров от Латвии) в еврейской семье появился на свет будущий актёр, чьё имя было Залман Эфроимович Храпинович.
У него было два брата и две сестры. В мемуарах актёр писал, что все его родственники «женились и вышли замуж за православных».
Папа до революции был коммивояжёром, а после — совслужащим, но глубоко и искренне верующим, преданным еврейским традициям.
Маленький Залман мечтал быть лодочником, а потом решил стать слесарем.
Подростком он приехал к брату в Москву, поступил в фабрично-заводское училище, потом работал на строительстве первой линии московского метро. Параллельно начал играть в Театре рабочей молодёжи.
Через несколько лет забросил основную профессию и стал профессиональным актёром.
Тогда же кто-то из друзей почти в шутку предложил придумать эффектный сценический псевдоним.
Зиновий, видимо, стало производным от Зямы, как все друзья называли Залмана, а фамилию в ходе общего обсуждения по приколу позаимствовали у популярной балерины Елизаветы Герд, добавив букву «т».
Во время войны он отправился добровольцем на фронт, хотя вполне мог не идти (его с другими актёрами включили в состав фронтового театра).
В феврале 1943 года получил тяжелейшее ранение в ногу. Чтобы сохранить ногу, пришлось лечиться несколько лет, терпя адскую боль, пройти через 11 операций (шесть из них делала Ксения Винцентини, жена будущего генерального конструктора Сергея Королёва).
Гердт проработал у Образцова 36 лет; спектакль «Необыкновенный концерт», где он исполнял все мужские и одну женскую роль, параллельно управляя довольно тяжёлыми куклами, стал одним из главных хитов театра.
В кино он пришёл очень поздно.
С конца 50-х где-то снимался (даже в популярных фильмах — «Городе мастеров», «Семи няньках»), что-то озвучивал, но это было не очень серьёзно. На всю страну его прославил только Паниковский в «Золотом телёнке» Михаила Швейцера.
На эту роль уже был утверждён Ролан Быков, но он некстати заболел. Швейцер сам пробовался на роль Шуры Балаганова, попросил своего друга Гердта в отсутствие Быкова ему подыграть.
Гердт вспоминал: «Надели на меня канотье, дали тросточку. Я чувствую себя совершенно свободно: пробуют-то не меня, треплюсь перед камерой минут десять, делаю что хочу».
Безо всякой задней мысли «увлёкся, стал фантазировать, показывать, что и как можно сыграть». А на следующий день Швейцер заявил ему: «Всё!
Играть Паниковского будешь ты!» «Даю слово: сопротивлялся, но не помогло».
Параллельно он точно так же, невольно, отнял у Быкова роль в «Фокуснике» Петра Тодоровского. Режиссёр жил с ним в одном доме и два месяца, пока писал сценарий, приходил к Гердту, умоляя сыграть главного героя.
Но Гердт легко уступил Быкову роль в «Комиссаре» Александра Аскольдова.