Песня писалась под впечатлением от всемирно известной картины "
Баллада о солдате", но в ней не звучит. Песня впервые прозвучала в кинофильме "В трудный час" (1961), посвященном трагическим дням 1941 года. В фильме, сценарий которого написан известным кинодраматургом Е. Габриловичем, рассказывается о судьбах простых советских людей, героически оборонявших Москву. Музыку к фильму писал композитор В. П. Соловьев-Седой. Им же вместе с поэтом М. Л. Матусовским написана и песня, мелодия которой звучит уже в увертюре к картине, а затем проходит по всему фильму, пока, наконец, не обретает слова в финале, чтобы прозвучать гимном солдатскому подвигу.
В своей книге «Пути-дороги» В. П. Соловьев-Седой вспоминал, как создавалась эта песня: «Поначалу я сам сделал пресловутую песенную «рыбу», то есть накропал слова, а затем сочинил мелодию. Показал все Матусовскому. И он в один день сочинил прекрасный текст». Для М. Л. Матусовского война эта началась на Западном фронте, куда он попал с первых ее дней в качестве фронтового корреспондента, был свидетелем и непосредственным участником боев. Особенно памятными оказались для него дни и недели Смоленского сражения 1941 года. Потому, наверное, и отозвались они в «Балладе о солдате» строчкой: «Бил солдат их под Смоленском…» Потом была Московская битва, Северо-Западный фронт… Все припомнилось и отозвалось в его творчестве.
Авторы назвали песню «Баллада о солдате». Однако, как неоднократно подчеркивал сам Василий Павлович, песня эта — совсем не баллада. Когда он ознакомился со сценарием и просмотрел уже отснятый материал, то понял, что музыка к фильму требует песни эпического склада. Редкий случай в практике Соловьева-Седого: композитор, любивший насыщать фильмы песнями, здесь оставил «Балладу» единственной.
