Tinha fama de não ter sorte. Metade das 2,4 milhões de libras tomadas de empréstimo ao Lloyds Bank, entre 1911 e 1912, foi depositada num banco russo. Todo o dinheiro foi confiscado, junto com o banco, pela Revolução Socialista de 1917.
Hermes perdeu a mulher, Orsina, em 30 de novembro de 1912. Um ano depois, aos 58 anos, se casou com Nair de Teffé, então com 28, filha do Barão de Taffé, herói da Guerra do Paraguai. Nesse intervalo, a direção dos afazeres domésticos ficou a cargo do mordomo Oscar Pires, que ganhou o apelido da imprensa de O Sogra.
Nair de Teffé foi a primeira mulher caricaturista da imprensa brasileira. Ela usava o pseudônimo Rian.
No dia 26 de outubro de 1914, durante uma recepção oficial no Palácio do Catete, então sede do Governo Federal, Nair cantou a música Corta-jaca, de Chiquinha Gonzaga. A oposição transformou o fato num escândalo.
