According to one's most secret feelings and thoughts; deep in one's heart

My best friend has been accused of being a spy for Russia, but in my heart of hearts I know it can't be true

Il mio migliore amico è stato accusato di essere una spia russa, ma in fondo al cuore io so che non può essere vero

I'm proud for what you intend to do, but in your heart of hearts you know that, after what happened, you are not ready yet

Sono orgoglioso per ciò che intendi fare, ma nel profondo del cuore lo sai che, dopo quello che è successo, non sei ancora pronto

I want you to know in your heart of hearts that I'll never hurt you in any way, but I will always be there for you

Voglio che tu sappia, nel profondo del cuore, che non ti farò mai del male, ma ci sarò sempre per te

This expression was used by Shakespeare, in Hamlet 3.2:
Give me that man
That is not passion's slave, and I will wear him
In my heart's core, ay, in my heart of heart,