Oii!
Seu pensamento está praticamente correto! Pra dar uma ajudinha: "I'd love to." é a resposta mais natural quando já existe um verbo ou ação implícita no contexto:
Exemplo:
Pergunta: Do you want to watch the series with me?
Resposta: I'd love to.
Aqui, o "to" substitui o infinitivo que já foi mencionado (watch the series). Já "I'd love it." normalmente se refere a uma coisa, situação ou ideia:
Pergunta: I have a surprise for you.
Resposta: I'd love it.
Nesse caso, o sentido é mais próximo de "Eu adoraria isso" ou "Eu ia adorar".
Se alguém perguntar:
Would you like to watch the series with me?
A resposta natural é "I'd love to.". Embora "I'd love it" seja compreensível em alguns contextos, ela soa menos "natural" porque o foco passa da ação (watching the series) para a experiência ou ideia em si.
Resumindo:
I'd love to. = "Eu adoraria (fazer isso)." --> uma ação (to do something)
I'd love it. = "Eu adoraria isso / Eu ia adorar." --> uma coisa/ideia/situação (it).
As duas formas podem estar corretas, mas não são totalmente intercambiáveis.
Espero ter ajudado!