Vous pouvez effectivement démissionner pendant votre période de congé, par contre vous devez respecter la période de préavis prévu dans votre contrat de travail ou convention collective.
Pour de plus amples informations sur ce sujet, nous vous invitons à lire votre contrat de travail et interroger les services de votre Direccte.