Bien… les successions promettent toujours quelques remous et affrontements. Y compris et surtout, au sein de sa propre famille.

Comme si la guerre de Cent Ans ne suffisait pas, un autre conflit se dessine à l'horizon : la succession du duché de Bretagne.

Olivier, fidèle à son serment envers le trône de France, choisit le parti de Jeanne de Penthièvre, héritière reconnue par les pairs du royaume et, par extension, par la couronne elle-même ; tandis que son frère Amaury prend fait et armes pour Jean de Montfort, demi-frère de feu le duc Jean de Bretagne.

D’après certains récits, Olivier est capturé lors du quatrième siège de Vannes, en décembre 1342. Il demeure alors quelque temps prisonnier des Anglais (encore et toujours eux), auxiliaires de Montfort.

Il ne tarde pas à tomber en disgrâce auprès du roi de France.

Certaines chroniques évoquent alors une dénonciation — et même une certaine perfidie — en la personne d’un seigneur breton, parfois nommé Jean de France, seigneur de Guignen. Arrivé trop tard avec ses troupes au siège de Vannes, celui-ci accuse Olivier IV de Clisson de s’être rendu prématurément, et surtout volontairement, aux Anglais.

À cela s’ajoute un soupçon d’intelligence avec l’ennemi, la rançon — jugée trop faible — venant nourrir davantage encore les doutes.

Le rameau d’olivier entre Clisson, son accusateur et la couronne ne semble alors plus vraiment d’actualité…