La silicona que yo conozco no pega tanto como para arrastrar material consigo. Si no puedes meterle unos cortes, como te han dicho, tirando directamente debería despegarse tal silicona, rompiéndose el cordón dado en su momento, pero nada del material del kayak.
A saber qué silicona has usado.