Genau, mit einer verletzlichen Person sollte behutsam umgegangen werden, nicht grob und kratzig, sondern weich und zart wie ein Samthandschuh. Die Redewendung taucht bereits Anfang des 19 Jhdt. in literarischen Texten in dieser Bedeutung auf. Die gleiche Bedeutung hat auch "jemanden mit Glacéhandschuhen" anfassen.