Es ist sehr unhöflich Visitenkarten zurück zu geben

rät: Es gehört nicht zum guten Ton, eine überreichte Visitenkarte zurückzugeben. Außerdem ist es im Beruf ein Gebot der Höflichkeit, dass Annehmende im Gegenzug die eigenen Karten übergeben.
Dieser wechselseitige Vorgang hat über den stilvollen Aspekt hinaus noch diesen Vorteil:

Er hilft, Namen richtig auszusprechen. Auch das gehört zu guten Umgangsformen.
Bei sehr schwierigen Namen, bei denen trotz Visitenkarten-Übergabe Zweifel an der richtigen Aussprache bestehen, ist ein zusätzliches Nachfragen keineswegs stillos. Im Gegenteil: Es beweist das Bemühen um beziehungsweise die Aufmerksamkeit für das Gegenüber.