Le Congrès national africain, qui domine le parlement, critique depuis longtemps Israël et a soutenu la motion du parlement.
La motion demandait la fermeture de l'ambassade et la suspension des relations jusqu'à ce qu'Israël accepte un cessez-le-feu et s'engage dans des négociations contraignantes.
Elle a été adoptée par 248 voix contre 91.
Avant le vote en Afrique du Sud, Israël a rappelé son ambassadeur "pour consultations", une décision qui, selon lui, fait suite aux "dernières déclarations sud-africaines".
Le président Cyril Ramaphosa a récemment renvoyé Israël devant la Cour pénale internationale pour crimes de guerre potentiels et a rappelé les diplomates sud-africains d'Israël.
Mardi, il a présidé un sommet virtuel du groupe de pays BRICS pour discuter de la situation à Gaza.
Il a parlé sans détour, accusant Israël de commettre un génocide à Gaza et dénonçant ce qu'il a appelé la punition collective des civils palestiniens.