Jorge Luis Borges, uno de los más brillantes y polémicos escritores de América Latina, tuvo a lo largo de su vida una relación conflictiva con Victoria, de encontronazos y desencuentros, pero donde al final siempre prevaleció el respeto mutuo. Íntimo amigo del escritor Bioy Casares, a quien había conocido en Villa Ocampo, Borges tenía opiniones sobre cómo dirigir Sur que muchas veces se enfrentaban a las de Victoria. Sin embargo el escritor encontraría en esta mujer una amiga incondicional: Sur le dio a Borges el lugar que le correspondía como escritor argentino, publicando tanto en la revista como en la editorial lo mas importante de su obra. Luego, cuando el gobierno peronista lo removió de su puesto en una Biblioteca Municipal, Victoria, sin que Borges lo supiera, promovió su candidatura a director de la Biblioteca Nacional, auspició sus conferencias y se encargó de las operaciones de ojos a las que el escritor tuvo que ser sometido.

Borges solía llamarla Ayesha por el personaje de Ridder Haggard que quería decir “la que debe ser obedecida” y frecuentemente ironizaba diciendo que luego de pasar veintiséis días en la cárcel del Buen Pastor, Victoria había cambiado su carácter para bien. Sin embargo, y a pesar de las diferencias, tras su muerte escribió: “Podemos verla ahora. Antes la ocultaban las circunstancias, las cosas del azar, cada día. Desde un instante de 1979 la distancia mágica de la muerte nos deja divisarla de un modo inmóvil, eterno y singular... fue una mujer de Ibsen. Vivió con valentía y decoro, su propia vida. Su vasta obra, en la que abunda la protesta, no condesciende nunca a la queja. Poseyó, en grado sumo, `la gracia que no quiso darme el cielo´, el don de la confidencia siempre íntima y nunca indiscreta, que es el atractivo esencial de sus Testimonios”.