Vers 1929 Pierre Drieu la Rochelle, jeune écrivain connaissant du succès en France, futur directeur de la Nouvelle Revue Française, rencontra Victoria lors d’un déjeuner à Paris. Drieu s’était marié un an auparavant, mais cela ne l’empêcha pas de commencer une relation avec Victoria. Ils parcoururent ensemble les librairies, le Musée du Louvre et Notre Dame.

Lorsqu’en 1932 il visita Buenos Aires, Victoria lui présenta Borges et tous les deux furent victimes d’ une « fascination réciproque ». Peu de temps après il consacrerait sa célèbre phrase « Borges vaut le voyage », se référant à son voyage en Argentine; il reprend ainsi l’expression utilisée dans les reconnus guides Michelin pour qualifier les plus grands attraits touristiques d’un pays.

A Buenos Aires il publia des articles dans le supplément littéraire du journal La Nación dirigé à l’époque par Eduardo Mallea. Plus tard il écrirait un livre, L’Homme à cheval, dont le personnage principal est inspiré de Victoria: « j’ai mis en lui l’amère tendresse que j’éprouve envers toi » confessa-t-il dans une lettre.

Victoria disait que Drieu « était cet enfant fasciné et perdu, qui me tendit sa main d’homme, auquel j’ai tendu la mienne sous le ciel de Paris et de Londres les derniers jours de l’hiver… ses idées me séparèrent progressivement de lui… » Drieu finit par suivre les rangs du nazisme. Lorsque le 16 mars 1945 l’écrivain se suicida, Victoria écrivit: « Ah ! Pauvre Pierre, tu as été pour moi l’incarnation de la France… Pourquoi cette inexplicable indulgence pour les crimes d’autrui, que tu n’as pas pu supporter parmi les tiens »