Debido a los constantes ataques de los barcos piratas ingleses y franceses a los puertos de Veracruz, Acapulco y Campeche, en 1597 se dispuso que los oficiales a cargo de la Casa de Contratación se trasladaran a la Banda de Buitrón, lugar situado frente a San Juan de Ulúa, hecho que permitió que en 1601, por órdenes de Felipe II, se instalara la aduana en tierra firme. En 1647, el rey Felipe IV vio la necesidad de que la ciudad contara con una aduana cerrada donde fueran captados todos los productos que entraban al puerto.