Garibay, sin suerte en Madrid