应由贷款人归还。只有贷款人才是贷款主体，贷款后怎么使用是贷款人的权利。将贷款给了别人，并不影响贷款人的主体。所以，贷款人应按约定期限归还。