Слово «якорь» во многих европейских языках звучит похоже: англ. anchor, нем. Anker, нидерл. anker, фр. ancre, итал. ancora, исп. áncora и др. Все они восходят к лат. ancora, далее к др.-греч. ἄγκυρα «якорь». В русском языке все несколько иначе.
Принято считать, что большинство морских терминов пришли в русский язык из голландского или немецкого в петровские времена. Слово якорь же встречается в современном виде в договоре князя Олега с Византией от 907 года. Несмотря, что это самый ранний известный случай употребления слова, лингвисты не торопятся связывать его с греч. ἄγκυρα. Если бы русское слово было греческим заимствованием, то мы бы знали его в виде акира или якира, но не в виде якорь. Следовательно, искать следует совсем в другом месте.
Сегодня популярна точка зрения, согласно которой слово является заимствованием из скандинавских языков, в которых греч. ἄγκυρα (также через лат. ancora) появилось раньше и уже успело видоизмениться. Источником могло служить др.-швед. ankari (совр. ankare). Варяги в русских дружинах, говорившие на своём диалекте, вероятно, использовали в речи слово akkari, откуда и произошло древнерусское слово, упоминавшееся в договоре с Византией. Его популярность связывают с развитием торговли на пути «из варяг в греки».