Op het eiland woont een kleine bevolkingsgroep in het dorp Lamakera die zich al sinds honderden jaren bezighoudt met de walvisvangst. Samen met de bewoners van het dorp Lamalera (2500 inwoners) aan de zuidkust van het naburige eiland Lomblen is het de laatste bevolkingsgroep in Indonesië die nog de walvisjacht beoefent.
In 1520 vestigden de Portugezen een handelspost in het dorp Lamakera op de oostelijke kust van het eiland als een transithaven tussen de Molukken en Malakka.
In 1561-62 bouwden de dominicanen een palissadenbescherming van palmboomstammen om de lokale christenen te beschermen. In 1563 werd het fort in brand gestoken door moslims. Daarom werd in 1566 een stenen fort gebouwd. De eerste twintig jaar werd de kapitein van het fort benoemd door de dominicaanse bisschop van Malakka. Rond het fort vestigde zich een gemengde, deels Portugese bevolking van lokale christenen waarvan velen zich bezighielden met de handel in sandelhout met Timor. In 1598 werd het fort bij een lokale opstand geplunderd. Na een lange belegering kon het fort in 1613 door de Nederlanders ingenomen worden, mede omdat 500 van de Portugezen op dat moment op handelstocht waren naar Timor.
Vanaf 1653 werd het fort in Loyahong permanent bezet door 2 Nederlandse busschieters (kanonniers), die als vooruitgeschoven post van het VOC-comptoir in Koepang tot taak hadden scheepsbewegingen en andere ontwikkelingen in de regio in de gaten te houden en te rapporteren.
