ชาวเกาะยาวกลุ่มแรกเริ่มคือชาวมอแกน ซึ่งมักเรียกกันว่ายิปซีทะเล นอกจากชาวมอแกนแล้ว ภูมิภาคนี้ยังมีการอพยพของชนเผ่าเร่ร่อนหลากหลายกลุ่มจากคาบสมุทรมลายู ซึ่งเชื่อกันว่าได้ตั้งถิ่นฐานบนเกาะเหล่านี้ระหว่างศตวรรษที่ 17 ถึง 18 กลุ่มคนเหล่านี้ประกอบด้วยชาวมานิก ชาวเซมัง และชาวเนกริโตกลุ่มอื่นๆ ในอดีต กลุ่มคนเหล่านี้มักถูกเรียกว่าซาไก ซึ่งต่อมากลุ่มคนเหล่านี้เองมองว่าเป็นคำที่ดูถูกเหยียดหยาม และไม่ได้ถูกใช้กันอย่างแพร่หลายในสังคมไทยร่วมสมัยอีกต่อไป
ชาวมอญ ซึ่งเป็นส่วนหนึ่งของกลุ่มชาติพันธุ์เขมร ได้ตั้งถิ่นฐานบนคาบสมุทรไทย รวมถึงรัฐทางทะเลอย่างลิกอร์ (นครศรีธรรมราช) ตลอดหลายศตวรรษที่ผ่านมา พวกเขาได้ผสมผสานกับผู้อพยพจากภาคเหนือและภาคใต้ของมาเลเซียและไทย ผ่านการแลกเปลี่ยนทางการค้าและปฏิสัมพันธ์ทางการเมือง การบูรณาการนี้ส่งผลให้กลุ่มชาติพันธุ์มอญกลายเป็นองค์ประกอบสำคัญของโครงสร้างประชากรในภาคใต้ของประเทศไทย รวมถึงประชากรบนเกาะยาวด้วย