Для того чтобы по SSH могли получить доступ только пользователи определённых групп,

В SSHD_CONFIG - прописываем:

AllowGroups root

Те, кто входит в группы root и teamusers, получат доступ по SSH.