如果通奸或者同居的行为构成重婚罪或破坏军人婚姻罪的，则要受刑罚处罚。若二者的行为不构成犯罪，则有配偶的一方在要求离婚的同时，可以向自己的丈夫或妻子请求损害赔偿，但无权向另一方要求赔偿，其只能受道德的约束。
法律依据：
《中华人民共和国刑法》
第二百五十 有配偶而重婚的，或者明知他人有配偶而与之结婚的，处二年以下有期徒刑或者拘役。
第二百五十九条 明知是现役军人的配偶而与之同居或者结婚的，处三年以下有期徒刑或者拘役。利用职权、从属关系，以胁迫手段奸淫现役军人的妻子的，依照本法第二百三十六条的规定定罪处罚。
