我在一个新小区买了顶楼三百多平米住宅。在装潢期间（刚开工不到十天）被楼下几户到处造谣诽谤说我是群租房，几户联合聚众闹事导致我装潢被迫停止。由于闹的动静太大，即使以后楼下同意我装潢，我也不愿装潢。丢不起这个人，只想出售了。但跟装潢公司签订的合同，由于主家原因导致的合同终止，我将面临巨额赔偿。我想请问能不能起诉楼下几户，要求赔偿我终止装潢合同（赔偿给施工方）的损失？