Вам тупо забивают канал.
Если атакую один IP, то можно попробовать заблокировать.
Скорее всего Вас атакуют много хостов, а значит iptables не поможет. Так устроены соединения в интернете.
Поможет только блокировка на вышестоящем оборудование.
P.S. Недавно мне атаковали порт 27015 около 500 ботов, заблокировали на уровне провайдера этот порт и всё :)