Pic de trafic.. entrant

19 réponses
AuteurMessage

are |
Membre

Photo de are

Inscrit le : 09/03/2009

# Le 03/11/2010 à 19:23

Hello à tous,

Pas d'événement particulier ces derniers temps, mais pourtant j'ai un serveur qui fait des pics de trafic entrant.. sans trop comprendre pourquoi..

j'ai penser à une attaque en syn flood.. mais RAS, pas de ralentissement, rien, mais j'ai tout de même mis en place cette commande en cron de manière à limiter la casse:
for i in ` netstat -tanpu | grep "SYN_RECV" | awk {'print $5'} | cut -f 1 -d ":" | sort | uniq -c | sort -n | awk {'if ($1 > 3) print $2'}` ; do echo $i; iptables -A INPUT -s $i/24 -j DROP; done

Quelqu'un aurai une p'tite idée?

Une image du problème : http://img696.imageshack.us/img696/7859/4076488682...Ouvrir dans une nouvelle fenetre
(le trafic entrant est en violet, sur une période d'un an il ne dépassait jamais 5 à 10 mbit/s.. o_O)

A+ et encore merci de votre aide par avance.. !

MathieuC | Mathieu
Modérateur

Photo de MathieuC

Inscrit le : 15/07/2005

# Le 03/11/2010 à 19:29

Quels sont les fichiers qui sont telecharges qui provoquent ca ? Tu aurais pas un jeu ou une image qui aurait ete hotlinké sur une appli Facebook ? (Facebook peut facilement provoquer ce genre de pic soudain )

are | Aurélien
Membre

Photo de are

Inscrit le : 09/03/2009

# Le 03/11/2010 à 19:44

bah théoriquement en trafic entrant ça n'as rien à voir avec les fichiers hotlinké, ça c'est le trafic sortant (en vert), et lui par contre est tout à fait normal actuellement.

MathieuC | Mathieu
Modérateur

Photo de MathieuC

Inscrit le : 15/07/2005

# Le 03/11/2010 à 20:04

Ha pardon, j'avais pas vu que c'etait le trafic entrant le probleme

La par contre, je sais pas trop ce qui pourrait le causer... Ca n'a pas de sens d'essayer de faire un DOS juste en saturant le trafic...

Quelques pistes :
- Essaye de voir combien tu as de demande de connections pour chaque port, voir si c'est bien sur le 80 que le trafic arrive
- Si c'est le cas, fouille les logs apache pour voir si c'est du POST ou non
- Si c'est du POST, cherche le referer pour voir d'ou ca vient
- Sinon, si le serveur fait serveur de mail, ca peut etre lui qui se prend du volume, a checker aussi
- Sinon, un FTP ouvert ? ou un SSH ouvert et donc quelqu'un qui fait du SFTP ?

La totalite des graphs MRTG aideraient deja a voir s'il y a un autre facteur qui a fait un saut en meme temps que le trafic entrant (nombre de connections, espace disque, ???). Ca peut aider a savoir dans quelle direction fouiller.

Bool | Olivier
Modérateur

Photo de Bool

Inscrit le : 09/05/2005

# Le 03/11/2010 à 20:06

et un tcpdump sur le trafic entrant ne montre pas du trafic anormal ? (genre en UDP)

daevel : infogérance et conseilOuvrir dans une nouvelle fenetre || moiOuvrir dans une nouvelle fenetre

are | Aurélien
Membre

Photo de are

Inscrit le : 09/03/2009

# Le 03/11/2010 à 20:23

Bool a dit :
et un tcpdump sur le trafic entrant ne montre pas du trafic anormal ? (genre en UDP)


qu'est-ce que tu appel "anormal"?

Bool | Olivier
Modérateur

Photo de Bool

Inscrit le : 09/05/2005

# Le 03/11/2010 à 20:26

"inhabituel pour le serveur" ?

Dans le cas d'un flood udp, on s'en rend compte très vite... Ou plus simplement, s'il s'agit essentiellement d'un serveur "web" et que la majorité du trafic n'est pas du TCP sur le port 80 c'est qu'il y a un soucis non ?

daevel : infogérance et conseilOuvrir dans une nouvelle fenetre || moiOuvrir dans une nouvelle fenetre

are | Aurélien
Membre

Photo de are

Inscrit le : 09/03/2009

# Le 03/11/2010 à 20:29

il y a un poil de trafic UDP, mais rien de trop important.

je lance tcpdump quelques secondes, résultat:
14 packets captured
10183 packets received by filter
10039 packets dropped by kernel

je lance tcpdump udp quelques secondes, résultat:
1 packets captured
41 packets received by filter
0 packets dropped by kernel

c'est un serveur web, sql & SFS (smartfoxserver).

SFS représente environ 2 mbit/s de trafic entrant, donc bon, ça vient pas de là a priori.

Bool | Olivier
Modérateur

Photo de Bool

Inscrit le : 09/05/2005

# Le 03/11/2010 à 20:30

Sinon ton script en haut n'a l'air d'identifier que les "syn flood" mono IP, peux tu lancer ça stp :

$ netstat -nt | grep tcp | awk '{print $6}' | sort | uniq -c | sort -n


Par exemple sur un loadbalancer, ça me donne :
      1 SYN_SENT
27 CLOSING
314 LAST_ACK
365 SYN_RECV
524 FIN_WAIT1
1710 FIN_WAIT2
11658 ESTABLISHED
36061 TIME_WAIT


Ici j'ai 3% de SYN_RECV, ce qui est normal dans mon cas. Et ton serveur ?

daevel : infogérance et conseilOuvrir dans une nouvelle fenetre || moiOuvrir dans une nouvelle fenetre

are | Aurélien
Membre

Photo de are

Inscrit le : 09/03/2009

# Le 03/11/2010 à 20:32

Bool a dit :
Sinon ton script en haut n'a l'air d'identifier que les "syn flood" mono IP, peux tu lancer ça stp :
$ netstat -nt | grep tcp | awk '{print $6}' | sort | uniq -c | sort -n


Par exemple sur un loadbalancer, ça me donne :
      1 SYN_SENT
27 CLOSING
314 LAST_ACK
365 SYN_RECV
524 FIN_WAIT1
1710 FIN_WAIT2
11658 ESTABLISHED
36061 TIME_WAIT


Ici j'ai 3% de SYN_RECV, ce qui est normal dans mon cas. Et ton serveur ?


J'ai cela:

3 CLOSING
17 CLOSE_WAIT
20 LAST_ACK
91 FIN_WAIT1
148 SYN_RECV
2812 ESTABLISHED
10426 FIN_WAIT2
50870 TIME_WAIT


Bool | Olivier
Modérateur

Photo de Bool

Inscrit le : 09/05/2005

# Le 03/11/2010 à 20:36

Ca n'a pas l'air anormal de ce coté donc (enfin ton kernel drop quand même la moitié du trafic tcp).
T'es sûr qu'il est anormal ce trafic ?

"apachetop" ou équivalent (varnishtop ?) sur ton serveur HTTP, n'indique rien de suspect ?


PS : autre hypothèse, déjà arrivée chez OVH : le trafic en question, il est bien pour ton serveur, c'est pas du trafic parasite ?
PS (bis) : t'as regardé quand même avec un outil du genre iftop -nP voir à quoi ressemble le trafic principal ?

(Message édité le 03-11-2010 à 20h44 par Bool)

daevel : infogérance et conseilOuvrir dans une nouvelle fenetre || moiOuvrir dans une nouvelle fenetre

are | Aurélien
Membre

Photo de are

Inscrit le : 09/03/2009

# Le 03/11/2010 à 20:44

Bool a dit :
Ca n'a pas l'air anormal de ce coté donc (enfin ton kernel drop quand même la moitié du trafic tcp).
T'es sûr qu'il est anormal ce trafic ?

"apachetop" ou équivalent (varnishtop ?) sur ton serveur HTTP, n'indique rien de suspect ?


PS : autre hypothèse, déjà arrivée chez OVH : le trafic en question, il est bien pour ton serveur, c'est pas du trafic parasite ?


Le trafic est reparti entre lighttpd & apache 2 (fichier fixe => lighttpd, fichier dynamique => apache 2).
Effectivement le kernel drop me semble énorme o_O une idée à ce niveau?

Sinon, le server-status du lighttpd (le apache 2 est plus que calme):

Started at 2010-11-01 06:00:01
absolute (since start)
Requests 140 Mreq
Traffic 2.85 Tbyte
average (since start)
Requests 622 req/s
Traffic 13.22 Mbyte/s
average (5s sliding average)
Requests 941 req/s
Traffic 13.47 Mbyte/s

edit: oui j'ai utilisé iftop, rien de trop spécial à signaler

Bool | Olivier
Modérateur

Photo de Bool

Inscrit le : 09/05/2005

# Le 03/11/2010 à 20:47

Effectivement le kernel drop me semble énorme o_O une idée à ce niveau?


*) bah... ton script là haut, qui place des "DROP" à tout va ?
*) une conf firewall spécifique ?
*) mauvaise IP, le trafic n'est pas pour toi => le kernel drop
*) saturation du conntrack ou autre => le kernel drop

"watch -d iptables -L -n -v" montre de l'activité coté firewall ?

T'as regardé dans les logs si le kernel se plaint de quoi que ce soit ?

daevel : infogérance et conseilOuvrir dans une nouvelle fenetre || moiOuvrir dans une nouvelle fenetre

are | Aurélien
Membre

Photo de are

Inscrit le : 09/03/2009

# Le 03/11/2010 à 20:58

Bool a dit :
Effectivement le kernel drop me semble énorme o_O une idée à ce niveau?


*) bah... ton script là haut, qui place des "DROP" à tout va ?


J'ai flusher iptables, ça drop toujours

*) une conf firewall spécifique ?


RAS

*) mauvaise IP, le trafic n'est pas pour toi => le kernel drop


J'en doute, il n'y a qu'un site sur ce serveur, et une erreur d'OVH m'étonne un peu?

*) saturation du conntrack ou autre => le kernel drop


wc -l /proc/net/ip_conntrack est à 41496

sysctl net.ipv4.netfilter.ip_conntrack_max retourne net.ipv4.netfilter.ip_conntrack_max = 160384




"watch -d iptables -L -n -v" montre de l'activité coté firewall ?

Nop rien


T'as regardé dans les logs si le kernel se plaint de quoi que ce soit ?


Dans /var/log/messages j'ai ça qui revient souvent:
Nov 1 14:42:00 barney kernel: possible SYN flooding on port 80. Sending cookies.

dans /var/log/debug, beaucoup de choses comme celle ci:
Nov 3 17:10:21 barney kernel: TCP: Peer 62.35.224.43:58310/80 unexpectedly shrunk window 2167317913:2167320753 (repaired)

(Message édité le 03-11-2010 à 21h04 par are)

Bool | Olivier
Modérateur

Photo de Bool

Inscrit le : 09/05/2005

# Le 03/11/2010 à 21:05

et une erreur d'OVH m'étonne un peu?

Bah c'est déjà arrivé plusieurs fois sur la ML, et moi ça m'est arrivé au moins une fois également, de recevoir le trafic d'autres clients...

"possible SYN flood" => essaye cette conf http://www.varnish-cache.org/trac/wiki/Performance...Ouvrir dans une nouvelle fenetre
Après pour ce qui est du backlog, je ne sais pas comment Lighty gère ça... ni Apache d'ailleurs.

daevel : infogérance et conseilOuvrir dans une nouvelle fenetre || moiOuvrir dans une nouvelle fenetre

are | Aurélien
Membre

Photo de are

Inscrit le : 09/03/2009

# Le 03/11/2010 à 21:16

Visiblement pour augmenterle backlog de lighttpd il faut le recompiler.. rofl!

Sinon, j'ai souvent ceci qui revient dans tcpdump:

21:12:47.347463 IP 90.163.31.157.50985 > prd01.amateur.tv.1935: . ack 3208170361 win 16698
21:12:47.347922 IP 188.49.108.123.1129 > ns60952.ovh.net.www: . ack 1958731120 win 16800 <nop,nop,sack 1 {1401:4201}>

Or on as aucun site de ce nom.. Donc il se pourrai bien effectivement que ton hypothese soit correcte, OVH nous balance du trafic qui ne nous est pas destiné sur notre carte réseau, le kernel le drop, et ça explique certainement le trafic entrant super important?

PepsiCola | Jean-Jacques
En attente

 

Inscrit le : 09/05/2005

# Le 03/11/2010 à 22:00

are a dit :
Sinon, j'ai souvent ceci qui revient dans tcpdump:

21:12:47.347463 IP 90.163.31.157.50985 > prd01.amateur.tv.1935: . ack 3208170361 win 16698
21:12:47.347922 IP 188.49.108.123.1129 > ns60952.ovh.net.www: . ack 1958731120 win 16800 <nop,nop,sack 1 {1401:4201}>

Or on as aucun site de ce nom.. Donc il se pourrai bien effectivement que ton hypothese soit correcte, OVH nous balance du trafic qui ne nous est pas destiné sur notre carte réseau, le kernel le drop, et ça explique certainement le trafic entrant super important?


Ca serait pas quelqu'un qui utilise ton serveur pour y mettre des choses ( genre porno ? )

En plus il semble que les pics soient plutot la nuit.

amateur.tv qui revient fréquemment dans tes logs est un site porno apparemment, et qui depuis 1 mois a une forte poussée de traffic

http://www.refertus.info/amateur.tv.phtmlOuvrir dans une nouvelle fenetre

Mais je dis ça a tout hasard, c'est peut être une connerie

abonné au gaz

caaptusss | Jérémy
Membre

Photo de caaptusss

Inscrit le : 25/09/2007

# Le 04/11/2010 à 10:43

Pour info, on s'est tapé un flood UDP sur le réseau vendredi aprem, ça a pointé sur 2.8 Gb/s au plus haut du pic.
On a été obligé de null router l'IP pour pas impacter les autres clients dans les baies alentours chez SD-France.

C'est à la mode ces temps ci de faire du flood UDP il parait...

FirstHeberg.comOuvrir dans une nouvelle fenetre

are | Aurélien
Membre

Photo de are

Inscrit le : 09/03/2009

# Le 04/11/2010 à 13:37

Mh, beh étrangement depuis ce matin 10h28, le trafic entrant est redevenu normal.. o_O

J'ai envoyé un e-mail à OVH vers 10h20 pour signaler p-ê un éventuel problème de routage.

cerise | Gaël
Modérateur

Photo de cerise

Inscrit le : 31/10/2008

# Le 04/11/2010 à 14:54

marrant, moi ça fait exactement 2 jours qu'entre exactement 21 heures et 23 heures, alors que la charge serveur est tout à fait normale, que les logs ne montrent visiblement rien d'anormal, j'ai un temps de latence important de connexion entre le serveur apache et le serveur Mysql (jusqu'à 5 secondes...)

Répondre

Vous ne pouvez pas participer au forum, car votre inscription n'a pas été validée. Pour vous faire valider en tant que Membre, cliquez ici.

© MHN - Tous droits réservés | CNIL N°844440 | 23/11/2024 20:14:23 | Généré en 11.59ms | Contacts | Mentions légales |