Apache zu 100 % augelastet, Websites unerreichbar

[Falcon37]

Habe seit vorgestern 1:58 folgendes Problem:
Apache lastet zu 100 % aus. Warum weiß ich leider nicht, denke aber das es kein DoS ist.
top zeigt das:

top - 17:34:07 up 1 day, 22 min, 1 user, load average: 1.02, 75.21, 361.35
Tasks: 1139 total, 1 running, 1104 sleeping, 0 stopped, 34 zombie
Cpu(s): 2.8%us, 47.7%sy, 0.0%ni, 49.2%id, 0.0%wa, 0.2%hi, 0.2%si, 0.0%st
Mem: 8278800k total, 3414428k used, 4864372k free, 3328k buffers
Swap: 4200988k total, 4188172k used, 12816k free, 51384k cached

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
3292 www-data 20 0 21568 1220 320 S 100 0.0 24:13.89 apache2
9810 root 20 0 3052 1784 880 R 1 0.0 0:02.56 top
1 root 20 0 2096 80 52 S 0 0.0 1:59.99 init
2 root 15 -5 0 0 0 S 0 0.0 0:00.00 kthreadd
3 root RT -5 0 0 0 S 0 0.0 0:00.23 migration/0
4 root 15 -5 0 0 0 S 0 0.0 0:03.27 ksoftirqd/0
5 root RT -5 0 0 0 S 0 0.0 0:00.62 migration/1
6 root 15 -5 0 0 0 S 0 0.0 0:03.83 ksoftirqd/1
7 root 15 -5 0 0 0 S 0 0.0 0:00.02 events/0
8 root 15 -5 0 0 0 S 0 0.0 0:00.09 events/1
9 root 15 -5 0 0 0 S 0 0.0 0:00.01 khelper
13 root RT -5 0 0 0 S 0 0.0 0:00.00 kstop/0
14 root RT -5 0 0 0 S 0 0.0 0:00.00 kstop/1
118 root 15 -5 0 0 0 S 0 0.0 0:00.06 kblockd/0
119 root 15 -5 0 0 0 S 0 0.0 0:01.24 kblockd/1
120 root 15 -5 0 0 0 S 0 0.0 0:00.00 kacpid
121 root 15 -5 0 0 0 S 0 0.0 0:00.00 kacpi_notify
192 root 15 -5 0 0 0 S 0 0.0 0:00.00 ata/0
193 root 15 -5 0 0 0 S 0 0.0 0:00.00 ata/1
194 root 15 -5 0 0 0 S 0 0.0 0:00.00 ata_aux
196 root 15 -5 0 0 0 S 0 0.0 0:00.00 kseriod
257 root 15 -5 0 0 0 S 0 0.0 58:42.56 kswapd0
258 root 15 -5 0 0 0 S 0 0.0 0:00.00 aio/0
259 root 15 -5 0 0 0 S 0 0.0 0:00.00 aio/1
260 root 15 -5 0 0 0 S 0 0.0 0:00.00 nfsiod
262 root 15 -5 0 0 0 S 0 0.0 0:00.00 xfs_mru_cache
263 root 15 -5 0 0 0 S 0 0.0 0:00.00 xfslogd/0
264 root 15 -5 0 0 0 S 0 0.0 0:00.00 xfslogd/1
265 root 15 -5 0 0 0 S 0 0.0 0:00.00 xfsdatad/0
266 root 15 -5 0 0 0 S 0 0.0 0:00.00 xfsdatad/1
288 root 15 -5 0 0 0 S 0 0.0 0:00.00 cryptd
920 root 15 -5 0 0 0 S 0 0.0 0:00.00 bond0
940 root 15 -5 0 0 0 S 0 0.0 0:00.00 scsi_tgtd/0
941 root 15 -5 0 0 0 S 0 0.0 0:00.00 scsi_tgtd/1
946 root 15 -5 0 0 0 S 0 0.0 0:00.00 scsi_eh_0
948 root 15 -5 0 0 0 S 0 0.0 0:00.00 scsi_eh_1
950 root 15 -5 0 0 0 S 0 0.0 0:00.00 scsi_eh_2
952 root 15 -5 0 0 0 S 0 0.0 0:00.00 scsi_eh_3
954 root 15 -5 0 0 0 S 0 0.0 0:00.00 scsi_eh_4
956 root 15 -5 0 0 0 S 0 0.0 0:00.00 scsi_eh_5

Weiß jemand was los sein könnte? Welche Logs sind in so einem fall relevant?
thx

 

[Till]

Check mal Dein System mit rkhunter. Außerdem mal mit einem portscanner von außen checek, ob da noch irgend was anderes auf dem Server läuft. Es kann sein dass jemand eine der sites gehackt hat da jetzt ein irc server oder so drauf läuft.

 

[planet_fox]

hi falcon gib mal bitte ne rückmeldung ob du was gefunden hast

 

[Falcon37]

Sorry hatte den Server erstmal abgeschaltet und das automatische hochfahren hat nicht ganz geklappt, deswegen kann ich jetzt erst mit rkhunter untersuchen und Ports scannen.

Ich editiere diesen Post wenn ich Ergebnisse habe.

 

[Falcon37]

Hier das Ergebnis von rkhunter:

System checks summary
=====================

File properties checks...
    Required commands check failed
    Files checked: 124
    Suspect files: 6

Rootkit checks...
    Rootkits checked : 110
    Possible rootkits: 0

Applications checks...
    Applications checked: 4
    Suspect applications: 0

The system checks took: 1 minute and 23 seconds

All results have been written to the logfile (/var/log/rkhunter.log)

One or more warnings have been found while checking the system.
Please check the log file (/var/log/rkhunter.log)

Das komplette Ergebnis kann man im Anhang laden (war zu groß für einen Post).

Portscan hat ergeben das alle offen sind so wie ich ins ISPConfig 3 eingestellt habe, bis auf 1863 (msnp) und 5190 (aol) -die sind offen?!

Zum Traffic kann ich nicht viel sagen, ISPConfig 3 hat ja leider noch keine Statistik und mein Bruder behauptet 2 GB pro Tag (das war aber schon immer so).

Übrigens ist es jetzt noch merkwürdiger geworden, TOP zeigt jetzt eine Last von durchschnittlich 15 % also normal und keine Zoombie-Prozesse mehr, trotzdem alles extrem langsam und ob die Last 100 % wäre.... Mein Provider hat mir versichert das es keine Netzwerkprobleme gibt.

 

[Till]

ISPConfig 3 hat ja leider noch keine Statistik

Das würdest Du darüber auch wahrscheinlich nicht sehen können, wenn der Server gehackt wäre. Da sich hacker nicht daran halten und Ihren Traffic brav im apache log loggen

Checke mal mit netstat -tap was da so auf diesen beiden Ports läuft.

 

[Falcon37]

netstat -tap zeigt zumindestens momentan an, das nichts auf den Ports läuft.

 

[planet_fox]

Ist die auslastung immer ncoh so hoch ?

 

[Falcon37]

Ja ist immer noch so hoch

 

[Hoster]

hast Du jetzt gefunden woran es lag ?

 

[Falcon37]

Ja war doch ein Angriff, Traffic war auch ziemlich hoch wie ich später erfahren habe, mein Anbieter hatte aber falsche Traffic-Stats angezeigt. Problem hält aber noch an, muss mir war wirksames einfallen lassen......