Забивается оперативная память

[Spoun]

Мужики у меня какая то проблема на сервере с забивкой оперативной памяти, сервер на аренке, уже 2 год работает нормально, неделю назад заметил краш сервера с ~out of memory. Да да утечка памяти. ОК. Отключил все плагины, мм, см. Собрался было по 1 подключать все дела, как заметил, что он упал и без СМ ММ и плагинов. Неделю ковыряюсь, в итоге заметил такую грязь.

Начало:
Сервер пустой 0 из 24
Потребление оперативки 350-400 мб (график мунин с Арены + Стата по используемым ресурсам)

Это скрин на данный момент, люди уже ушли а оперативка забита.

Это скрин с мунина за сегодня видны провалы - это краши.

Зашло человек 15 - ОК
Потребление оперативки начало подниматься, при чем как то по своему, по 5-50 мб начинает сжирать за полчаса-час. В итоге 800-900 мб

Зашло 24/24 - ОК играются
Потребление оперативы (спустя час-два) 1350-1500 мб

Наступает ночь, онлайн падает, в 2-3 часа ночи онлайн 0-1-2 человека.
Потребление оперативной памяти должно быть снова стремиться к 350-400 мб НО НЕТ ЖЕ она так и осталась висеть на 1500-1700.

Если сервер не перезапустить (не убить процесс) то на утро при появлении игроков оперативка продолжит забиваться но не сбрасываться - краш - запуск - снова 300-400 мб и все заново.

Ребят подскажите что случилось, как нормализовать процесс? Перезапуск раз в сутки (по умолчанию у меня в 6:00 каждый день) но память может и за 10 часов забиться и до 6 утра сервер не проработает и крашнется.
На сервере год уже ничего не меняется есть бекап сервера годовой давности, пробовал уже восстанавливаться. Не помогло. Мб сервер переустановить и залить бекап?

Вообще хрень не понятная, если есть у кого время, помогите решить проблему.

 

[panikajo]

Мужики у меня какая то проблема на сервере с забивкой оперативной памяти, сервер на аренке, уже 2 год работает нормально, неделю назад заметил краш сервера с ~out of memory. Да да утечка памяти. ОК. Отключил все плагины, мм, см. Собрался было по 1 подключать все дела, как заметил, что он упал и без СМ ММ и плагинов. Неделю ковыряюсь, в итоге заметил такую грязь.

Начало:
Сервер пустой 0 из 24
Потребление оперативки 350-400 мб (график мунин с Арены + Стата по используемым ресурсам)

Зашло человек 15 - ОК
Потребление оперативки начало подниматься, при чем как то по своему, по 5-50 мб начинает сжирать за полчаса-час. В итоге 800-900 мб

Зашло 24/24 - ОК играются
Потребление оперативы (спустя час-два) 1350-1500 мб

Наступает ночь, онлайн падает, в 2-3 часа ночи онлайн 0-1-2 человека.
Потребление оперативной памяти должно быть снова стремиться к 350-400 мб НО НЕТ ЖЕ она так и осталась висеть на 1500-1700.

Если сервер не перезапустить (не убить процесс) то на утро при появлении игроков оперативка продолжит забиваться но не сбрасываться - краш - запуск - снова 300-400 мб и все заново.

Ребят подскажите что случилось, как нормализовать процесс? Перезапуск раз в сутки (по умолчанию у меня в 6:00 каждый день) но память может и за 10 часов забиться и до 6 утра сервер не проработает и крашнется.
На сервере год уже ничего не меняется есть бекап сервера годовой давности, пробовал уже восстанавливаться. Не помогло. Мб сервер переустановить и залить бекап?

Вообще хрень не понятная, если есть у кого время, помогите решить проблему.

Странно у меня тоже такое было. Я тогда вроде переустановил сервер с нуля и врубил ребут сервера каждый день в 5 утра.

 

[Spoun]

Странно у меня тоже такое было. Я тогда вроде переустановил сервер с нуля и врубил ребут сервера каждый день в 5 утра.

Да, вот у меня стоит рестарт в 6 утра но серв как правило может крашнуться и в 18:00 и в 22:00 в зависимости как онлайн на сервере держался, тупо бред... тп мне про какие то GO TV лепит :D я ей вообще не пользовался никогда с тех пор как серв открыл, повторы эти мне не нужны ))

Это кстати началось после последнего обновления как я подозреваю, недельной давности, видел похожие темы в гугле, но особо помощи там нет и решения как всегда аля ответы в майле :D

 

[panikajo]

Да, вот у меня стоит рестарт в 6 утра но серв как правило может крашнуться и в 18:00 и в 22:00 в зависимости как онлайн на сервере держался, тупо бред... тп мне про какие то GO TV лепит :D я ей вообще не пользовался никогда с тех пор как серв открыл, повторы эти мне не нужны ))

Это кстати началось после последнего обновления как я подозреваю, недельной давности, видел похожие темы в гугле, но особо помощи там нет и решения как всегда аля ответы в майле :D

Так не обязательно повторы чтобы были. Но готв ты врубил вариант что поможет высок.

 

[Spoun]

Да, готв я включил, жалко слот под неё вешать, мне просто не понятно год сервер работал без готв проблем не было, а тут началось ну я включу её конечно тестировать то нужно

Включил GOTV, сервер перезапустил.

Ну на всякий вот скрин того что после РР оперативка в норме.

1 из 24 - это GOTV, можно бы было что бы она на сервер не коннектилась и не занимала слот вот было бы норм

Сообщения автоматически склеены: 9 Сен 2019

Вот видно уже сразу изменения:
Зашёл 1 человек побегал и вышел спустя 2-3 минуты, наблюдал как растёт потребление оперативной памяти раз в 2 секунды по 3 мб увеличивалось. Человек вышел как оно было так и осталось но уже на 400+ мб...

GOTV включено, в конфиге gotv включено

 

[Spoun]

Ап, есть у кого какие мысли по проблеме?

 

[Kruzya]

Плагинлист? Что по дампу хендлов в момент особо прожорливых моментов? sm_dump_handles

 

[Grey83]

что, всё-таки не мой плагин причиной был?

 

[Spoun]

Плаг лист

Спойлер: Плагины

[SM] Listing 61 plugins:
01 "Sound Commands" (1.9.0.6277) by AlliedModders LLC
02 "PanoramaMapCrashFix-v1.4.0.smx" (1) by Kashinoda
03 "Simple Chat Processor (Redux)" (1.1.5) by Simple Plugins, Mini
04 "Knife choice INTERFASE MONUL - Выбор ножа МОДУЛЬ ИНТЕРФЕЙСА" (1.1) by Phoenix - Феникс
05 "Реклама" (1.4) by Pheonix (‰7Феникс7‰)
06 "Basic Commands" (1.9.0.6277) by AlliedModders LLC
07 "Knife ghost error fix" (1.0.0) by Phoenix (‰7Феникс7‰)
08 "Nextmap" (1.9.0.6276) by AlliedModders LLC
09 "Rotate server graphic banners" (0.3) by HiTmAnY
10 "Auto Name Changer" (1.1.0.9) by Exle
11 "Player Commands" (1.9.0.6277) by AlliedModders LLC
12 "Gloves" (1.6) by Phoenix (‰7Феникс7‰)
13 "Basic Chat" (1.9.0.6277) by AlliedModders LLC
14 "Extended Player Death Info" (1.0.0) by Phoenix (‰7Феникс7‰), Icons created Bastaz
15 "Knife choice CORE - Выбор ножа ЯДРО" (2.8) by Phoenix - Феникс
16 "Material Admin" (0.7.7) by Material Admin Dev Team
17 "High Ping Kicker" (2.9) by Liam
18 "[LR] Module - Overlays" (v2.5.1) by RoadSide Romeo
19 "[LR] Module - VIP for TOP" (2.0) by Designed (Discord: .Designed#7985)
20 "[LR] Module - FakeRank" (v2.4.3) by RoadSide Romeo
21 "Ограничение оружия" (1.2.0) by Phoenix (‰7Феникс7‰)
22 "Basic Votes" (1.9.0.6277) by AlliedModders LLC
23 "Quake Sounds v3" (3.5.0) by Spartan_C001
24 "AFK Manager" (4.3.0) by Rothgar
25 "[ Menu Creator ]" (3.0.0.2) by AlexTheRegent
26 "Remove Messages [CS:GO]" (2.5) by Fox1qqq
27 "Basic Comm Control" (0.7.7) by AlliedModders LLC
28 "Reserved Slots" (1.9.0.6277) by AlliedModders LLC
29 "[LR] Core" (сервера) by RoadSide Romeo
30 "[VIP] CHAT (+scp)" (3.1.1) by R1KO
31 "[VIP] Core" (3.0 R) by R1KO
32 "[VIP] Defuser" (1) by Spoun
33 "[VIP] Bhop" (1.0.1) by KOROVKA
34 "[VIP] Base Functions" (1.2) by R1KO (skype: vova.andrienko1)
35 "[VIP] Throwing Knives" (1.0.5) by R1KO (original by meng, Bacardi)
36 "[VIP] Endurance" (1.0.0) by R1KO (skype: vova.andrienko1)
37 "[VIP] Damage Change" (1.2) by R1KO
38 "[VIP] Show Damage" (1.0.0) by R1KO
39 "[VIP] Kill Screen" (1.0.2) by R1KO (skype: vova.andrienko1)
40 "[VIP] Fast Switch" (1.0) by Someone & KGB1st
41 "[VIP] Spawn Effects" (1.2) by Mr.ToNik
42 "[VIP] GrenadeTrails" (1.0.2) by R1KO
43 "[VIP] Admin" (1.0.0) by R1KO
44 "[VIP] Иммунитет от ограничения оружия" (1.0.0) by Phoenix (‰7Феникс7‰)
45 "[VIP] Regen HP" (1.1) by R1KO
46 "[VIP] Anti Flash" (1.0.0) by R1KO
47 "Basic Info Triggers" (1.9.0.6277) by AlliedModders LLC
48 "Admin File Reader" (1.9.0.6277) by AlliedModders LLC
49 "Weapon Skin" (2.3.9 PRIVATE) by Phoenix (‰7Феникс7‰)
50 "Mapchooser Extended Sounds" (1.10.2) by Powerlord
51 "MapChooser Extended" (1.10.2) by Powerlord, Zuko, and AlliedModders LLC
52 "Client Preferences" (1.9.0.6277) by AlliedModders LLC
53 "Advanced c4 Countdown Timer" (1.4.1) by dalto
54 "Anti-Flood" (1.9.0.6277) by AlliedModders LLC
55 "Admin Menu" (1.9.0.6277) by AlliedModders LLC
56 "ResetScore Lite" (1.2) by AlmazON

C Плагина Accelerator при краше с ошибкой Out Of Memory

Спойлер: Лог

Stack Trace
Function
0 libtier0.so!Plat_ExitProcess + 0x1b
1 libtier0.so + 0x14438
2 libtier0.so + 0x1460b
3 engine.so + 0x3230eb
4 engine.so + 0x323286
5 engine.so + 0x3232a7
6 engine.so + 0x1cbea6
7 server.so + 0x779503
8 server.so + 0x7798f2
9 server.so + 0x64cbac
10 engine.so + 0x1c1dd3
11 engine.so + 0x1c33cf
12 engine.so + 0x1ac43c
13 engine.so + 0x1ac8b1
14 engine.so + 0x1ac9e0
15 engine.so + 0x26257e
16 engine.so + 0x26321c
17 engine.so + 0x263988
18 engine.so + 0x26cd64
19 engine.so + 0x26d036
20 engine.so + 0x26d149
21 engine.so + 0x2db33a
22 engine.so + 0x2d8226
23 dedicated.so + 0x2057d
24 dedicated.so + 0x20608
25 engine.so + 0x2d831d
26 engine.so + 0x410080
27 engine.so + 0x2d9515
28 dedicated.so + 0x206e4
29 dedicated.so + 0x81590
30 dedicated.so + 0x81590
31 dedicated.so + 0x19c43
32 srcds_linux!main + 0xf9
33 libc-2.17.so + 0x19a43
34 engine.so + 0x6adcb0
35 ld-2.17.so!_dl_runtime_resolve + 0x10
36 srcds_linux + 0x8bd
37 srcds_linux + 0x600
38 srcds_linux + 0x92c
39 0xbfa2b97b
40 0x5f736463

Ещё 1 не понятное падение, но не из за забивания памяти:
Stack Trace
Function
0 linux-gate.so!__kernel_vsyscall + 0x20
1 libc-2.17.so!__GI_raise + 0x47
2 libc-2.17.so!__GI_abort + 0x143
3 libtier0.so + 0x1516b
4 linux-gate.so + 0x500
5 dbi.mysql.ext.so!vio_read_buff [viosocket.c:93 + 0x17]
6 dbi.mysql.ext.so!my_real_read [net.c:816 + 0x16]
7 dbi.mysql.ext.so!my_net_read [net.c:1011 + 0xb]
8 dbi.mysql.ext.so!cli_safe_read [client.c:693 + 0x8]
9 dbi.mysql.ext.so!cli_read_query_result [client.c:2827 + 0x8]
10 dbi.mysql.ext.so!mysql_real_query [client.c:2931 + 0xb]
11 dbi.mysql.ext.so!MyDatabase::DoQuery [MyDatabase.cpp:188 + 0x10]
12 0x94dbefed
13 0xa0a8a5de
14 0xacb2006f
15 sourcepawn.jit.x86.so!operator delete[](void*) + 0x80c
16 sourcepawn.jit.x86.so!_fini + 0x760
17 sourcepawn.jit.x86.so!operator delete[](void*) + 0x1b3e9
18 sourcepawn.jit.x86.so!operator delete[](void*) + 0x2ff8
19 sourcepawn.jit.x86.so!operator delete[](void*) + 0x2ca2
20 sourcepawn.jit.x86.so!_fini + 0x734
21 0x10f79a90
22 sourcemod.2.csgo.so!PlayerManager::RunAuthChecks [PlayerManager.cpp:439 + 0x1b]
23 sourcemod.2.csgo.so!RunFrameHooks [frame_hooks.cpp:119 + 0x12]
24 sourcemod.2.csgo.so!TimerSystem::GameFrame [TimerSys.cpp:237 + 0xb]
25 libc-2.17.so!__GI___gettimeofday + 0x16
26 libtier0.so!Plat_FloatTime + 0x4b
27 sourcemod.2.csgo.so!__SourceHook_FHCls_IServerGameDLLGameFramefalse::CMyDelegateImpl::Call [FastDelegate.h:994 + 0xc]
28 sourcemod.2.csgo.so!__SourceHook_FHCls_IServerGameDLLGameFramefalse::Func [sourcemod.cpp:54 + 0x18]
29 libc-2.17.so!__GI___gettimeofday + 0x16
30 libtier0.so!Plat_FloatTime + 0x4b

Спойлер: Скрин с Throttle

что, всё-таки не мой плагин причиной был?

Я думаю, что нет он отключен и без него забивается память, точно не из за него, как я по первости думал, т.к год ничего не менял на сервер кроме установки твоего плага)

 

[mika]

Что по дампу хендлов в момент особо прожорливых моментов? sm_dump_handles

@Spoun

 

[Grey83]

Я думаю, что нет он отключен и без него забивается память, точно не из за него

в таком случае можешь тот коммент удалить или поправить

 

[R1KO]

Поделай каждый час sm_dump_handles в разные файл.
Раз 10
Потом сравни файлы. Посмотри в каких плагинах цифры слишком быстро растут и где они значительно больше остальных.

 

[Spoun]

Понял ну ща буду дамп сделаю задание в консоли выполнять команду sm_dump_handles от 1 до 10, но каждые пол часа, как раз пик онлайна будет 24/24 и чекну, все 10 файлов залью в архив и сюда, ну и сам графики построю в минитаб, посмотрю в чем проблема

 

[andrey19992]

а какой тариф? есть доступ к ОС?

 

[Spoun]

тариф PRO, только корень сервера

Пока вот 3 дампа есть 30 мин период
Вот есть несколько всплесков

0x0388033b CORE IMenuStyle 168664
0x041103b7 advancedc4timer.smx KeyValues 1454320
0x041a03be adminmenu.smx ITopMenu 21248

Остальные не более 5000

 

[Kruzya]

Дэк это размер в БАЙТАХ. Это - не всплески.
И смотреть надо на кол-во однотипных хендлов от одних и тех же плагинов, а не размер.

 

[Spoun]

Такс, я тут насобирал несколько дампов 10 дампов с периодом в 30 минут
Не знаю правда на что в них обратить внимание, вроде все одинаковые


Вот что получилось:

 

[Spoun]

Вернувшись к проблеме утечки оперативной памяти, в общем создал задание на выполнение команды создания дампов каждый час, начиная после перезапуска сервера в 6:00 и до его падения

На данный момент имею 7 дампов в архиве, кто разбирается, посмотрите откуда идёт утечка?

 

[RusJJ]

@Spoun, да вроде для плагинов всё в порядке.
Да и плагины при чём? Ведь без MM/SM тоже такое происходило (первый пост).

 

[Kruzya]

Только сейчас заметил, что хост Арена.
Про тариф небось? Мы как-то с их ТП боролись, тоже сервак падал. Тоже с недостатком памяти. Хотя фактически сервер даже и полтора гига тогда не сжирал, когда падал.

Напишите им в ТП, обрисуйте ситуацию. Пускай думают. Оффтоп

Я так и сделал, когда столкнулся. Месяц езды по мозгам, и проблему таки исправили