Падает сервер ()

Started by serstor, September 27, 2010, 08:18:20 AM

Previous topic - Next topic

serstor

Сервер падает  и  выдает в логе: Thread "Item Poller" does not respond to watchdog thread, Thread "Poll Manager" does not respond to watchdog thread, Thread "Syncer Thread" does not respond to watchdog thread. Схожая проблема была в топике https://www.netxms.org/forum/general-support/server-crash-319/. Сервер крутится на FreeBSD 8.0, используется база MySql, версия netxms 1.04. Проблема возникала и на предыдущих версиях, но намного реже. Привожу вывод следующих команд и дамп тредов в аттаче:
NetXMS Server Remote Console V1.0.4 Ready
Enter "help" for command list

netxmsd: show mutex
Mutex status:
 g_hMutexIdIndex: locked for reading
 g_hMutexNodeIndex: locked for reading
 g_hMutexSubnetIndex: unlocked
 g_hMutexInterfaceIndex: unlocked

netxmsd: show pollers
PT  TIME                   STATE
S   25/Sep/2010 21:47:55   wait
S   25/Sep/2010 21:47:25   wait
S   25/Sep/2010 21:46:20   wait
S   25/Sep/2010 21:47:30   wait
S   25/Sep/2010 21:47:15   wait
S   25/Sep/2010 21:47:40   wait
S   25/Sep/2010 21:45:50   wait
S   25/Sep/2010 21:46:55   wait
S   25/Sep/2010 21:46:50   wait
S   25/Sep/2010 21:45:50   wait
S   25/Sep/2010 21:46:35   wait
S   25/Sep/2010 21:47:40   wait
S   25/Sep/2010 21:47:05   wait
S   25/Sep/2010 21:46:20   wait
S   25/Sep/2010 21:45:50   wait
S   25/Sep/2010 21:46:30   wait
S   25/Sep/2010 21:47:30   wait
S   25/Sep/2010 21:45:50   wait
S   25/Sep/2010 21:46:25   wait
S   25/Sep/2010 21:47:50   wait
S   25/Sep/2010 21:46:45   wait
S   25/Sep/2010 21:47:25   wait
S   25/Sep/2010 21:46:00   wait
S   25/Sep/2010 21:47:40   wait
S   25/Sep/2010 21:46:10   wait
S   25/Sep/2010 21:46:20   wait
S   25/Sep/2010 21:46:25   wait
S   25/Sep/2010 21:46:10   wait
S   25/Sep/2010 21:45:45   wait
S   25/Sep/2010 21:47:26   wait
S   25/Sep/2010 21:47:05   wait
S   25/Sep/2010 21:46:35   wait
S   25/Sep/2010 21:45:55   wait
S   25/Sep/2010 21:47:55   wait
S   25/Sep/2010 21:46:50   wait
S   25/Sep/2010 21:46:25   wait
S   25/Sep/2010 21:46:45   wait
S   25/Sep/2010 21:46:00   wait
S   25/Sep/2010 21:46:55   wait
S   25/Sep/2010 21:45:45   wait
S   25/Sep/2010 21:46:35   wait
S   25/Sep/2010 21:45:45   wait
S   25/Sep/2010 21:46:55   wait
S   25/Sep/2010 21:47:40   wait
S   25/Sep/2010 21:46:50   wait
S   25/Sep/2010 21:46:20   wait
S   25/Sep/2010 21:46:20   wait
S   25/Sep/2010 21:47:15   wait
S   25/Sep/2010 21:45:40   wait
S   25/Sep/2010 21:47:25   wait
S   25/Sep/2010 21:46:55   wait
S   25/Sep/2010 21:47:55   wait
S   25/Sep/2010 21:47:00   wait
S   25/Sep/2010 21:47:30   wait
S   25/Sep/2010 21:47:50   wait
S   25/Sep/2010 21:46:40   wait
S   25/Sep/2010 21:46:35   wait
S   25/Sep/2010 21:47:25   wait
S   25/Sep/2010 21:47:45   wait
S   25/Sep/2010 21:47:35   wait
C   25/Sep/2010 21:40:09   wait
C   25/Sep/2010 21:42:51   wait
C   25/Sep/2010 21:39:59   wait
C   25/Sep/2010 21:40:02   wait
C   25/Sep/2010 21:46:42   wait
C   25/Sep/2010 21:40:29   wait
C   25/Sep/2010 21:40:45   wait
C   25/Sep/2010 21:47:35   wait
C   25/Sep/2010 21:40:19   wait
C   25/Sep/2010 21:40:30   wait
R   25/Sep/2010 21:47:20   wait
R   25/Sep/2010 21:47:20   wait
R   25/Sep/2010 21:47:30   wait
R   25/Sep/2010 21:47:35   wait
R   25/Sep/2010 21:47:25   wait
D   23/Sep/2010 09:31:01   wait
N   25/Sep/2010 21:44:45   wait
N   25/Sep/2010 21:43:40   wait
N   25/Sep/2010 21:44:45   wait
N   25/Sep/2010 21:45:50   wait
N   25/Sep/2010 21:46:55   wait
N   25/Sep/2010 21:46:55   wait
N   25/Sep/2010 21:46:55   wait
N   25/Sep/2010 21:38:15   wait
N   25/Sep/2010 21:43:40   wait
N   25/Sep/2010 21:40:25   wait
N   25/Sep/2010 21:35:00   wait
N   25/Sep/2010 21:31:45   wait
N   25/Sep/2010 21:42:35   wait
N   25/Sep/2010 21:39:20   wait
N   25/Sep/2010 21:44:45   wait
N   25/Sep/2010 21:45:50   wait
N   25/Sep/2010 21:45:50   wait
N   25/Sep/2010 21:41:30   wait
N   25/Sep/2010 21:15:34   wait
N   25/Sep/2010 21:42:35   wait
A   27/Sep/2010 07:29:45   wait

netxmsd: show queues
Condition poller                 : 0
Configuration poller             : 0
Data collector                   : 0
Database writer                  : 0
Event processor                  : 0
Network discovery poller         : 0
Node poller                      : 0
Routing table poller             : 0
Status poller                    : 0

netxmsd: show stats
Total number of objects:     489
Number of monitored nodes:   33
Number of collectable DCIs:  855

netxmsd: show watchdog
Thread                                           Interval Status
----------------------------------------------------------------------------
Item Poller                                      20       Not responding
Syncer Thread                                    130      Not responding
Poll Manager                                     60       Not responding


Victor Kirhenshtein

Pohoze na issue 305 iz bugtrackera, no ja esche poizuchaju dump. Esli prichina ta-ze, to v 1.0.5 eto ispravleno, segodnja ili zavtra ja sdelaju build.

serstor

#2
Спасибо, Виктор!
Есть ещё одна проблема, но уже  с графическим отображением, она отчасти описана в топике https://www.netxms.org/forum/installation/going-back-in-graph-for-a-week-or-more-gives-timeout/. В моем случае, когда пытаюсь отобразить данные за месяц параметра, который опрашивается раз минуту, то получаю request timeout.  Мониторинг системы, где установлен netxms, показал, что во время попытки отображения происходит 100% нагрузка на процессор процессом netxmsd, все остальное простаивает. Прямая выборка из Mysql базы происходит за 0,07 секунды. Подозреваю, что netxms слишком долго перемалывает все точки, которые надо отобразить, поэтому достигается timeout. Как я понимаю, для устранения этой проблемы, нужно наверное менять алгоритм визуализации данных. Будет ли решаться данная проблема в ближайших релизах?  

EngineerN

Да, у меня таже проблема (падает сервер)и с теми же сообщениями, только сервер на XP и база скюлайт (версия 1.04). Раньше были такие проблемы, но очень редко.

serstor

#4
Сервер опять упал. Файл с дампом прилагаю.

Victor Kirhenshtein

Poprobujte versiju 1.0.5 - tam sdelani izmenenija dlja predotvraschenija deadlock'a pri rabote s DCI, dolzno pomoch'.

serstor

Установил 1.05. Сервер поработал неделю и сегодня упал. Dump прилагаю.

Victor Kirhenshtein

Spasibo za dump, nashel esche odin deadlock. Budu dumat' kak ispravljat'...

serstor

Всегда пожалуйста. Буду ждать новых релизов, в которых этот баг исправится.

Victor Kirhenshtein

Выложил релиз 1.0.6, где этот баг должен быть исправлен (в теории). Протестируйте пожалуйста когда будет возможность.

serstor

Буду пробовать. Спасибо за оперативность!