Crash dump'ы под *nix

[CruncH]

Создаю тему из сохраненных ранее страниц, оригинальное название "Crash dump'ы под Linux".
Автор оригинальной темы mentat.
Содержание почти полностью переделано.
Выкладываю во вложениях 3 из 4 страницы(одной страницы нет т.к. там был просто флуд и никакой смысловой нагрузки он не нес).

Нам понадобится:

1. Отладчик gdb
2. *nix система
3. руки и мозг(опционально, но желательно все таки их наличие )

*Заметка: для удобной отладки нужно чтобы мангос был собран с опцией "--with-debug-info", иначе не будет достаточной информации о причине падения сервера. Также для избежание неприятных ситуаций рекомендуется иметь хороший запас места на жестком диске.

Установка gdb происходит также как и любой другое программное обеспечение в системе, а именно через системы: emerge - Gentoo, aptitude(apt-get, etc) - Deb системы(Debian, Ubuntu, etc), zypper или yum - rpm системы(Opensuse,Fedora)
*В openSuse для этого можно воспользоваться yast'том(YaST2 - universal configuration utility), как GUI версией, так и консольной на ncurses с псевдографикой

Заметка: Самый простой способ отловить падение сервера, это использовать отладчик gdb напрямую, то есть$gdb --command=/path/to/bt mangos-world (для более подробной информации man gdb)
При открытии интерактивного режима, ввести команду run, после нее должен произойти старт приложения указанного ранее, в нашем случае "mangos-world".
При падении отладочная информация выведется на экран и игровой мир "повиснет"

Сообщение от anemak

Рекомендую к прочтению

http://getmangos.com/community/showthread.php?4579-%5BHOWTO%5D-GDB-Debugging

И так начнем...
Для отладки Mangos под *nix нужно:

Linux:
1)Включаем генерацию дампов на текущую сессию

ulimit -c unlimited

и/или в файл /etc/security/limits.conf добавить

* hard core unlimited

*заметка: я бы так не советовал делать лишь по 1 причине, после этого на все сессии будет распространятся создание коре дапов при падениях приложений , и на харде будет постепенно собираться мусор. На мой взгляд гораздо правильней сделать 1 способом и использовать эту команду либо в скрипте запуска, либо напрямую в консоли.
2)
2.1) Прежде чем редактировать файл /etc/sysctl.conf нужно определить точные имена некоторых переменных
в консоли:

cat /proc/sys/fs/suid_dumpable

Ответ должен быть в виде 0 "нуля" и значить файл существует. если не существует такого файла то пробуем:

cat /proc/sys/kernel/suid_dumpable

Ответ должен быть таким же, как и ожидался ранее.
*заметка: В большинстве систем обычно первый файл присутствует
2.2) Создаем папку и ставим права доступа 777

mkdir -p /var/log/dumps
chmod -R 777 /var/log/dumps

2.3) Приступаем к редактированию файла /etc/sysctl.conf
Добавляем в конец файла строчки(!!!в место "[define]" вставляем то выделенное слово, из предыдущего действия, где файл имелся в наличии и возвращался какой либо результат!!!):

[define].suid_dumpable=2
kernel.core_pattern="/var/log/dumps/%e.%p.core"

Эти параметры будут действовать после перезагрузки системы, для мгновенного результата можно выполнить 2 команды

sysctl -w [define].suid_dumpable=2
sysctl -w kernel.core_pattern="/var/log/dumps/core.%e.%p"

*заметка: для того чтобы узнать более подробно о %e и %p смотрим man core

Теперь дампы будут ложиться в папку /var/log/dumps/

*BSD:
***под бсд системами это не проверялось, то есть это переделанный копипаст***
1)Должна быть включена опция в ядре:

makeoptions DEBUG=-g # Build kernel with gdb(1) debug symbols

2) в файле /etc/sysctl.conf добавляем следующие строки:

kern.coredump=1 
kern.corefile=/home/cores/%U.%N.core

Чтобы изменения применились сразу выполняем следующие команды:

sysctl -w kern.coredump=1 
sysctl -w kern.corefile=/home/cores/%U.%N.core

При этом - директория /home/cores/ должна существовать и на нее должны стоять соответствующие права для возможности записи туда файлов.

Работа с отладчиком GDB:
2) Создать файл(создать можно где душе угодно, лишь бы было бы удобно) bt с содержанием

bt full

*заметка: для более полной информации о командах отладчика нужно смотреть man gdb
смотрим коре дамп в отладчике

gdb /path/to/mangos-worldd -c /path/to/[имя файла дампа].core -n --command=/path/to/bt

для вывода данных в файл можно воспользоваться таким способом

gdb /path/to/mangos-worldd -c /path/to/[имя файла дампа].core -n --batch --command=/path/to/bt >> dump.log

*заметка: в зависимости от содержания файла bt будет зависеть вывод информации о дампе

Ресурсы с которых бралась информация:
1) _http://linux.die.net/man/5/core также можно это глянуть через man core
2) _http://www.randombugs.com/linux/core-dumps-linux.html
использовалась система OpenSuse11.2(2.6.31.5-0.1-default)

[CruncH]

Дописал все что требовалось, скрипты не выносил из тех страниц по той причине что их нужно делать универсальными, а не заточенными под конкретную систему.

Рекомендую к прочтению

http://getmangos.com/community/showthread.php?4579-%5BHOWTO%5D-GDB-Debugging

Сообщение от CruncH

Создаю тему из сохраненных ранее страниц, оригинальное название "Crash dump'ы под Linux".
Автор оригинальной темы mentat.
Содержание почти полностью переделанно.
Выкладываю во вложениях 3 из 4 страницы(одной страницы нет т.к. там был просто флуд и никакой смысловой нагрузки он не нес).

при включении опции

--with-debug-info

исполняемые файлы могут достигать намного больших размеров:

wowd# ll |grep mangos
-rwxr-xr-x  1 root  wheel        548 10 мар 19:33 mangos-1.sh
-rwxr-xr-x  1 root  wheel    3810393 10 мар 17:59 mangos-realmd-3.2.2-PSQL
-rwxr-xr-x  1 root  wheel  139651049 10 мар 18:00 mangos-worldd-3.2.2-PSQL

wowd# ll |grep ".so"
-rwxr-xr-x  1 root  wheel   11811664 10 мар 17:59 libACE-5.6.6.so
lrwxr-xr-x  1 root  wheel         15 10 мар 17:59 libACE.so -> libACE-5.6.6.so
lrwxr-xr-x  1 root  wheel         20 10 мар 18:00 libmangosscript.so -> libmangosscript.so.0
-rwxr-xr-x  1 root  wheel  260667433 10 мар 18:00 libmangosscript.so.0
-rwxr-xr-x  1 root  wheel     185540 10 мар 17:59 libtbb.so
-rwxr-xr-x  1 root  wheel      35115 10 мар 17:59 libtbbmalloc.so

когда все это падает в корку - на винте должно быть не менее ~500 Mb свободного места..учтите это, а то я систему колом поставил, когда неожиданно организовал пару "корок"
при сборке с опцией

--with-debug-info

есть еще один ньюанс - в процессе сборки необходимо иметь до 4Gb свободного места..именно до такого размера может вырасти папочка, в которой компилиться проект

[CruncH]

muraig, то что корки могут весить очень много(размер равен ~занимаемоей памяти в озу), я это знаю. Там не так место на диске нужно будет, как скорость записи этой корки на жесткий диск. Так как пока корка не сольется на жесткий, "авторестартер" не запустит новый процесс ядра.

Сообщение от CruncH

muraig, то что корки могут весить очень много(размер равен ~занимаемоей памяти в озу), я это знаю. Там не так место на диске нужно будет, как скорость записи этой корки на жесткий диск. Так как пока корка не сольется на жесткий, "авторестартер" не запустит новый процесс ядра.

этой информацией я еще не знал )

зато собрал портом

MaNGOS/0.16.0 (* * Revision 9592 - *) for FreeBSD_x64 (little-endian) [world-daemon]
 Loading ScriptDev2 (for MaNGOS 9444+).

сейчас причешу его и выложу для экспериментов

gmake[1]: Leaving directory `/usr/local/MaNGOS/Posrts/mangos/work/mangos-9592/objdir'
===>   Running ldconfig
/sbin/ldconfig -m /usr/local/lib
===>   Registering installation for mangos-9592

вот так вот выглядят последние строчки make install
двое суток сидел, разбирался с опциями вот так вроде получается:

data# cat Makefile
# New ports collection makefile for:    mangos
# Date created:         20 March 2010         
# Whom:                 Andrei Murashev <andrei@baikal-gamesl.ru>
#                                                             
# $FreeBSD: ports/games/mangos/Makefile,v 1.14 2009/08/02 19:33:54 mezz Exp $
#                                                                            


PORTNAME=       mangos
PORTVERSION=    9592  
CATEGORIES=     games 
MASTER_SITES=   CENKES http://mangos-port.by.ru/ \
                http://wowd.baikal-games.ru/mangos/ \
                http://belnetwork.org/mangos/        
DISTFILES=      ${PORTNAME}-${PORTVERSION}${EXTRACT_SUFX} ScriptDev2-${SCRIPTDEV2REV}${EXTRACT_SUFX}
DIST_SUBDIR=    mangos                                                                              

PATCH_DIST_STRIP=       -p1

MAINTAINER=     neon_cyrex@mail.ru
COMMENT=        Free dedicated-server for World of Warcraft

LIB_DEPENDS=    ssl.7:${PORTSDIR}/security/openssl
LIB_DEPENDS+=   ACE.5:${PORTSDIR}/../update/ace   

OPTIONS=        CLI             "Command Line Itrerface support" on \
                RA              "Remote Administration support" on \ 
                MAN             "Use --enable-maintainer-mode switch" on \
                ACE             "Install whith ACE builting" off          

USE_GMAKE=              yes
USE_OPENSSL=            yes

GNU_CONFIGURE=          yes
CONFIGURE_TARGET=--build=${MACHINE_ARCH}-portbld-freebsd${OSREL}

USE_AUTOTOOLS=          autoheader:262 aclocal:110 autoconf:262 automake:110 libtool:22 libtoolize
AUTOMAKE_ARGS=--add-missing                                                                       
AUTOMAKE_ARGS=-ac                                                                                 
AUTORECONF_ARGS=-if --verbose                                                                     
ACLOCAL_ARGS=-I m4                                                                                
AUTOCONF_ARGS=-f                                                                                  
USE_LDCONFIG=           yes                                                                       
LDCONFIG_DIRS=          ${PREFIX}/games/${PORTNAME}-${PORTVERSION}                                

GNU_CONFIGURE_PREFIX=/usr

WRKSRC=                 ${WRKDIR}/${PORTNAME}-${PORTVERSION}
BUILD_WRKSRC=           ${WRKSRC}/objdir                    
INSTALL_WRKSRC=         ${BUILD_WRKSRC}                     
PKGCONFIGDIR?=          ${PREFIX}/libdata/pkgconfig         

CONFIGURE_ENV+= CPPFLAGS="${CPPFLAGS}" LDFLAGS="${LDFLAGS}"
CPPFLAGS+=      -I${LOCALBASE}/include                     
LDFLAGS+=       -L${LOCALBASE}/lib                         

MAKE_JOBS_SAFE=-j4

SCRIPTDEV2REV=          1641
PLIST_SUB+=             SD2="@comment "
PLIST_SUB+=             PORTVERSION=${PORTVERSION}

USE_MYSQL=              yes
USE_DOS2UNIX=           yes
NOCLEANDEPENDS=         yes

CONFIGURE_ARGS+=INSTALL=/usr/bin/install \
    --exec-prefix=${PREFIX}/games/${PORTNAME}-${PORTVERSION} \
    --sharedstatedir=${PREFIX}/games/${PORTNAME}-${PORTVERSION}/com \
    --localstatedir=${PREFIX}/games/${PORTNAME}-${PORTVERSION}/var \ 
    --datarootdir=${PREFIX}/games/${PORTNAME}-${PORTVERSION}/share \ 
    --sysconfdir=${PREFIX}/games/${PORTNAME}-${PORTVERSION}/etc \    
    --datadir=${PREFIX}/games/${PORTNAME}-${PORTVERSION}/data \      
    --program-suffix=-3.3.2a-Eye --with-gnu-ld --with-python         

.include <bsd.port.pre.mk>

.ifdef WITH_CLI
CONFIGURE_ARGS+=--enable-cli
.endif                      
.ifdef WITH_RA              
CONFIGURE_ARGS+=--enable-ra 
.endif                      
.ifdef WITH_ACE             
CONFIGURE_ARGS+=--enable-builtin-ace=yes
.else                                   
CONFIGURE_ARGS+=--enable-builtin-ace=no 
.endif                                  
.ifdef WITH_MAN                         
CONFIGURE_ARGS+=--enable-maintainer-mode=yes
.else                                       
CONFIGURE_ARGS+=--enable-maintainer-mode=no 
.endif

post-extract:
        @${MV} ${WRKDIR}/${DISTNAME}/../ScriptDev2-${SCRIPTDEV2REV} \
        ${WRKDIR}/${DISTNAME}/src/bindings/ScriptDev2
        @${MKDIR} ${BUILD_WRKSRC}

post-patch:
        @cd ${WRKSRC}/ && git apply ${FILESDIR}/ScriptDev2.patch

run-autotools:
        @(cd ${CONFIGURE_WRKSRC} && ${SETENV} ${AUTOTOOLS_ENV} ${LIBTOOLIZE} \
                ${LIBTOOLIZE_ARGS})
        @(cd ${CONFIGURE_WRKSRC} && ${SETENV} ${AUTOTOOLS_ENV} ${ACLOCAL} \
                ${ACLOCAL_ARGS})
        @(cd ${CONFIGURE_WRKSRC} && ${SETENV} ${AUTOTOOLS_ENV} ${AUTOHEADER} \
                ${AUTOHEADER_ARGS})
        @(cd ${CONFIGURE_WRKSRC} && ${SETENV} ${AUTOTOOLS_ENV} ${AUTOMAKE} \
                ${AUTOMAKE_ARGS})
        @(cd ${CONFIGURE_WRKSRC} && ${SETENV} ${AUTOTOOLS_ENV} ${AUTOCONF} \
                ${AUTOCONF_ARGS})

do-configure:
        @(cd ${BUILD_WRKSRC} && \
                if ! ${SETENV} CC="${CC}" CXX="${CXX}" \
            CFLAGS="${CFLAGS}" CXXFLAGS="${CXXFLAGS}" \
            INSTALL="${INSTALL} -c ${_BINOWNGRP}" \
            INSTALL_DATA="${INSTALL_DATA}" \
            INSTALL_PROGRAM="${INSTALL_PROGRAM}" \
            INSTALL_SCRIPT="${INSTALL_SCRIPT}" \
            ${CONFIGURE_ENV} ../${CONFIGURE_SCRIPT} ${CONFIGURE_ARGS};  then \
                         ${ECHO_CMD} "===>  Script \"${CONFIGURE_SCRIPT}\" failed unexpectedly."; \
                         (${ECHO_CMD} ${CONFIGURE_FAIL_MESSAGE}) | ${FMT} 75 79 ; \
                         ${FALSE}; \
                fi)

.include <bsd.port.post.mk>

еще нужно сделать интерактивный выбор названия исполняемого файла(если серверов более двух - могут возникнуть проблемы с гашением процессов) и еще есть мулька - перевести на PostgreSQL базу

[selector]

Могу посоветовать отличную программку для авторестарта/отладки процесса сервера. Название - restartd
http://packages.ubuntu.com/ru/jaunty/restartd - для Убунту.
Для остальных систем можно поискать в гугле.

Скачиваем, устанавливаем, в файле конфига (/etc/restartd.conf) прописываем после объяснений нечто вида:

# Restartd configuration file

# Format:
#
# <process_name> <regexp> <action_if_not_running> <action_if_running>
#
# process_name: the name of the process which is just for logging
# as it does not affect for the regexp
#
# regexp: the POSIX regular expression for the command line of the
# process
#
# action_if_not_running: a script or program name to execute if the
# regexp does not match the full process command line
#
# action_if_running: a script or program name to execute if the regexp
# matches the full process command line

# Example:
#
# restartd ".*restartd" "/bin/echo 'It is not running!' >/tmp/restartd.out" "/bin/echo 'It is running!' >/tmp/restartd.out"

wotlk "mangos-wotlk" "ulimit -c unlimited; /opt/war/bin/mangos-worldd > /dev/null 2>&1 &" ""

wotlk "mangos-wotlk" - по желанию, как вы хотите назвать процесс

/opt/war/bin/mangos-worldd - путь куда вы установили сервер

Креш дампы будут складироваться в Корне "/" и будут иметь вид "core.xxxx"(где хххх - номер процесса когда мангос работал). Прочитать дамп вполне просто. В консоле вводим:
gdb /opt/war/bin/mangos-worldd -c /core.xxxx

далее bt либо bt full


Может быть это кому-то поможет.

Внимание для прочтения дампов вам потребуется пакет gdb который можно скачать командой apt-get install gdb(yum install gdb для Федоры).

-----------------------
Добавлено:

Запуск программы restartd можно осуществить выполнив команду ./usr/sbin/restartd (Для убунту) либо (./sbin/restartd для Федоры). Отключить программу просто - убить процесс с помощью kill id_процесса. Также возможно ее поставить как службу включив ее в /etc/init.d после этого старт/рестарт/остановка возможны командами service restartd start|restart|stop

[lina]

на счет первого поста (2.3) не понятно.

/proc/sys/fs/suid_dumpable.suid_dumpable=2
kernel.core_pattern="/var/log/dumps/%e.%p.core"

правильно ?
если да, то при перезагрузки sysctl лезут ошибки

[CruncH]

Сообщение от lina

на счет первого поста (2.3) не понятно.

/proc/sys/fs/suid_dumpable.suid_dumpable=2
kernel.core_pattern="/var/log/dumps/%e.%p.core"

правильно ?
если да, то при перезагрузки sysctl лезут ошибки

fs.suid_dumpable=2
Чуть внимательнее нада было...


PS: выделю тот пункт чуть лучше...

[lina]

Сообщение от CruncH

fs.suid_dumpable=2
Чуть внимательнее нада было...


PS: выделю тот пункт чуть лучше...

спасибо) читал пару раз не заметил что выделенное слово было )

Сообщение от CruncH

kern.corefile=/home/cores/%U.%N.core

Чтобы изменения применились сразу выполняем следующие команды:

sysctl -w kern.corefile=/home/cores/%U.%N.core

Лучше сделать

kern.corefile=/home/cores/%P.%N.core

иначе дамп перезаписывается.

[lina]

у меня вообще все кроме крашей сервера туда сбрасывается
например вылетел rar, кор файл создался показал bt
вылетел мангос, ничего не создаётся.
возможно это из за Скрина ?

[CruncH]

lina, нада смотреть скрипт который запускает mangos, и туда прописывать ulimit(я думаю в твоем случае screen запускает скрипт, который выполняет роль авторестартера, вот в него и нужно дописать ulimit), а разрешать делать дампы на всю систему неправильно, много мусора будет.

BonDit, ну я там еще с самого начала сделал сноску(там где еще для линя настройки идут) "смотри man core", фряхи под рукой нету, так что сказать ничего не могу как там точно. Тут есть + коре дампы не будут захламлять винт, а то иногда они достаточно тяжелые бывают.

Сделал логи по описанию в 1м посте.
В дирекции папки: /var/log/dumps/ создаются нужные логи, например: mangos-worldd.1281186816.1878.core
Но их вес составляет 600-800 Мб. При этом сервер более 4х часов не работал. В чём может быть проблема?

[tempura]

Сообщение от Creed

В дирекции папки...

Пять баллов.


По теме - например я (ни линуксоид не близко) подозреваю, что это полный дамп ядра на момент краша.

Может быть вам стоит использовать проприетарную, и более дружелюбную к пользователям, операционную систему?

[rsa]

Сообщение от tempura

Пять баллов.


По теме - например я (ни линуксоид не близко) подозреваю, что это полный дамп ядра на момент краша.

Может быть вам стоит использовать проприетарную, и более дружелюбную к пользователям, операционную систему?

Сэр, Вам все еще интересно почему у меня нет желания возиться с наставлением народа на тему "как скомпилить..."? Чтобы использовать гнусь надо знать куда как побольше чем для того чтобы отличить меморидамп от крашлога...
"нужно комплить с помощью GNU C но данная программа комплит только заданный файл в нужном формате" (c) очередной любитель гнуси вчера... я плякаль...

Сообщение от selector

Могу посоветовать отличную программку для авторестарта/отладки процесса сервера. Название - restartd
http://packages.ubuntu.com/ru/jaunty/restartd - для Убунту.
Для остальных систем можно поискать в гугле.

Скачиваем, устанавливаем, в файле конфига (/etc/restartd.conf) прописываем после объяснений нечто вида:

# Restartd configuration file

# Format:
#
# <process_name> <regexp> <action_if_not_running> <action_if_running>
#
# process_name: the name of the process which is just for logging
# as it does not affect for the regexp
#
# regexp: the POSIX regular expression for the command line of the
# process
#
# action_if_not_running: a script or program name to execute if the
# regexp does not match the full process command line
#
# action_if_running: a script or program name to execute if the regexp
# matches the full process command line

# Example:
#
# restartd ".*restartd" "/bin/echo 'It is not running!' >/tmp/restartd.out" "/bin/echo 'It is running!' >/tmp/restartd.out"

wotlk "mangos-wotlk" "ulimit -c unlimited; /opt/war/bin/mangos-worldd > /dev/null 2>&1 &" ""

wotlk "mangos-wotlk" - по желанию, как вы хотите назвать процесс

/opt/war/bin/mangos-worldd - путь куда вы установили сервер

Креш дампы будут складироваться в Корне "/" и будут иметь вид "core.xxxx"(где хххх - номер процесса когда мангос работал). Прочитать дамп вполне просто. В консоле вводим:
gdb /opt/war/bin/mangos-worldd -c /core.xxxx

далее bt либо bt full


Может быть это кому-то поможет.

Внимание для прочтения дампов вам потребуется пакет gdb который можно скачать командой apt-get install gdb(yum install gdb для Федоры).

-----------------------
Добавлено:

Запуск программы restartd можно осуществить выполнив команду ./usr/sbin/restartd (Для убунту) либо (./sbin/restartd для Федоры). Отключить программу просто - убить процесс с помощью kill id_процесса. Также возможно ее поставить как службу включив ее в /etc/init.d после этого старт/рестарт/остановка возможны командами service restartd start|restart|stop

Кто пробовал работать с этим пакетом ? Можно ли изменить пусть создания дампов ?

lina, нада смотреть скрипт который запускает mangos, и туда прописывать ulimit(я думаю в твоем случае screen запускает скрипт, который выполняет роль авторестартера, вот в него и нужно дописать ulimit), а разрешать делать дампы на всю систему неправильно, много мусора будет.

И где с рестартере мангоса на до менять на ulimit,если мой рестартер имеет такое содержание:

#!/bin/sh
while true ; do
servlog='/home/mangos/bin/Server.log';
outpatch='/home/mangos/bin/crash/';
date=`date "+%Y-%m-%d_%H:%M:%S"`;
echo "Server CRASHED !!! Start Bugreport System." >> $outpatch$date.txt;
echo "Server.log Log FILE Last 30 Lines:" >> $outpatch$date.txt;
cat $servlog | tail -n 30 >> $outpatch$date.txt;
echo "" >> $outpatch$date.txt;
echo "END bugtracker system." >> $outpatch$date.txt;
/home/mangos/bin/mangos-worldd
done