[11045] Rewrite internals of DB layer. Simplify code and use less locking. Spawn and use separate co

[newsbot]

автор: Ambal

m src/game/CharacterHandler.cpp

m src/game/ObjectMgr.cpp

m src/game/World.cpp

m src/game/World.h

m src/mangosd/Master.cpp

m src/mangosd/mangosd.conf.dist.in

m src/realmd/Main.cpp

m src/shared/Database/Database.cpp

m src/shared/Database/Database.h

m src/shared/Database/DatabaseImpl.h

m src/shared/Database/DatabaseMysql.cpp

m src/shared/Database/DatabaseMysql.h

m src/shared/Database/DatabasePostgre.cpp

m src/shared/Database/DatabasePostgre.h

m src/shared/Database/SqlDelayThread.cpp

m src/shared/Database/SqlDelayThread.h

m src/shared/Database/SqlOperations.cpp

m src/shared/Database/SqlOperations.h

m src/shared/revision_nr.h

[11045] Rewrite internals of DB layer. Simplify code and use less locking. Spawn and use separate connections for sync and async DB requests. Implement database connection pool for SELECT queries. Up to maximum 16 connections supported. Disable 'autocommit' mode for MySQL.



UPDATE YOUR CONFIGS!



Defaults:

LoginDatabaseConnections = 1

WorldDatabaseConnections = 1

CharacterDatabaseConnections = 1



If you are not using  patch do not change the default settings - this is useless. You can try following option in your MySQL config to squeeze even more performance from your DB:



[mysqld]

transaction-isolation = READ-COMMITTED



Great thanks to Undergarun, kero99 and selector for making tests and providing very useful feedback and DB statistics! Have fun :)



Signed-off-by: Ambal 

Дальше...

[KiriX]

А можно поподробнее об этом моменте, что это даёт и вообще какие настройки рекомендуются, я что-то понять не могу...

[Ambal]

На офф форуме в топике по этому патчу есть вся интересующая вас информация. Все будет хорошо даже если вы в конфиге ничего не подправите

[KiriX]

Сообщение от Ambal

На офф форуме в топике по этому патчу есть вся интересующая вас информация. Все будет хорошо даже если вы в конфиге ничего не подправите

Я, конечно, могу прочитать на инглише, но, боюсь, могу неверно понять такую специфическую терминологию.
По дефолту - хорошо. Если даже по дефолту будет лучше - вообще отлично. Но хотелось бы понять всё-таки что к чему и зачем

[Konctantin]

KiriX, читай http://ru-mangos.ru/showthread.php?t=3480

[KiriX]

Сообщение от Konctantin

KiriX, читай http://ru-mangos.ru/showthread.php?t=3480

Да это я помню - меня интересуют опции конфига и на что они и как влияют.

[rsa]

Сообщение от KiriX

Да это я помню - меня интересуют опции конфига и на что они и как влияют.

если у тебя онлайн меньше 200-300 - не парься. по предварительным прикидкам стоит добавить по 1 потоку на 200 юзеров в characters/mangos и по потоку на 500 юзеров в realm.

[Ambal]

Сообщение от rsa

если у тебя онлайн меньше 200-300 - не парься. по предварительным прикидкам стоит добавить по 1 потоку на 200 юзеров в characters/mangos и по потоку на 500 юзеров в realm.

Оно какбы не совсем так: для транзакций всегда используется только один поток (как и было раньше), он просто получает выделенное соединение с DBMS. Сейчас появилась возможность регулировать количество соединений для чтения из базы. Причем не смысла выставлять это значение выше количества рабочих потоков, которые создает ядро (при условии что вы пользуетесь mtmaps в любой реализации):

***DatabaseConnections = MapUpdate.Threads

В если вы mtmaps не пользуетесь - оставляйте настройки по-умолчанию.

[KiriX]

Всё, вот теперь понятно - огромное спасибо

[rsa]

Сообщение от Ambal

Оно какбы не совсем так: для транзакций всегда используется только один поток (как и было раньше), он просто получает выделенное соединение с DBMS.

видимо неверно сформулировал. не поток в смысле нить, а поток обработки сообщений, в данном случае выделенное соединение.
я вовсе не уверен что оно должно как-либо коррелировать с числом нитей mtmaps, даже при их полном отсутствии но большой нагрузке соединения с базой включение дополнительных соединений должно улучшить работу всей системы в целом. при тестировании у меня это было видно даже просто на глаз - LA упал на треть.
PS проблемы с петами, насколько я понимаю, совсем в другом месте сидят...

[Ambal]

Сообщение от rsa

включение дополнительных соединений должно улучшить работу всей системы в целом. при тестировании у меня это было видно даже просто на глаз - LA упал на треть.
PS проблемы с петами, насколько я понимаю, совсем в другом месте сидят...

Выделенное соединение для транзакций просто позволило нам убрать конкуренцию между различными потоками за единственное соединение к базе, что имело место в прежней системе. Теперь отдельный рабочий поток выполняет транзакции на своей максимальной скорости. Как реализуем prepared statements - сервер получит еще больше производительности.

Undergarun сейчас выясняет, что то были за сообщения о пропаже петов. Если они действительно имели место, то скорее всего виноват код петов, гипотетически имеющий последовательный вызов функций:

pet->SaveToDB();
...
pet->LoadToDB();

В таком случае данные по (новому) пету могут не успеть сохраниться в базу, а мы уже пытаемся их читать. Раньше такое тоже было возможно, просто вероятность была совсем другая.

[Vladimir]

По irc пролучил жалобу на заклинивание логина с патчем после перезапуска mangosd без перезапуска relamd - воспроизвести не получилось. У кого-нибуть такие проблемы есть?

[Ambal]

Сообщение от Vladimir

заклинивание логина с патчем после перезапуска mangosd без перезапуска relamd.

Больше похоже на фантастику. В каком месте "логина" мы получаем "заклинивание"? Когда мы должны уже загружать данные по игроку в память асинхронно? Пусть отрапортовавшийся пробует воспроизвести проблему и указать точный момент когда возникает затык.

[rsa]

Сообщение от Vladimir

По irc пролучил жалобу на заклинивание логина с патчем после перезапуска mangosd без перезапуска relamd - воспроизвести не получилось. У кого-нибуть такие проблемы есть?

realmd крайний раз перезапускал месяц назад, даже не помню какая там версия. сервер за это время обновлялся раз 10, в т.ч. на 045. проблем нет. пик нагрузки 150.

Добавлено через 4 минуты

Сообщение от Ambal

pet->SaveToDB();
...
pet->LoadToDB();

В таком слубчае данные по (новому) пету могут не успеть сохраниться в базу, а мы уже пытаемся их читать. Раньше такое тоже было возможно, просто вероятность была совсем другая.

вопрос именно об этом. проявляется при телепорте игрока с петом. вероятность около полпроцента, но если при этом мускуль нагрузить чем-то, то резко повышается. я пока вышел из положения грубым хаком.

[virusav]

Может, это и есть тот момент, когда надо переписать код петов, чтобы работали, как положено.

[Vladimir]

по поводу петов - их надо делать асинхронными как и играков.

[rsa]

Сообщение от virusav

Может, это и есть тот момент, когда надо переписать код петов, чтобы работали, как положено.

ухх... вы даже не представляете сколько там работы я его переписал довольно здорово за 3 месяца, но там еще конца-края не видно...

[virusav]

Сообщение от Vladimir

по поводу петов - их надо делать асинхронными как и играков.

Если бы я мог, то давно уже поправил бы петов, а так приходится только описывать проблемы с ними, только пока особо никто петами не интересуется.

[rsa]

Сообщение от virusav

Если бы я мог, то давно уже поправил бы петов, а так приходится только описывать проблемы с ними, только пока особо никто петами не интересуется.

(скромно пошаркивая ножкой) попробуйте мой бранч. возможно понравится?

[Ambal]

В [11054] обнаружился краш при старте сервера когда мы пытаемся асинхронно обновить количество игроков в базе в Player:eleteFromDB() во время удаления старых чаров.

Быстрофикс предложен в комментариях к коммиту, я вечером исправлю источник проблемы.

[Ambal]

Баги с залипающим логином, невозможностью удалить чаров и часто пропадающими петами, а также краш при чистке аккаунтов, должны быть исправлены в [11061]+

[Mayss]

Можно узнать, эти нововведения коснутся только mangos? или к one и zero в будушем?.

[Vladimir]

Я перенесу как все стабилизируется.