[Database] Some SQL INSERT merge

[zhenya]

Собственно. Есть предложение заменить в некоторых местах несколько инсертов одним.
например код

void Player::_SaveDailyQuestStatus()
{
    if (!m_DailyQuestChanged)
        return;

    // we don't need transactions here.
    CharacterDatabase.PExecute("DELETE FROM character_queststatus_daily WHERE guid = '%u'",GetGUIDLow());
    for(uint32 quest_daily_idx = 0; quest_daily_idx < PLAYER_MAX_DAILY_QUESTS; ++quest_daily_idx)
        if (GetUInt32Value(PLAYER_FIELD_DAILY_QUESTS_1+quest_daily_idx))
            CharacterDatabase.PExecute("INSERT INTO character_queststatus_daily (guid,quest) VALUES ('%u', '%u')",
                GetGUIDLow(), GetUInt32Value(PLAYER_FIELD_DAILY_QUESTS_1+quest_daily_idx));

    m_DailyQuestChanged = false;
}

на

void Player::_SaveDailyQuestStatus()
{
    if (!m_DailyQuestChanged)
        return;

    bool first_round = true;
    std::ostringstream ss;

    // we don't need transactions here.
    CharacterDatabase.PExecute("DELETE FROM character_queststatus_daily WHERE guid = '%u'",GetGUIDLow());
    for(uint32 quest_daily_idx = 0; quest_daily_idx < PLAYER_MAX_DAILY_QUESTS; ++quest_daily_idx)
    {
        uint32 quest_id = GetUInt32Value(PLAYER_FIELD_DAILY_QUESTS_1+quest_daily_idx);
        if (quest_id)
        {
            if (first_round)
            {
                ss << "INSERT INTO character_queststatus_daily (guid,quest) VALUES ";
                first_round = false;
            }
            // next new/changed record prefix
            else
                ss << ", ";
            ss << "(" << GetGUIDLow() << "," << quest_id << ")";
        }
    }

    // if something changed execute
    if (!first_round)
        CharacterDatabase.Execute( ss.str().c_str() );

    m_DailyQuestChanged = false;
}

Это поможет уменьшить размер транзакции для персонажей с кучей дейликов

Для викликов

void Player::_SaveWeeklyQuestStatus()
{
    if (!m_WeeklyQuestChanged || m_weeklyquests.empty())
        return;

    // we don't need transactions here.
    CharacterDatabase.PExecute("DELETE FROM character_queststatus_weekly WHERE guid = '%u'",GetGUIDLow());

    for (QuestSet::const_iterator iter = m_weeklyquests.begin(); iter != m_weeklyquests.end(); ++iter)
    {
        uint32 quest_id  = *iter;

        CharacterDatabase.PExecute("INSERT INTO character_queststatus_weekly (guid,quest) VALUES ('%u', '%u')", GetGUIDLow(), quest_id);
    }

    m_WeeklyQuestChanged = false;
}

меняем на

void Player::_SaveWeeklyQuestStatus()
{
    if (!m_WeeklyQuestChanged || m_weeklyquests.empty())
        return;

    // we don't need transactions here.
    CharacterDatabase.PExecute("DELETE FROM character_queststatus_weekly WHERE guid = '%u'",GetGUIDLow());

    for (QuestSet::const_iterator iter = m_weeklyquests.begin(); iter != m_weeklyquests.end(); ++iter)
    {
        if (first_round)
        {
            ss << "INSERT INTO character_queststatus_weekly (guid,quest) VALUES ";
            first_round = false;
        }
            // next new/changed record prefix
        else
            ss << ", ";

        ss << "(" << GetGUIDLow() << "," << (*iter) << ")";
    }

    // if something changed execute
    if (!first_round)
        CharacterDatabase.Execute( ss.str().c_str() );

    m_WeeklyQuestChanged = false;
}

и для месячных квестов

void Player::_SaveMonthlyQuestStatus()
{
    if (!m_MonthlyQuestChanged || m_monthlyquests.empty())
        return;

    // we don't need transactions here.
    CharacterDatabase.PExecute("DELETE FROM character_queststatus_monthly WHERE guid = '%u'", GetGUIDLow());

    for (QuestSet::const_iterator iter = m_monthlyquests.begin(); iter != m_monthlyquests.end(); ++iter)
    {
        uint32 quest_id = *iter;

        CharacterDatabase.PExecute("INSERT INTO character_queststatus_monthly (guid, quest) VALUES ('%u', '%u')", GetGUIDLow(), quest_id);
    }

    m_MonthlyQuestChanged = false;
}

меняем на

void Player::_SaveMonthlyQuestStatus()
{
    if (!m_MonthlyQuestChanged || m_monthlyquests.empty())
        return;

    bool first_round = true;
    std::ostringstream ss;

    // we don't need transactions here.
    CharacterDatabase.PExecute("DELETE FROM character_queststatus_monthly WHERE guid = '%u'", GetGUIDLow());

    for (QuestSet::const_iterator iter = m_monthlyquests.begin(); iter != m_monthlyquests.end(); ++iter)
    {
        if (first_round)
        {
            ss << "INSERT INTO character_queststatus_monthly (guid,quest) VALUES ";
            first_round = false;
        }
            // next new/changed record prefix
        else
            ss << ", ";

        ss << "(" << GetGUIDLow() << "," << (*iter) << ")";
    }

    // if something changed execute
    if (!first_round)
        CharacterDatabase.Execute( ss.str().c_str() );

    m_MonthlyQuestChanged = false;
}

критикуем

еще можно убрать кучу ифов _SaveSpells() и _SaveTalents()
, заменить свичем и убрать delete + insert (заменив Updatом) в случае PLAYERSPELL_CHANGED

[Vladimir]

Вряд ли конечно в данных случаях можеть быть слишком длинаая строка запроса, но
лучше былобы если мы имели обобщенную функцию/накопительную_фабрику заполняющую такие запросы. В pdump есть пример где мы контролируем длину итогового запроса при генерации списка вещей вроде. Просто без прятания технической части код раздувается и становится менее понятным..

[zhenya]

В случае daily может быть до 25.. (..,..).

по общему темлпею
в PlayerDump.cpp нашел
std::string CreateDumpString(char const* tableName, QueryResult *result)
вижу решение:
std::string CreateQuestSaveString(char const* tableName, uint32 guidlow, QuestSet quest) (но это не очень подойдет для daily квестов т.к. надо будет формировать QuestSet, можно конечно продублировать содермое полей в set...) или нужно что-то другое?

[Ambal]

Такая затея оправдана исключительно для текущего слоя БД, не использующего prepared statements. Когда появятся последние - придется "рожать все обратно" (с)

[zhenya]

работы по prepared statements идут ?

[Ambal]

Сообщение от zhenya

работы по prepared statements идут ?

идут, но медленно по двум причинам:
1) много забот по основному месту работы
2) совместимость с PostgreSQL без непосредственной реализации prepared statements в последней.

Пункт (2) особенно напрягает т.к. PostgreSQL в качестве DBMS для мангоса и так пользуется всего пара человек + планов по prepared statements для этой платформы у меня точно нет. Что, собственно, и вносит серьезные коррективы в API в плане необходимости использовать шаблоны и т.д.

[Vladimir]

Сообщение от Ambal

Такая затея оправдана исключительно для текущего слоя БД, не использующего prepared statements. Когда появятся последние - придется "рожать все обратно" (с)

Ну тогда лучше не заморачиваться до prepared statements.

[zhenya]

ага. ясно. ждемс

[Ambal]

Если кому интересно, то можете взглянуть на мою ветку на гитхабе: https://github.com/Ambal/mangos/tree...red_statements.

Я почти закончил с объектной моделью для поддержки prepared statements и вчера даже успешно выполнил несколько запросов. Патч будет ориентировочно готов на следующей неделе. На данном этапе пока будет исключительно поддержка INSERT+DELETE+UPDATE запросов, позже добавим поддержку для SELECTов.