[разработка]Wow Packet Parser

[LordJZ]

Чем больше опкодов появляется в паблике, тем сильнее защиту делает близзард

[Йоха]

Ага, ясно.
Ну тем не менее я потихоньку допишу хотя бы минимально функциональный код, может что получится из открытого проекта.
Предполагается что список опкодов и все скрипты - парсеры опкодов будут вшешними. Следовательно движок один, а уж опкоды каждый сам у себя приводит в актуальное состояние.

[RomanRom2]

ну я могу отдать на растерзание свой zPktViewer, сорцы всмысле. времени сейчас им заниматься нет совсем...
только как у вас с delphi?

Йоха, я смотрю дизайн вьювера никак не хочет меняться как я его придумал 500 тыщ лет назад, а он всё такой же прям как с нортон командером

[Йоха]

Сообщение от RomanRom2

Йоха, я смотрю дизайн вьювера никак не хочет меняться как я его придумал 500 тыщ лет назад, а он всё такой же прям как с нортон командером

ну да, я просто прикинул другие варианты, как-то места мало остается под остальные окна. Ничего толкового в общем не придумал. Завтра на работе если не будет особо дел, то доделаю хотя бы простое чтение чтение файла и может быть хекс вью.
Язык с++, фреймворк - WTL, есть желающие присоединиться к разработке ?

[TOM_RUS]

Сообщение от Йоха

но он не актуальный на данный момент ? я там глянул на опкоды, они все старые

Мой PacketViewer под 3.3.5а если вы об этом. Смысла что-то писать под катаклизм я на вижу.

[Йоха]

Сделал загрузку имен опкодов из внешнего файла.
Файл ищется в папке с программой в подпапке равному номер билда
Номер билда берется их заголовка pkt файла.
Например открываем сниф от билда 13623, сама программа находится в папке c:\packetview.
Будет загружен файл c:\packetview\13623\opcodes.txt
Если для опкода нет символьного представления, то выводится просто его значение

ЗЫ, в догонку вопрос, какой контейнер лучше использовать вместо std::vector для составления индекса pkt файла.
Просто при открытии больших снифов (порядка 160000 пакетов) возникает задержка при формировании индекса. Насколько я помню vector делает перемещения памяти для того что бы все данные располагались единым блоком. Мне это не нужно, от контейнера требуется 2 вещи - быстрая вставка в конец списка и произвольный доступ к элементам посредством оператора [].
К сожалению в STL не силен, знаю так основы.

[alien]

поидее std::deque должен подойти

[Йоха]

во! то что надо, теперь открытие любых файлов осуществляется почти мгновенно!

[Йоха]

Озадачился поиском скриптового языка который надо прикрутить к программе для парсинга сложных опкодов.
Оказывается их сейчас развелось вагон. В луа я почти не разбирался, так в легкой форме только, поэтому вопрос: насколько этот язык пойдет для парсинга пакетов ?
Прикрутить его к программе дело плевое, как я понял прочитав документацию.

И как лучше отдавать пакет в луа код ? просто как последовательность байт ? В луа есть возможности для анализа массива байт ?
А, посмотрел на пример у топикстартера, лучше реализовать функции для чтения данных из пакета:

Read8  - число 8бит
Read16
Read32
Read64
ReadPG - пакованый GUID
ReadString

какие еще "элементарные" типы данных понадобятся ?

[Lordronn]

Bool
Guid
Vector2
Vector3
Vector4
PackedVector
PacketQuaternion

UintBool - по другому не знаю как назвать. Близы используют в некоторых пакетах 4 байта для передачи да или нет, а не бул.

Скрытый текст (вы должны войти под своим логином или зарегистрироваться и иметь 40 сообщение(ий)):

У вас нет прав чтобы видеть скрытый текст, содержащейся здесь.

[LordJZ]

PackedVector это разница между будущем и текущем векторами, просто так его читать нельзя

Йоха, а вы только на С++ пишете?

[Йоха]

В общем ясно, это надо допилить по ходу дела. Сейчас допишу элементарное взаимодействие со скриптами.

В целом архитектура вырисовывается такая, для работы программы требуются 2 файла:
opcodes.txt
parsers.lua

оба файла загружаются из папки соответсвующей номеру билда снифа (берется из заголовка pkt файла)
формат opcodes.txt:

опкод, текстовое_представление_опкода, имя_функции_для_парсинга

опкод может быть как в десятичной системе, так и в шестьнадцатеричной. Для последней число должно начинаться с "0x"
например:

0x8581, CMSG_WORLD_TELEPORT, cmsg_world_teleport

для этого примера файл parsers.lua должен содержать функцию cmsg_world_teleport

function cmsg_world_teleport()
// тут написать собственно сам парсер пакета
end

внутри lua функции доступен объект "packet" который используется для чтения данных из пакета, например:

function cmsg_world_teleport()
  packet.Read8()
  packet.Read32()
end

ну и конечно какой-нибудь объект для вывода отпарсеной информации в окно программы, название пока не придумал

[RomanRom2]

к своему парсеру я тоже собирался луа прикручивать. еще есть PascalScript и оно вроде как даже по главнее будет, но отдавая себе отчет в том, что вьюверы будут еще и что бы как то стандартизировать и унифицировать формат "плагинов"-"парсеров", я бы выбрал луа. грубо говоря один и тот же парсер какого нить опкода, написанный на луа (скажем SMSG_CHAR_ENUM.lua) одинаково хавался бы всеми вьюверами, и моим, и йохавским, и томаруса и еще чьим угодно.

[Йоха]

Сообщение от LordJZ

Йоха, а вы только на С++ пишете?

на с++, на придурашном языке 1С (это слава богу в прошлом), на ассемблере, на делфи немного (давно не практиковался)
ах да, забыл добавить - еще на бейсике -)))) со школы его не забуду

Добавлено через 3 минуты

Сообщение от RomanRom2

как то стандартизировать и унифицировать формат "плагинов"-"парсеров", я бы выбрал луа. грубо говоря один и тот же парсер какого нить опкода, написанный на луа (скажем SMSG_CHAR_ENUM.lua) одинаково хавался бы всеми вьюверами, и моим, и йохавским, и томаруса и еще чьим угодно.

ну тут как мне кажется стандартизации подлежат только объекты которые будут предоставляться скриптам типа того что я описал выше, для чтения данных из пакета и для вывода информации обратно в программу

Добавлено через 1 час 1 минуту

Сообщение от Lordronn

UintBool - по другому не знаю как назвать. Близы используют в некоторых пакетах 4 байта для передачи да или нет, а не бул.

ну для этого можно использовать Read32

[alien]

Еще из луа пригодилась бы возможность распаковывать zlib'нутые данные.
То есть к функциям чтения добавить функцию распаковки.

[Йоха]

Сообщение от alien

Еще из луа пригодилась бы возможность распаковывать zlib'нутые данные.
То есть к функциям чтения добавить функцию распаковки.

ну это не проблема, добавляется легко

build 12340
XML замечательно описывает формат пакета ( не считая условий )

<Definition xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:xsd="http://www.w3.org/2001/XMLSchema" Opcode="SMSG_CHAR_ENUM">
    <Fields xsi:type="DynamicLoop" Name="Characters" DataType="Byte">
        <Fields xsi:type="Simple" Name="PlayerGuid" DataType="UInt64"/>
        <Fields xsi:type="Simple" Name="PlayerName" DataType="String"/>
        <Fields xsi:type="Simple" Name="Race" DataType="Byte"/>
        <Fields xsi:type="Simple" Name="Class" DataType="Byte"/>
        <Fields xsi:type="Simple" Name="Gender" DataType="Byte"/>
        <Fields xsi:type="Simple" Name="Skin" DataType="Byte"/>
        <Fields xsi:type="Simple" Name="Face" DataType="Byte"/>
        <Fields xsi:type="Simple" Name="Hairstyle" DataType="Byte"/>
        <Fields xsi:type="Simple" Name="Haircolor" DataType="Byte"/>
        <Fields xsi:type="Simple" Name="Facialhair" DataType="Byte"/>
        <Fields xsi:type="Simple" Name="Level" DataType="Byte"/>
        <Fields xsi:type="Simple" Name="Zone" DataType="UInt32"/>
        <Fields xsi:type="Simple" Name="Map" DataType="UInt32"/>
        <Fields xsi:type="Simple" Name="Coords" DataType="Coords3"/>
        <Fields xsi:type="Simple" Name="GuildId" DataType="UInt32"/>
        <Fields xsi:type="Simple" Name="Char_flags" DataType="UInt32"/>
        <Fields xsi:type="Simple" Name="LoginFlags" DataType="UInt32"/>
        <Fields xsi:type="Simple" Name="Firstlogin" DataType="Byte"/>
        <Fields xsi:type="Simple" Name="PetDisplayId" DataType="UInt32"/>
        <Fields xsi:type="Simple" Name="PetLevel" DataType="UInt32"/>
        <Fields xsi:type="Simple" Name="PetFamily" DataType="UInt32"/>
        <Fields xsi:type="StaticLoop" Name="Items" DataType="UInt32" LoopLength="19">
            <Fields xsi:type="Simple" Name="DisplayInfoID" DataType="UInt32"/>
            <Fields xsi:type="Simple" Name="InventoryType" DataType="Byte"/>
            <Fields xsi:type="Simple" Name="EnchantAuraId" DataType="UInt32"/>
        </Fields>
        <Fields xsi:type="StaticLoop" Name="Items2" DataType="UInt32" LoopLength="4">
            <Fields xsi:type="Simple" Name="Bag" DataType="UInt32"/>
            <Fields xsi:type="Simple" Name="Slot" DataType="Byte"/>
            <Fields xsi:type="Simple" Name="Enchant" DataType="UInt32"/>
        </Fields>
    </Fields>
</Definition>

Про JSON такого сказать не получится, но он и не для этого предназначается(может я его и не так использую...?)

[{"name":"Characters","type":"DynamicLoop","loopvalue":"Byte","chield":{"PlayerGuid":{"type":"UInt64"},"PlayerName":{"type":"String"},"Race":{"type":"Byte"},"Class":{"type":"Byte"},"Gender":{"type":"Byte"},"Skin":{"type":"Byte"},"Face":{"type":"Byte"},"Hairstyle":{"type":"Byte"},"Haircolor":{"type":"Byte"},"Facialhair":{"type":"Byte"},"Level":{"type":"Byte"},"Zone":{"type":"UInt32"},"Map":{"type":"UInt32"},"Coords":{"type":"Coords3"},"GuildId":{"type":"UInt32"},"Char_flags":{"type":"UInt32"},"LoginFlags":{"type":"UInt32"},"Firstlogin":{"type":"Byte"},"PetDisplayId":{"type":"UInt32"},"PetLevel":{"type":"UInt32"},"PetFamily":{"type":"UInt32"},"Items":{"name":"Items","type":"StaticLoop","LoopLength":19,"chield":{"DisplayInfoID":{"type":"UInt32"},"InventoryType":{"type":"Byte"},"EnchantAuraId":{"type":"UInt32"}}},"Items2":{"name":"Items2","type":"StaticLoop","LoopLength":4,"chield":{"Bag":{"type":"UInt32"},"Slot":{"type":"Byte"},"Enchant":{"type":"UInt32"}}}}}]

Ипользуя XML можно организовать чтение пакетов, или кодогенератор...да и зрительно просто песня
может сообразим какой нить формат описания данных?
зы текущий XML формат позаимствован у TOM_RUS

[RomanRom2]

LoopLength не достаточно. попробуйте описать в xml пакет 00А9. если получится, то можно смело пользовать xml.

<Definition xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:xsd="http://www.w3.org/2001/XMLSchema" Opcode="SMSG_COMPRESSED_UPDATE_OBJECT">
    <Fields xsi:type="Compress" DataType="gz" >
        <Fields xsi:type="DynamicLoop" Name="UpdateObject" DataType="UInt32">
            <Fields xsi:type="Switch" DataType="Byte">
                <Fields xsi:type="Case" Value="0">
                    <Fields xsi:type="Simple" Name="ObjGuid" DataType="Guid"/>
                    <Fields xsi:type="Struct" DataType="WoWObjectUpdate"/>
                </Fields>
                <Fields xsi:type="Case" Value="1">
                    <Fields xsi:type="Struct" DataType="MovementInfo"/>
                </Fields>
                <Fields xsi:type="Case" Value="2">
                    <Fields xsi:type="Simple" Name="ObjGuid" DataType="Guid"/>
                    <Fields xsi:type="Simple" Name="ObjectType" DataType="Byte"/>
                    <Fields xsi:type="Struct" DataType="MovementInfo"/>
                    <Fields xsi:type="Struct" DataType="WoWObjectUpdate"/>
                </Fields>
                <Fields xsi:type="Case" Value="3">
                    <Fields xsi:type="Simple" Name="ObjGuid" DataType="Guid"/>
                    <Fields xsi:type="Simple" Name="ObjectType" DataType="Byte"/>
                    <Fields xsi:type="Struct" DataType="MovementInfo"/>
                    <Fields xsi:type="Struct" DataType="WoWObjectUpdate"/>
                </Fields>
                <Fields xsi:type="Case" Value="4">
                    <Fields xsi:type="DynamicLoop" Name="NumbRangeObject" DataType="UInt32">
                        <Fields xsi:type="Simple" Name="ObjGuid" DataType="Guid"/>
                    </Fields>
                </Fields>
                <Fields xsi:type="Case" Value="5">
                    <Fields xsi:type="DynamicLoop" Name="NumbNearObject" DataType="UInt32">
                        <Fields xsi:type="Simple" Name="ObjGuid" DataType="Guid"/>
                    </Fields>
                </Fields>
            </Fields>
        </Fields>
    </Fields>
</Definition>

[RomanRom2]

ну это понятно, а где собсно самое интересное то?
где чтение блоков данных в завимости от флагов? где чтение и разбор битовой маски? где собсно разбор MovementInfo? не обязательно всё, ключевые моменты.

Сообщение от RomanRom2

ну это понятно, а где собсно самое интересное то?
где чтение блоков данных в завимости от флагов? где чтение и разбор битовой маски? где собсно разбор MovementInfo? не обязательно всё, ключевые моменты.

к сожалению нормально разобрать этот пакет у меня не получается( точнее ее часть с созданием объекта... где то не доглядел)
как приду на работу ( 30 мин ), скину парочку основных моментов, в общем то из-за них и начал, т.к. не всем может быть понятно такое описание.

[RomanRom2]

разобрать пакет не проблема, он давно разобран, спрашивай что непонятно.
проблема описать это для вьювера и использовать в нем то, что описал.

[TOM_RUS]

Пакет:

0x03, 0x00, 0x00, 0x00, 0x04, 0x00, 0x00, 0x00, 0x08, 0x00, 0x00, 0x00

Структура:

uint32 flags;
if(flags & 0x1)
   uint32 value1;
if(flags & 0x2)
   uint32 value2;

Описание в XML:

<Definition xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:xsd="http://www.w3.org/2001/XMLSchema" Opcode="CMSG_TEST_ACTION">
    <Fields xsi:type="ConditionMultiple" Name="Condition2" DataType="UInt32">
        <Fields xsi:type="ConditionCheck" Name="Condition2Field1" DataType="UInt32" ConditionType="And" ConditionValue="1">
            <Fields xsi:type="Simple" Name="ConditionCheckField1" DataType="UInt32"/>
        </Fields>
        <Fields xsi:type="ConditionCheck" Name="Condition2Field2" DataType="UInt32" ConditionType="And" ConditionValue="2">
            <Fields xsi:type="Simple" Name="ConditionCheckField2" DataType="UInt32"/>
        </Fields>
    </Fields>
</Definition>

Opcode: CMSG_TEST_ACTION
Condition2: 3
ConditionCheck: type And, value 1
ConditionCheckField1: 4
ConditionCheck: type And, value 2
ConditionCheckField2: 8

пока только обычные Condition

                <Struct xsi:type="Struct" StructName="MovementInfo">
                    <Fields xsi:type="Simple" Name="UpdateFlags" DataType="Byte"/>
                    <Fields xsi:type="Condition" ConditionType="8" variable="UpdateFlags" ConditionValue="32"> //ConditionType::And
                        <Fields xsi:type="Simple" Name="Flags" DataType="UInt32"/>
                        <Fields xsi:type="Simple" Name="Flags2" DataType="UInt32"/>
                        <Fields xsi:type="Simple" Name="TimeStamp" DataType="UInt32"/>
                        <Fields xsi:type="Simple" Name="Position" DataType="Coords3"/>
                        <Fields xsi:type="Simple" Name="Facing" DataType="Single"/>
                        <Fields xsi:type="Condition" ConditionType="8" variable="Flags" ConditionValue="512">
                            <Fields xsi:type="Struct" DataType="TransportInfo"/>
                        </Fields>
                    </Fields>
                     .....
                </Struct>

[Йоха]

Сообщение от Lordronn

Vector2
Vector3
Vector4
PackedVector
PacketQuaternion

1 вопрос : какой тип (применительно к с++) имеют вышеперечисленные данные ?

2 вопрос - float используется где-нибудь ?

[Konctantin]

2 - да, используется...

Сообщение от Йоха

1 вопрос : какой тип (применительно к с++) имеют данные ?
2 вопрос - float используется где-нибудь ?

PackedVector = размер DWord, потом распаковка
Vector3 = размер 3* DWord , грубо говоря 3 float - x,y,z ...
остальные пока не встретил...

надумал собрать, что то вроде, парсера-конструктора структуры пакетов...
то есть - при выводе пакета, выводить hex, отпарсенные данные и структуру пакета с возможностью изменения.
Думаю реально, но как это можно удобно представить...так как хотелось бы ввести побольше плюшек для лентяев как я...
кто то пытался такое соорудить?
остановился на тулбаре, деревом структуры пакета и панелью для изменения( настройки ) узла. Не знаю куда втулить вложенные структуры...или отдельной панелью...или вообще отдельно хранить и при надобности использовать...часто ли в пакетах присутствуют повторяющиеся структуры?
ps вообще хочется размять мозги...скучно стало

[Konctantin]

Спасибо за идею

черновое расположение

места мало...
прикидываю:

1. заменить верхнюю панель на тулбар...
2. если структура (опкода) не вместится, придется резать и лист со списком опкодов
3. все еще некуда вставить структуры( создание, правка, изменение )...хотя идеи есть

желательна "здоровая" критика

"если структуры пакета можно представить в виде дерева, то почему бы и результаты разбора так не отображать..."
Экономия, при написании вывода. Думаю в структуре выделить пунктик и под необходимость вывода элементов.
Вложение 1001
пока что, только фейковый разбор( структура еще не редактируется)...но это только пока

[RomanRom2]

мне не нравится колонка direction. зачем она? я поэтому и сделал в своем вьювере слева отображаются клиентские, справа серверные опкоды. по мне так как то нагляднее.

далее, как ни крути - хочется видеть хекс и парсинг ОДНОВРЕМЕННО, а не через закладки. ну, опять же - имхо.

парсинг в виде дерева - здраво. наверное. время покажет.

Сообщение от RomanRom2

мне не нравится колонка direction. зачем она? я поэтому и сделал в своем вьювере слева отображаются клиентские, справа серверные опкоды. по мне так как то нагляднее.

далее, как ни крути - хочется видеть хекс и парсинг ОДНОВРЕМЕННО, а не через закладки. ну, опять же - имхо.

парсинг в виде дерева - здраво. наверное. время покажет.

все колонки настраиваемые...то есть сортировка, группировка, скрытие и т.п.
а поподробнее можно почему так нагляднее (опять же есть группировка...но результат будет не тот конечно), Возможно слева ввести дополнительную панель и по кнопочке разбросать...
хекс и парсинг...да пришлось на вкладочки - ибо место ограниченное.Либо уменьшить шрифт, либо делить одну вкладку по горизонтали, либо придумать кнопочку настройки "Отображения" - это надо подумать( имхо лучший вариант, но жесткий ).
можно увидеть скриншот парсера?

[LordJZ]

Сообщение от Minimajack

все колонки настраиваемые...то есть сортировка, группировка, скрытие и т.п.
а поподробнее можно почему так нагляднее (опять же есть группировка...но результат будет не тот конечно), Возможно слева ввести дополнительную панель и по кнопочке разбросать...
хекс и парсинг...да пришлось на вкладочки - ибо место ограниченное.Либо уменьшить шрифт, либо делить одну вкладку по горизонтали, либо придумать кнопочку настройки "Отображения" - это надо подумать( имхо лучший вариант, но жесткий ).
можно увидеть скриншот парсера?

Мой «классический» парсер выглядит вот так: http://dl.dropbox.com/u/9241118/pack...r-overview.gif
Но я вижу мало смысла в Hex View. Подумываю о вынесении во вкладки Hex View и Parsed View.

[alien]

Если посмотреть на первый скрин темы то там уже была идея с выводом структурой )

Сообщение от alien

Если посмотреть на первый скрин темы то там уже была идея с выводом структурой )

Ух....даже расположение панелей получилось похоже
вывод( как и парсинг ) - происходит исключительно за счет описания структуры пакета. Если у тебя аналогично - значит мыслим в одном направлении. Кстати как проект живет?
Пока 3 варианта хранения:

1. использовать XML - как возможно-перспективный (экспорт-импорт)
2. хранить сериализованное описание в бд - имхо, самый удобный
3. в файлах - реализовано сейчас

[RomanRom2]

ну собственно я ничего нового не скажу, просто приведу скриншот июля далекого 2007го: http://wowcore.ru/downloads/zPktViewer.png

Сообщение от LordJZ

Но я вижу мало смысла в Hex View. Подумываю о вынесении во вкладки Hex View и Parsed View.

это можно сделать раздвигающимся, как это модно сейчас. кликаешь на как бы бордюр "окна" и оно схлопывается. кликаешь снова - раскрывается. таким образом хекс можно убрать, кому не надо. но херс и парсер ДОЛЖНЫ быть на одном экране!
имхо

расположение панелей для изменения структуры...
правая панель пока пустует(для описание элемента и его настройки)
добавил схематическое изображение циклам...
вот думаю все в одну кучу валить или разбивать на подменю? Логично циклы объединить, структуры впихнуть, но и лишние клики тоже не хочется делать
Вложение 1005

не прошло и пол года...остановился на вложенных структурах.
Понемногу правлю тулбар....после очередной правки оказалось - наследование кривоватое ...буду переписывать (не хочется - что бы после удаления сложных структур - удалялись вложенные или ненужные драг-н-дроп нормальный прикрутить)
Вложение 1010
пока скрестил комбобокс+дерево...не нравится...буду скрещивать комбобокс с меню...