Централизованый формат снифов

[Konctantin]

Редакция от 31 июля 2011, 13:13, версия 3.1

• 1. RAW.
  • 1.1. заголовок снифа.
    

    struct MainHeader
    {
      char signature[3]; // 'RAW'.
      byte version[2]; // 0x01, 0x03
      byte snifferID; 
      uint build; 
      char language[4]; // Язык клиента: 'ruRU', 'enGB' и т.д.
      byte sessionKey[40]; 
      uint unixTime;
      uint tickCount;
      uint optionalHeaderLength; 
    };
    byte[optionalHeaderLength] optionalData;

  • 1.2. чанк
    

    struct ChunkHeader
    {
      char direction[4]; // 'SMSG', 'CMSG'
      uint sessionID;
      uint tickCount;
      uint optionalDataLength;
      uint dataLength;
    };
    byte[optionalDataLength] optionalData;
    byte[dataLength] data;

• 2. PKT.
  • 2.1. заголовок снифа.
    

    struct MainHeader
    {
      char signature[3]; // 'PKT'
      byte version[2]; // 0x01, 0x03
      byte snifferID; 
      uint build; 
      char language[4]; // Язык клиента: 'ruRU', 'enGB' и т.д.
      byte sessionKey[40]; // может быть заполнено нулями
      uint unixTime;
      uint tickCount;
      uint optionalHeaderLength; 
    };
    byte[optionalHeaderLength] optionalData;

  • 2.2. чанк
    

    struct ChunkHeader
    {
      char direction[4]; // 'SMSG', 'CMSG'
      uint sessionID;
      uint tickCount;
      uint optionalDataLength;
      uint dataLength;
    };
    byte[optionalDataLength] optionalData;
    byte[dataLength] data;

    , где
    - data включает в себя Opcode, выравненный до uint
    - dataLength равен размеру data
  
  
• 3. Имя файла.
  • 3.1. имя файла
    имя может быть произвольным и удобным каждому из разработчиков.
    
  • 3.2. расширение файла
    обязательно .raw или .pkt

Редакция от 25 июля 2010, 21:00, версия 3.0

• 1. RAW.
  • 1.1. заголовок снифа.
    

    struct MainHeader
    {
      char signature[3]; // 'RAW'.
      byte version[2]; // 0x00, 0x03
      byte snifferID; 
      uint build; 
      char language[4]; // Язык клиента: 'ruRU', 'enGB' и т.д.
      byte sessionKey[40]; 
      uint optionalHeaderLength; 
    };
    byte[optionalHeaderLength] optionalData;

  • 1.2. чанк
    

    struct ChunkHeader
    {
      char direction[4]; // 'SMSG', 'CMSG'
      uint unixTime;
      uint tickCount;
      uint optionalDataLength;
      uint dataLength;
    };
    byte[optionalDataLength] optionalData;
    byte[dataLength] data;

• 2. PKT.
  • 2.1. заголовок снифа.
    

    struct MainHeader
    {
      char signature[3]; // 'PKT'
      byte version[2]; // 0x00, 0x03
      byte snifferID; 
      uint build; 
      char language[4]; // Язык клиента: 'ruRU', 'enGB' и т.д.
      byte sessionKey[40]; // может быть заполнено нулями
      uint optionalHeaderLength; 
    };
    byte[optionalHeaderLength] optionalData;

  • 2.2. чанк
    

    struct ChunkHeader
    {
      char direction[4]; // 'SMSG', 'CMSG'
      uint unixTime;
      uint tickCount;
      uint optionalDataLength;
      uint dataLength;
    };
    byte[optionalDataLength] optionalData;
    byte[dataLength] data;

    , где
    - data включает в себя Opcode, выравненный до uint
    - dataLength равен размеру data

Предложения
SnifferID:

0 - Wad // 2005 и ранее
1 - Nomad // 2005 и ранее
2 - WoWCore // 2006
3 - Mangos (TOM_RUS) // 2006
4 - User456 // 2007
5 - Delfin // 2007
6 - Burlex // 2007
7 - WCell // 2008
8 - Kobold // 2009
9 - abdula123 // 2010
10 - Konctantin/LordJZ // 2010
11 - Йоха // 2010

[RomanRom2]

Сообщение от Fall0ut

Тут в чем дело.. К нам именно по этому сабжу никаких предложений не поступало. Да и нужно ли это им? )
Эта тема для Мангос и Ко или же для всего эму коммунити? Я думаю все же первое..

вы из кобольд тим? спасибо, что зашли.
предложение вывешено на этом форуме, потому что он, как мне кажется, самый популярный. нет? ваш популярней? не вопрос, скажите ресурс, где это точно прочитают все - вывесим там.
все - я имею ввиду разработчиков

и еще вопрос. действительно ли у вас есть собственный рабочий снифер? как называется и какого он типа? или вы используете опенсоурс?

[Neverdie]

Ромыч на даный момент у нас ваш
у нас просто 2-3 калеки раоботают и все сразу не можем
вот и пользуемся в даный случай (запозычеными технологиями) дамы не тратить время которого и так нету
раньше был свой
кстати за формат зачет
он даже меньше выходит по размеру (ну то сопли)

а на данном варианте мы просто мы не в силах поддреживать тему - не из лени или что-то там еще
а из на хватки уделять время опять же ((

а суть темы довольно хорошо звучит выложена (давно такое пора было)
но наши и ваши и везде тараканы в голове долбят мозг (веть меренями пипськами не когда не к чему не приведет)
а какой у нас был прокси
КОнстатин видел может прокоментировать
и еще раз плз не начинаейте делему про то что у кого спер или мы все в одно котле крутимся

гы сори за фала - наверно он сам не понял что ляпнул.

П.С, ничего личного

[LordJZ]

Написал обработчик PKT 3.0 Preview формата.
Как пример, вот лог промежуточной сессии. Присутствуют optional блоки — у некоторых пакетов и в основном заголовке. Для ознакомления.
http://dl.dropbox.com/u/9241118/PKT_3.0_Preview.pkt

[VDm]

Сообщение от LordJZ

Написал обработчик PKT 3.0 Preview формата.
Как пример, вот лог промежуточной сессии. Присутствуют optional блоки — у некоторых пакетов и в основном заголовке. Для ознакомления.
http://dl.dropbox.com/u/9241118/PKT_3.0_Preview.pkt

Проверил в HEX-редакторе, все корректно.
Прошу обратить внимание на одну важную деталь, второе поле в заголовке файла (поле version) записывается как word в big-endian формате, в то время, как остальные записи в little-endian.
LordJZ сделал это совершенно корректно, смотрим начало заголовка (в порядке: signature(3), version(2), snifferID(1), build(4)):

50 4B 54 | 00 03 | 09 | 34 30 00 00

На little-endian машинах архитектуры x86 и x64 взятие word для version выдаст число 768.
Выше я написал, что version == 0x0003, это некорректно, потому что такая константа будет записана на little-endian машине, как "03 00".

PS. Лучше поправить word version на byte version[2] с указанием, что оно равно: { 0x00, 0x03 }

[LordJZ]

Поправил, спасибо.

[Blacksmither]

Сообщение от RomanRom2

и еще вопрос. действительно ли у вас есть собственный рабочий снифер? как называется и какого он типа? или вы используете опенсоурс?

Ну запишите:

name: kobold_px
date: 2009
type: proxy
author: Kosuha

[RomanRom2]

Сообщение от Blacksmither

Ну запишите:

записал. присвоен код 8.

[Konctantin]

как бы теперь донести это на буржуйские форумы?

[user456]

Товарищ прав, какая разница в байтах главный хедер или в двордах? На 500Мбайтах зашедшего в рейд или на БГ сэкономить 5-10 байт? Тем более уже 30 лет процессорам проще читать 32-х битное и только ценой невероятных усилий почти с той же скоростью 8-ми битное.
Насчет локейла - если трудно тащить то на худой конец в wtf/config сидит типа SET locale "enUS"

Да, и будет все в интел-формате (не помню в какую сторону он endian) или кто-то еще гоняет моторолы?

[user456]

Вот продолжаем с ромкой по 2-3 байтных выяснять.

К примеру код на Delphi сравнения сигнатуры:

PHeader = ^THeader;
THeader = packed record
  sign: dword;
  ver: dword;
...
end;

const
  SIGN_PKT = $00544B50;

var
  buf: THeader;
begin
    fread(f, buf, len);
    if (buf.sign = SIGN_PKT) then
...

если делать 2-3-х байтными это уже выливается в сравнения массивов или всякие присвоения с масками и сдвигами. По-моему лучше и правда забить 32-х битными чем потом годами мучаться или разнобой получать.

[VDm]

Сообщение от user456

если делать 2-3-х байтными это уже выливается в сравнения массивов или всякие присвоения с масками и сдвигами. По-моему лучше и правда забить 32-х битными чем потом годами мучаться или разнобой получать.

Так бы и сделали, если бы не желание оставить совместимость с прежними форматами. Да и стоит ли оно того ради 3 байт? Можно и memcmp сделать, один раз на файл-то.

[user456]

Сообщение от VDm

Так бы и сделали, если бы не желание оставить совместимость с прежними форматами. Да и стоит ли оно того ради 3 байт? Можно и memcmp сделать, один раз на файл-то.

А у кого кроме ромки такое же в старых форматах? По описанному уже всем придется переделывать. Потом как в дате биоса еще одного байта не хватит, потом еще...
Впрочем как сделаете так и делайте. Моё имхо: вместо того чтобы оставить ромкину "3" там где она и сидит я бы сделал 32-х битный тим типа MNGS и может по дворду на билд снифера LO и HI.

[Konctantin]

у меня хватает

[RomanRom2]

поддерживаю
по моему не тот случай, где нужно так упираться за производительность.

не, я конечно понимаю, что подход там, все дела. но Вовка, в самом деле... это ж снифы. на кой нужна производительность (главное, речь идет о нескольких тактах один раз за одну обработку одного снифа) здесь?

шо мы не программисты шоле, трем байтам не сможем сделать:
var
signature: longint;
version: word;
begin
BlockRead(f, buf, 5);
move(buf[0], signature, 3);
move(buf[3], version, 2);
...

чего тут такого прям криминального то? ну, кроме подхода

З.Ы.

[Konctantin]

Я получил локаль(индекс локали) читая память процесса по адресу 0x00C5DE9C, но это не выход, ведь с каждым билдом адрес будет менятся.
Или может есть более постоянный адрес?

[TOM_RUS]

Сообщение от Konctantin

Я получил локаль(индекс локали) читая память процесса по адресу 0x00C5DE9C, но это не выход, ведь с каждым билдом адрес будет менятся.
Или может есть более постоянный адрес?

0x00C5DE88 текущая локаль в виде строки

[user456]

Сообщение от RomanRom2

не, я конечно понимаю, что подход там, все дела. но Вовка, в самом деле...

Впрочем как сделаете так и делайте

Я получил локаль(индекс локали) читая память процесса по адресу 0x00C5DE9C, но это не выход, ведь с каждым билдом адрес будет менятся.
Или может есть более постоянный адрес?

Разве что если найти структуру к которой оно привязано (как с ключом). Но тут проще или ловить логин или тупо читать из wtf/config. Или как Ромка когда-то делал - читать всю память процесса и не спеша искать в ней локаль чтобы запомнить адрес до следующего патча.

[Konctantin]

Но тут проще или ловить логин или тупо читать из wtf/config.

но если это первый запуск? тогда там будет пусто. пишется в wtf/* только после закрытия клиента.

[LordJZ]

Первый запуск — используем язык по-умолчанию из тех, что установлен в клиенте.

Другое дело, что определить какой из в данный момент запущенных клиентов лезет на сервер имея только сокет — невозможно (или развейте мои сомнения). По этой причине, например, в нашей с Konctantin реализации не работают два клиента, запущенные на одной машине одновременно (ключ сессии читается из первого клиента).

[user456]

Сообщение от Konctantin

но если это первый запуск?

Какова вероятность попасть на первый запуск клиента?
Попробовал у себя

    
const
  LOCALE_SIGN = 'SET locale "';
...
    //locale stuff
    WowIni:= TRegistry.Create;
    try
      WowIni.RootKey:= HKEY_LOCAL_MACHINE;
      if WowIni.OpenKey('\SOFTWARE\Blizzard Entertainment\World of Warcraft', false)then begin
        fname:= WowIni.ReadString('InstallPath') + 'Wtf\Config.wtf';
        fs:= TFileStream.Create(fname, fmOpenRead);
        setlength(temp_arr, fs.Size);
        fs.Read(temp_arr[0], fs.Size);
        fs.Free;
        temp_str:= PChar(temp_arr);
        temp_arr:= nil;

        locale_pos:= pos(LOCALE_SIGN, temp_str);
        if (locale_pos > 0) and (locale_pos + length(LOCALE_SIGN) + sizeof(PktHdr.locale) <= length(temp_str)) then
          move(temp_str[locale_pos + length(LOCALE_SIGN)], PktHdr.locale, sizeof(PktHdr.locale));
      end
      else PktHdr.locale:= UNK_SIGN;
    finally
      WowIni.Free;
    end;

всё пашет

[Konctantin]

Ну это все, как говорится "у каждого свои методы", я ограничился таким кодом:

private byte[] GetLocales()
{
	using (var mr = new ProcessMemoryReader("wow"))
	{
		return mr.Read(0x00C5DE88, 4);
	}
}

[TOM_RUS]

Сообщение от Konctantin

Ну это все, как говорится "у каждого свои методы", я ограничился таким кодом:

private byte[] GetLocales()
{
	using (var mr = new ProcessMemoryReader("wow"))
	{
		return mr.Read(0x00C5DE88, 4);
	}
}

У меня почти так же

using System;
using System.Diagnostics;
using System.Globalization;
using System.IO;

namespace Wlp
{
    public class SessionInfoReader
    {
        private const string ProcessName = "Wow";

        public static int ClientBuild
        {
            get
            {
                var p = ProcessMemoryReader.GetProcessByName(ProcessName);

                if (File.Exists(p.MainModule.FileName))
                {
                    var fi = FileVersionInfo.GetVersionInfo(p.MainModule.FileName);
                    return fi.FilePrivatePart;
                }
                else
                {
                    Logger.Instance.ErrorFormat("{0} not found or missing required permissions!", ProcessName);
                    return -1;
                }
            }
        }

        public static byte[] GetSessionKey(uint offset)
        {
            using (var pmr = new ProcessMemoryReader(ProcessName))
            {
                return pmr.Read(pmr.ReadUInt(offset) + 0x508, 40);
            }
        }

        public static byte[] GetWardenSeedKey(uint offset)
        {
            using (var pmr = new ProcessMemoryReader(ProcessName))
            {
                return pmr.Read(pmr.ReadUInt(offset) + 0x04, 16);
            }
        }

        public static byte[] GetWardenRC4State(uint offset)
        {
            using (var pmr = new ProcessMemoryReader(ProcessName))
            {
                return pmr.Read(pmr.ReadUInt(offset) + 0x20, 0x204);
            }
        }

        public static byte[] GetLocaleBytes(uint offset)
        {
            using (var pmr = new ProcessMemoryReader(ProcessName))
            {
                return pmr.Read(offset, 4);
            }
        }
    }
}

[Lordronn]

А почему бы не узнавать локал клиента по названию под папки?
В папке Data есть под папка ruRU\enGB\enUS... Почему бы просто не брать локал клиента оттуда. Если поменять название папки, то вов не запустится(проверено)
Да и менять специально никто бы не стал

[zergtmn]

А если локалей несколько? enGB и ruRU отлично уживаются вместе. Для переключения локали мне достаточно сменить ее в конфиге.

[Konctantin]

А почему бы не узнавать локал клиента по названию под папки?

К примеру у меня 2 языковых пакета, и оба я использую...

Да и писалось выше, "у каждого свои методы", если есть желание, то можна и ручками писать, какая локаль используется.

[Neverdie]

Та це вы уже в крайности кидаетесь просто
как писаливые каждый меняет по своему
над этим лучше бы не мучались бы и все

[RomanRom2]

нууу... я так понимаю, формат утвержден.
с чем всех и поздравляю.

[alien]

Наверно в первом посте надо ***93; и ***91; надо поправить

[NeatElves]

Зачем ?? Нормально определяет
***91 - [
***93 - ]

[alien]

Хмм у показывается как ***91 и***93 а не как []

[Konctantin]

поправил, используя теги [code]

[Lordronn]

char signature[3]; // 'RAW'.

Почему не определять подпись сниффа по формату: .pkt .raw

char direction[4]; // 'SMSG', 'CMSG'

почему не использовать байт?

Direction direction = reader.ReadByte() == 1  ? Direction.SMSG : Direction.CMSG;

public enum Direction
{
    CMSG = 0,
    SMSG = 1
};

[LordJZ]

Сообщение от Lordronn

Почему не определять подпись сниффа по формату: .pkt .raw

Можно еще по имени. Если начинается с цифры — это raw формат, в противном случае стандартный pkt. Или по дате, например, дамп, созданный в понедельник, — raw. А еще можно помечать raw дампы как системные файлы. А то мало-ли что наделают?

почему не использовать байт?

Direction direction = reader.ReadByte() == 1  ? Direction.SMSG : Direction.CMSG;

public enum Direction
{
    CMSG = 0,
    SMSG = 1
};

RomanRom2 объяснял почему. Ему хочется визуально смотреть PKTv3 в Far-е.

[RomanRom2]

Сообщение от Lordronn

Почему не определять подпись сниффа по формату: .pkt .raw

потому что никто так не делает. например zip, mp3, или даже (о боже!) mpq - имеют заголовок. не для того, что бы место на ваших дисках занять, а что бы быть уверенным в том, что читаем, хотя бы косьвенно. у тома, например, снифы на выходе имеют вообще расширение .bin, как понять чоо-там-чоо-там и каким методом парсить в этом случае?

Сообщение от Lordronn

почему не использовать байт?

так было до сего момента, см. предыдущие версии формата. многолетняя практика показала, что это вызывает некоторый неудобняк и было бы удобнее как то более наглядно различать границы пакетов.

ЗЫ. кстати, сейчас хоть кто нибудь что нибудь снифает?

[Konctantin]

ЗЫ. кстати, сейчас хоть кто нибудь что нибудь снифает?

у меня есть гиг снифов

[Fedia22]

Сообщение от RomanRom2

ЗЫ. кстати, сейчас хоть кто нибудь что нибудь снифает?

снифается потихоньку? если что то конкретно нада напиши в асю, освобожусь отснифаю

[Йоха]

А как сейчас пишется сниф ? с двух соединений в два файла ? или все в один файл как приходят данные на сокет так и скидываются ?

P.S. сейчас посмотрел, кроме 2-ух активных соединений на 195.12.246.210 и 195.12.246.213 болтается еще какое-то соединение на 213.248.127.130. Последнее это бнет ?

[TOM_RUS]

Сообщение от Йоха

Последнее это бнет ?

Да. eu.logon.battle.net

[LordJZ]

Сообщение от Йоха

А как сейчас пишется сниф ? с двух соединений в два файла ? или все в один файл как приходят данные на сокет так и скидываются ?
...

Я пишу в 1 файл, а в заголовке пакета пишу номер соединения.

[RomanRom2]

у кого нить есть готовый конвертор PKT 2.1 -> PKT 3.0?