[DEV]Java emu

[mAdloVe]

Вот, решил начать писать emu пресловутой игры на Java, так как данная игра и язык представляют для меня большой интерес. Хочется совместить приятное с полезным и углублять свои знания в Java. Может кого-нибудь заинтересует моя задумка...
На данный момент удалось реализовать аутентификацию с реалм сервером.
Выкладываю исходники своего творения. Прошу строго не судить.

[HIDE="Устарело"]
Проект переехал с http://github.com/ШтормКоре в http://github.com/JMaNGOS
git clone git://github.com/JMaNGOS/storm.git

В данный момент проект storm заморожен.

UPDATE:
storm закрыт полностью все наработки перебрались в JMaNGOS
[/HIDE]

В свою очередь все наработки были перенесены в новый проект "JMaNGOS". И сейчас все работы ведутся над "JMaNGOS".
Проект http://github.com/JMaNGOS
git clone git://github.com/JMaNGOS/JMaNGOS.git

[Blacksmither]

Сообщение от Йоха

Пока еще не поздно подумайте над архитектурой классов для доступа к БД

Над контейнерами и кешированием подумайте.

[RomanRom2]

а чо тут думать, все придумано для нас. для доступа к базе в джаве используют entity или модный нынче hibernate.

dbc - в базу данных. карты - в бинарный формат, но можно тоже в базу (сам у себя пока еще не решил. пока сделан бинарный формат, смысла в sql загонять не увидел.).

что имеется ввиду под контейнерами и кешированием?

Сообщение от Blacksmither

Над контейнерами и кешированием подумайте.

http://ehcache.org/
только кешировать пока нечего

[RomanRom2]

ну не знаю... может и имеет смысл кешировать шаблоны объектов (респонсы), остальное - постоянно изменяющиеся данные. только чего их кешировать, загрузил их в память в виде справочников и все.

to madlove:
вижу мучения автора...возникает вопрос, вы смотрели исходники других мморпг-серверов сделанных на джава? Возможно стоит поглубже покопаться в них? Ведь не сотни человек занимаются разработкой, постоянно рефакторить код - ждать работы еще пяток лет.
Возможно стоит пере использовать архитектуру уже рабочего сервера. Не говорю - сделать из линейдж( как пример ) - вов, но все же базовая архитектура ( нио, конфигурация, пулы) может быть, если и не использована, то неплохо изучена на основе других.

[mAdloVe]

to Minimajack:
Ищу новый тут развития.

[Йоха]

Сообщение от mAdloVe

to Minimajack:
Ищу новый тут развития.

а получается транслейт мангоса на яву

2 mAdloVe :handleLogonProof()
После вычислений не сохраняете SessionKey ( K ) в базу.

[mAdloVe]

Сообщение от Minimajack

2 mAdloVe :handleLogonProof()
После вычислений не сохраняете SessionKey ( K ) в базу.

Знаю... также не сохраняется соль "s" и верификатор "v". Не хватает рук.

[RomanRom2]

а их зачем сохранять?

кстати, если будет время - реализуйте все же ThreadPool ...уверен винда в текущей реализации больше 200 клиентов не потянет...уж слишком жирно создавать на каждого клиента по потоку...
а лучше выкинуть половину и реализовать на http://www.jboss.org/netty

[RomanRom2]

в виндах это называется IOCP

Сообщение от Minimajack

2 mAdloVe :handleLogonProof()
После вычислений не сохраняете SessionKey ( K ) в базу.

тоже не сохраняю ключ в базу. вообще это неправильный дизайн. я его передаю по дополнительному шифрованному служебному каналу AS-CS

Сообщение от RomanRom2

в виндах это называется IOCP
тоже не сохраняю ключ в базу. вообще это неправильный дизайн. я его передаю по дополнительному шифрованному служебному каналу AS-CS

оставлено для совместимости с мангосом.
Подскажите пожалуйста...клиент серверу отдает полностью пакеты, либо может на кусочки порубать или слить несколько в один?
зы кстати тоже подумал о сообщении между логин и гейм серверами...

[RomanRom2]

да других вариантов и не дано. логон сервер может быть где угодно в интернете. например в москве. и к нему подключены реалмы из других городов, питер там, казань, новосибирск, красноярск... и чо? из сибири в москву за ключем в базу лазить на 3306 порт?

нее, это неправильно. я изначально спроектировал (и реализовал) полностью динамическую структуру всего игрового сервера (который включает в себя авторизационный сервер (биллинг) и неограниченное число реалмов и батлграундов). все компоненты автоматически регистрируется на своих "аплинках". нуу... я писал об этом на сайте.

[Dereka]

Сообщение от RomanRom2

а чо тут думать, все придумано для нас. для доступа к базе в джаве используют entity или модный нынче hibernate.

dbc - в базу данных. карты - в бинарный формат, но можно тоже в базу (сам у себя пока еще не решил. пока сделан бинарный формат, смысла в sql загонять не увидел.).

что имеется ввиду под контейнерами и кешированием?

hibernate, почему он вдруг стал модным?
ORM конечно повышает производительность разработки, но использовать его нужно осторожно.
Всё конечно зависит от кривизны, но jdbc всегда быстрее чем ORMы.
В любом случае если проект для обучения то hibernate нужно попробовать
Я юзал плагин в еклипсе, он показывал какой в Итоге запрос уходит в БД от ORM, полезная штука оказалсь)

[RomanRom2]

да хрен его знает почему...
мне часто приходится сталкиваться с тестовыми заданиями для нанимаемых на работу джава программистов. ну типа:

1. Реализация клиент серверного приложения: N-уровневое меню
Для реализации использовать Hibernate JPA, Postgresql.
Программа должна состоять из серверной и клиентской частей.
...

2. Реализация приложения Чат

Необходимо реализовать чат со структурой:
 страница авторизации;
 страница регистрации;
 основная страница;
 личный кабинет;

...

Общие требования:
 кросс браузерность IE 6-9, Firefox, Chrome, Opera
 все данные хранятся в БД (Postgres)
 работа с базой через Hibernate
 наличие текстового логирования (log4j)

[Dereka]

да потому что бизнес, побыстрее сделать продукт чтобы начать его продавать, а потом уже думать об оптимизации)


Minimajack советую почитать что такое maven
очень полезная штука, если проект настроишь, мне помог в своё время с дипломом,
сам всё необходимое скачает и настроеть, главное pom.xml самому настроить,
да и к тому же можно на нём генерить проекты для еклипса и для IDEA не помню для чего ещё

Сообщение от Dereka

Minimajack советую почитать что такое maven
очень полезная штука, если проект настроишь, мне помог в своё время с дипломом,
сам всё необходимое скачает и настроеть, главное pom.xml самому настроить,
да и к тому же можно на нём генерить проекты для еклипса и для IDEA не помню для чего ещё

установлен как плагин к эклипсу. Пробовал и проекты генерировать из гита и из свн...полет нормальный. Возможно стоит попробовать, хотя ант намного попроще

[Dereka]

Сообщение от Minimajack

установлен как плагин к эклипсу. Пробовал и проекты генерировать из гита и из свн...полет нормальный. Возможно стоит попробовать, хотя ант намного попроще

ну не знаю, как по мне так mvn в разы проще и удобнее чем ант
на вкус и цвет...

уперся в буффер...в мангосе под него выделяется 65536 байт, если его не хватает выделяется до 8 мегабайт 128*256*256 (в зависимости от нужд).
как вариант использовать динамический буфер.
Возможно у кого то есть статистика среднего размера пакета, что бы память поберечь; или забить и выделять 65 кб динамического буфера, а там как карта ляжет?

[Йоха]

Сообщение от Minimajack

уперся в буффер...в мангосе под него выделяется 65536 байт, если его не хватает выделяется до 8 мегабайт 128*256*256 (в зависимости от нужд).
как вариант использовать динамический буфер.
Возможно у кого то есть статистика среднего размера пакета, что бы память поберечь; или забить и выделять 65 кб динамического буфера, а там как карта ляжет?

Я думаю забить и выделить сразу 65к, а если вдруг понадобится больше, то увеличивать на лету.
ИМХО 65к это не тот случай который сильно сбережет память ;-)

[RomanRom2]

такого размера пакеты поперли только тогда, когда ввели ачивки. тогда же и появилась фишка с третим байтом в поле "длина". до того момента пакеты не превышали 16кб. и те - были за редким исключением. средний размер пакета варьировался от 700 байт до 3.5кб.

у себя выделяю 16кб под входящий и 64кб под исходящий буферы.

выставил 64 КБ...а там посмотрим
Кто нить работал с google-guice ?

Идея-реализация:
существует фабрика-сервис PacketFactory, ее задачей является выдача объектов-опкодов по номеру опкода, либо классу опкода.
Получаем пакет -> смотрим опкод -> стучимся PacketFactory -> передаем буфер и хендлер подключения полученному опкоду(если он клиентский) и выполняем...
Если необходимо послать ответный опкод - есть "синглетон" PacketSender, ему передаем хендлер подключения и серверный опкод. PacketSender - выдает новый буфер серверному опкоду, исполняет его и выталкивает клиенту.
Так вот проблема в том, что в клиентские опкоды необходимо производить инжектинг PacketSender-a. Делать через синглетон, когда большая часть уже лишена зависимостей, бредово. Единственный вариант с собственным ClassLoader-ом. Тогда появляется много жирных плюсов:
- различные реализации опкодов - в одной строчке конфига
- перезагрузка опкодов на лету ( возможно маразм )
- автоматический инжектинг зависимостей

В конструкторе Фабрики-пакетов инициализировать все пакеты вручную - бредово, нужен какой то механизм, вариант описания пакетов либо в ХМЛ, либо в БД, либо хз в чем. Мож чё кто подскажет?
зы моск пухнет

[RomanRom2]

так чо сказать то хотел?

Сообщение от RomanRom2

так чо сказать то хотел?

как написать фабрику объектов? желательно через список объектов в хмл.
есть

<opcodes>
 <opcodelist build="xxxx" path="org.wowemu.realm.network.packet">
   <opcode id="0x00" class = "R_CMD_AUTH" direction = "DOWNSTREAM" />
   <opcode id="0x01" class = "R_CMD_PROOF" direction = "DOWNSTREAM" />
 </opcodelist>
......
</opcodes>

надо получить - список объектов или классов...
зы пора отдохнуть

получилось

public class XmlDataLoader <T>
{
	private static final Logger	log				= Logger.getLogger(XmlDataLoader.class);

	@SuppressWarnings("unchecked")
	public T loadStaticData(Class<?> clazz, String Schema, String XmlFile) 
	{
		try
		{
			JAXBContext jc = JAXBContext.newInstance(clazz);
			Unmarshaller un = jc.createUnmarshaller();
			un.setSchema(getSchema(Schema));
			return  (T) un.unmarshal(new File(XmlFile));
		}
		catch (JAXBException e)
		{
			log.fatal("Error while loading xml data"+ e.getErrorCode(), e);
			throw new Error("Error while loading xml data", e);
		}

	}

	private static Schema getSchema(String Schema)
	{
		SchemaFactory sf = SchemaFactory.newInstance(XMLConstants.W3C_XML_SCHEMA_NS_URI);
		Schema schema = null;
		try
		{
			schema = sf.newSchema(new File(Schema));
		}
		catch (SAXException e)
		{
			log.fatal("Error getting schema", e);
			throw new Error("Error getting schema", e);
		}

		
		return schema;
	}
}

один черт кому нить пригодится...
хоть не надо прописывать и инжектить все опкоды вручную...лафа

<?xml version="1.0" encoding="UTF-8"?>
<opcodes xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
	xsi:noNamespaceSchemaLocation="packets.xsd">
	<opcodelist direction="DOWNSTREAM"
		package="org.wowemu.login.network.netty.packet.client.">
		<packet id="00" name="CMD_AUTH_LOGON_CHALLENGE" state="CONNECTED"/>
	</opcodelist>
	<opcodelist direction="UPSTREAM"
		package="org.wowemu.login.network.netty.packet.server.">
		<packet id="00" name="TCMD_AUTH_LOGON_CHALLENGE"/>
	</opcodelist>
</opcodes>

Плагин http://sourceforge.net/projects/eclipsecopyrigh/ решает проблемы с добавлением и обновлением копирайтов

login.7z (4.06MB)
тестовый вариант, в компилированном виде, т.к. репозитария нет
пока - максимальная совместимость с мангосом, т.е. все ключи в бд.
Необходимо доделать пару опкодов( реконнект ) и прикрепить банлист. А то в связи с использованием guice весь код перелопатил, пришлось пока вырубить банлист и сервис обновления( реалмлист не обновляется ).
Дома в линуксе с клиентом проверял, на работе клиента нет, да и линукса тоже , поэтому башевский вариант скрипта отсутствует.
зы может кому интересно будет
ззы через денек-два файл снесу, а то 4 метра держать на форуме жирно ( файлбим и прочие зарублены на проксе )



----------------------
архив перезалит

Сообщение от RomanRom2

да других вариантов и не дано. логон сервер может быть где угодно в интернете. например в москве. и к нему подключены реалмы из других городов, питер там, казань, новосибирск, красноярск... и чо? из сибири в москву за ключем в базу лазить на 3306 порт?

нее, это неправильно. я изначально спроектировал (и реализовал) полностью динамическую структуру всего игрового сервера (который включает в себя авторизационный сервер (биллинг) и неограниченное число реалмов и батлграундов). все компоненты автоматически регистрируется на своих "аплинках".

действительно с ключем в бд совсем не фонтан получается. Лишние запросы к БД, лишние операции по конвертации из строки ... Единственный плюс - при перезапуске логин-сервера может дальше работать как ничего не произошло...то есть при реконнекте(смене реалма) пользователи подхватятся.
Если на них забить ( ну не часто же происходит перезапуск ) , да и забить на realmlist в БД, то никакого обновления realmlist-а, банлиста из БД тащить не надо будет, открываем еще сокет для реалмов, и спокойненько принимаем с него команды для обновление банлиста и популяции, запроса ключей.
Возник вопрос по ходу дела...connection Timeout вообще присутствует как таковой в логин сервере? И если да, то чему равно значение ?

ззы архив в предыдущем сообщении устарел, реализованы 10 основных опкодов для логин сервера, и для совместимости с мангосом добавлен сервис обновления реалмлистов и банлистов...

[RomanRom2]

я чото не очень теперь понимаю, кто именно пишет JavaEmu

Сообщение от RomanRom2

я чото не очень теперь понимаю, кто именно пишет JavaEmu

я тоже хочу подучиться java, вот и пишу по тихому вечерами
mAdloVe - свое, я - свое. Смысл один.

Все же ввел понятие совместимости в конфиг

network.compatible = MANGOS

зачем напрягать что не надо...в итоге пока 2 режима совместимости:

• MANGOS работаем как мангос - обновляем вордлист из БД, не используем банлист, не открываем дополнительных портов
• NONE работаем по новому

2mAdloVe
у org.jboss.netty.buffer.ChannelBuffer
есть не только readByte()
есть и readShort(), readInt(), readLong() etc...сам же выбираешь ByteOrder.LITTLE_ENDIAN ...зачем парится с байтами и сдвигами?

[mAdloVe]

Сообщение от Minimajack

2mAdloVe
у org.jboss.netty.buffer.ChannelBuffer
есть не только readByte()
есть и readShort(), readInt(), readLong() etc...сам же выбираешь ByteOrder.LITTLE_ENDIAN ...зачем парится с байтами и сдвигами?

Осталось от прошлой реализации. Подправлю

смотрю я вот на реализацию мапсов, обджектменеджера в мангосе...пролистал первые 500-600 строк...печально стало

текущая версия логин сервера, делается под 3.3.5
не реализовывал только работу с патчами. Не вижу смысла.
http://filebeam.com/fb069dfc963d144740eb8188c2faf8c0

под линуксом запускать

java -Xms8m -Xmx32m -ea -cp ./libs/*:wowemu_login.jar org.wowemu.login.loginserver

[lina]

Сообщение от Minimajack

текущая версия логин сервера, делается под 3.3.5
не реализовывал только работу с патчами. Не вижу смысла.
http://filebeam.com/fb069dfc963d144740eb8188c2faf8c0

под линуксом запускать

java -Xms8m -Xmx32m -ea -cp ./libs/*:wowemu_login.jar org.wowemu.login.loginserver

может написать бат файл для винды и sh для линукса ?)

Сообщение от lina

может написать бат файл для винды и sh для линукса ?)

можно скачать и увидеть, что батник в архиве...
написать нормальный скрипт под линь у меня нет времени, так что дал команду, думаю у кого линукс знают как применить.

что то я застрял...вроде все нормально, или глаз уже замылен
в общем, делаю реалм...
коннект - отсылаю SMSG_AUTH_CHALLENGE
приходит CMSG_AUTH_SESSION...проверяю, все гуд, sha1 digest совпадает с заданым клиентом...
инициализирую криптосистему сессионным ключом
отсылаю SMSG_AUTH_RESPONSE
отсылаю SMSG_ADDON_INFO
а в ответ тишина, только через секунд 10 клиент шлет пакет( нормально не расшифровывается) и разрывает соединение.
Чувствую ошибка в кодировании(декодировании) заголовка...
в HmacSHA1 ну не может быть ошибки...стандартная 3 строчки кода.
в SARC4 использовал реализацию от JCE...не прокатило, на просторах гугла нарыл частную реализацию...заголовки как и положено уходят кодированными в 4 байта ( первые маленькие)...но клиент молчит
Crypt

package org.wowemu.realm.network.crypt;

import javax.crypto.Mac;
import javax.crypto.spec.SecretKeySpec;
import org.apache.log4j.Logger;


public class Crypt {
	private static final Logger log = Logger
			.getLogger(Crypt.class);
	byte[] ServerEncryptionKey = { (byte) 0xCC,  (byte)0x98,  (byte)0xAE, 0x04,
			(byte)0xE8,  (byte)0x97, (byte)0xEA,  (byte)0xCA, 0x12,
			(byte)0xDD,  (byte)0xC0,  (byte)0x93, 0x42,  (byte)0x91, 0x53,
			0x57 };
	byte[] ServerDecryptionKey = { (byte) 0xC2, (byte) 0xB3, 0x72, 0x3C, (byte) 0xC6, (byte) 0xAE, (byte) 0xD9,
			(byte) 0xB5, 0x34, 0x3C, 0x53, (byte) 0xEE, 0x2F, 0x43, 0x67, (byte) 0xCE };

	private boolean isEnabled = false;

	private SARC4 _clientDecrypt = new SARC4(); 
	private SARC4 _serverEncrypt = new SARC4(); 

	public Crypt() { 
	}

	public byte[] decrypt(byte[] data) {
		if (!isEnabled)
			return data;
		return _clientDecrypt.Update(data);
	}

	public byte[] encrypt(byte[] data) {
		if (!isEnabled)
			return data; 
		return _serverEncrypt.Update(data);

	}
	public void init(byte[] key){
		byte[] encryptHash = getKey(ServerEncryptionKey,key);
		_clientDecrypt.init(encryptHash);
		byte[] decryptHash = getKey(ServerDecryptionKey,key);
		_serverEncrypt.init(decryptHash);
		byte[] tar = new byte[1024];
		for(int i = 0; i < tar.length; i++)
		 {
			tar[i] = 0;
		 }
		_serverEncrypt.Update(tar);
		for(int i = 0; i < tar.length; i++)
		 {
			tar[i] = 0;
		 }
		 _clientDecrypt.Update(tar);
		this.isEnabled = true;
	}
	private byte[] getKey(byte[] EncryptionKey,byte[] key) {
		SecretKeySpec ds = new SecretKeySpec(EncryptionKey, "HmacSHA1");
		Mac m;
		try {
			m = Mac.getInstance("HmacSHA1");
			m.init(ds);
			return  m.doFinal(key);
		} catch (Exception e) {
			e.printStackTrace();
		}
		return null;		
	}

}

SARC4

package org.wowemu.realm.network.crypt;

public class SARC4 {
	private byte state[] = new byte[256];
    private int x;
    private int y;
	
	public boolean init(byte[] key) {

        for (int i=0; i < 256; i++) {
            state[i] = (byte)i;
        }
        
        x = 0;
        y = 0;
        
        int index1 = 0;
        int index2 = 0;
        
        byte tmp;
        
        if (key == null || key.length == 0) {
            throw new NullPointerException();
        }
        
        for (int i=0; i < 256; i++) {

            index2 = ((key[index1] & 0xff) + (state[i] & 0xff) + index2) & 0xff;

            tmp = state[i];
            state[i] = state[index2];
            state[index2] = tmp;
            
            index1 = (index1 + 1) % key.length;
        }
		return true;
		
	}
	public byte[] Update(byte[] buf){

	        int xorIndex;
	        byte tmp;
	        
	        if (buf == null) {
	            return null;
	        }
	        
	        byte[] result = new byte[buf.length];
	        
	        for (int i=0; i < buf.length; i++) {

	            x = (x + 1) & 0xff;
	            y = ((state[x] & 0xff) + y) & 0xff;

	            tmp = state[x];
	            state[x] = state[y];
	            state[y] = tmp;
	            
	            xorIndex = ((state[x] &0xff) + (state[y] & 0xff)) & 0xff;
	            result[i] = (byte)(buf[i] ^ state[xorIndex]);
	        }
	        
	        return result;
	    }
	}

может кто увидит ошибку? а то меня уже колбасит

всем сорри...код правильный, это я неправильный
перепутал клиентский и серверные SARC4

Ну вот...реалм-сервер дошел до стадии когда необходимы ключи сессий клиентов.
т.к. ключи будут передаваться( планируется ) по дополнительному каналу между логин и реалм серверами встает вопрос о защите этого канала. Кто что использует? Городить свои грабли или воспользоваться уже существующими ( в сис-ме вов ) алгоритмами? Мне конечно быстрее SARC4 втулить и кодировать содержимое пакета целиком.