С развитием Интернета в мире игровая промышленность начала всё больше запариваться на счёт мультиплеера. Первые матчи в DOOM I ( , разумеется) проходились по сетке, однако время шло, и Counter-Strike дала мощный толчок онлайн-игрищам, пропиарив заодно и Steam. с переходом же в чистый онлайн компьютерные противники стали терять популярность, и большая часть игроков на это не обратила внимание. Я вхожу в меньшинство, и расскажу о том, почему боты важны и где их можно найти сейчас.

Почему нужны боты

Многие задают этот вопрос, когда на форумах то тут, то там всплывает данная тема. Мол, времена модемов по 56к прошли, Интернет в каждом доме, играй не хочу, люди непредсказуемые, с ними интереснее, с ботами оружие не прокачаешь, и так далее. По сути они правы - мультиплеер с живыми игроками ботами не заменится. Однако ИИ на это и не рассчитывается.

Боты не читерят, не спамят, их можно настраивать под себя, они не глючат и не страдают от rage quit. На сервер с ботами не зайдёт MLG игрок, который даже в туалете делает NOSCOPE 720, и не начнёт методично и безнаказанно издеваться над другими. Это очевидные моменты. Среди неочевидных - игру с ботами чаще всего можно поставить на паузу, и пойти по делам, на них можно отрабатывать технику стрельбы, полёта, уворота и уклонения.

С ботами можно более эффективно изучить карту, потестировать оружие и так далее. А если бот сел в транспорт, его чаще всего можно оттуда выгнать. Сетевой код, бич современных шутеров (Battlefield 3, не тупи глаза, бесстыдник), тоже с ботами чаще всего неактуален, ведь играть с ними можно вообще без Интернета!

Ещё один важный момент - так называемая power fantasy. Иногда приятно ощутить себя неостановимой машиной смерти - тем же MLG про-игроком, который рвёт всех налево и направо, не портя никому при этом нервы. Если боты достаточно умные, и лишь стрелять иногда криво способны - сценарий идеален.

Да, боты не обязательны в геймплее. Так же необязательны, как и хорошая графика, сочные звуки или хитмарки. Без них игра может быть хорошей, но с ними она станет ещё лучше и уж точно не станет хуже. Сначала поговорим об играх, в которых боты есть изначально, а потом перейдём на различные костыли, достойные внимания.

Star Wars Battlefront

Первая часть - почти совершенство в любом из планов. Мощный одиночный режим, хороший мультиплеер, достаточно умные боты, хотя и поддатливые. К примеру, если навести прицелом на взлетающий корабль под управлением ИИ, он взлетать не будет, и можно залезть в него.

Перезапуск франшизы в 2015 году вышел спорным, однако недавнее обновление привнесло в игру то, из-за чего я начал задумываться о покупке игры. Правильно, боты в приватных матчах! Они работают всего в двух режимах, да, однако имеют три настройки сложности и способны практически на всё, что умеет рядовой игрок.

Серия Counter-Strike

Это одна из самых стабильных игровых серий в плане ИИ. Боты были и в версиях до 1.6, и в Source, не пропали они даже в Global Offensive. Их задача обычно проста дать игроку изучить режимы и карты, ощутить оружие и научиться стрелять из него без ущерба для онлайн-статистики.

При этом боты, хоть и не обладают сверхсмекалкой, умеют сидеть в засаде, бросать гранаты, говорить по рации, даже слушать команды игрока. От их сложности зависит то, как быстро болванчик среагирует на противника, как точно он будет стрелять и будет ли двигаться при этом.

Brink

Не такой известный, как CS, симулятор паркурщика со стрельбой под названием Brink, к ботам относится очень бережно. Дело в том, что как и в Battlefield, одиночная кампания представляет из себя стандартные миссии с ИИ, разнятся лишь задания. Боты при этом играют роль массовки, а сюжет подаётся через грамотно сделанные видеовставки.

Поскольку в шутере довольно приятно оформлена классово-ролевая система, кампания работает как подготовка к онлайн-матчам и на уровне прокачки. То есть, в схватку с живыми игроками можно войти уже уровне на десятом-пятнадцатом, зная кучу фокусов с гранатами, с минами, зная все проходы на карте и детали миссий.

Серия Battlefield

После выхода Bad Company 2 данная серия шутеров перешла на чисто онлайновую составляющую. Появился целевой плагин Battlelog для браузера, список серверов выдавался там. И грядущий ситуацию вряд ли исправит - заявленой оффлайн или кооперативной составляющей там нет.

Так что если охота заняться ботоубийством, следует обращать внимание на классические части. И лично моё внимание приковано к незабвенной Battlefield 2. Изначально там есть лишь кооператив с ботами на картах размером 16 человек. То есть, 8 на 8, почти без авиации - самолёты были на одной карте, вертолёты - на двух, кажется. Из восьми или девяти карт, да.

Спасли день, как полагается, моды. Ещё во времена, когда Battlefield 2 продавался в магазинах, к нему выходили модификации вроде открытия всего оружия в одиночной игре, полноразмерных карт на 64 человека в кооперативе, или суровейшего реализма. Часть из них влияла на сетевой режим и приводила к бану, часть игнорировалась.

Рассвет модификаций наступил с закрытием продаж Battltfield 2. Люди, разочаровавшиеся в практике DICE касательно подхода к BF3, засели за свой Батлфилд с блэкджеком и авиацией. В чисто мультиплеерной составляющей себя шикарно показал мод Project Reality, а в кооперативе, по моему мнению, лучшим является .

Дело в том, что в AIX боты ведут себя почти так же, как люди. Умные, опытные люди. Самолётчики используют всё оружие, которое у них есть в наличие, включая бомбы и ракеты против других самолётов, танки не гнушаются стрелять по вертолётам, да и ракетомётчики тоже. Не раз и не два мой Notar Littlebird получал по днищу из РПГ-7.

Ну и мелочи - количество ботов не ограничено 48, и в настройках можно выставить вплоть до 255 (!) болванчиков. Естественно, тормоза от этого начнутся колоссальные, однако бойня есть бойня, особенно на месте стрелка вертолёта.

Ещё лучше балансирует ситуацию , который добавляет несколько ключевых элементов - например, за убийство техники даются дополнительные очки, хэдшоты убивают насмерть и убирают возможность ревайва медиком, а боезапас техники уменьшен. Мод очень реалистичный, сочный и занятный, и отличается от AIX 2.0 так же сильно, как AIX 2.0 отличается от ванильной версии. Единственное, что мне в моде не нравится - самолётчики не используют ракеты. Вообще.

Также советую в комбинации с модами заменить exe. файл BF2 для открытия всего оружия - фокус действует на все модификации AIX, а так как оф. сервера закрыты, банить никто не будет.

Серия Call of Duty

Сильный мультиплеер, обалденная история, высокая динамика, компактные карты - и нет поддержки ИИ, вообще. Кооператив из последних частей не в счёт. Печальности, касающиеся Battlefield, актуальны и здесь - читеры и про-игроки часто портят настроение менее опытным, и хочется иногда отдохнуть.

Решение есть. Это , мод, написанный для Modern Warfare, добавляющий в игру ИИ для сетевой игры. Последняя версия модификации позволяет ботам использовать гранаты, РПГ и перки. После первого раунда они ещё и сериями убийств пользоваться начинают. Костылями в этом случае является то, что боты двигаются рывками, их имена нельзя изменить, а опыт в модификации не перетягивается на остальные, включая ванильную версию, хотя разница там лишь в наличие ботов, собственно.

Вторая часть Modern Warfare привнесла активные онлайн-элементы, привязку к хосту, и в связи с этим надежда на ботов ушла в никуда. Тем не менее, на пиратских хостах появились довольно кривые, но работающие модификации, которые также добавляют ИИ в сетевой режим. Лучший пример - Bot Warfare.

По сравнению с PeZBOT Bot Warfare из MW2 зверски поумнели. Если раньше от них можно было ожидать раша всей толпой, то теперь они не гнушаются даже сидеть в засаде. ИИ без проблем использует доступное оружие и награду за серии убийств, научился использовать подствольное вооружение, легко карабкается по лестницам и смотрит киллкамы! Толку от последнего шиш, зато, как говорится, присутствие в наличие!

Плоха у модификации одна вещь, которая сделала мою покупку лицензии MW2 самым бездарным приобретением за всю мою жизнь - на новых патчах она не работает, так как попросту нет возможности открыть консоль. А ведь ради мода я игру и покупал! Ну, и чтобы отдать честь шикарному мультиплееру тоже... К счастью, несколько пиратских хостов всё ещё работают, и я теперь уже с честной душой могу играть на всяких React и тому подобное. Вот на модификацию - советую ставить предпоследнюю версию, последняя не позволяет открывать нужное меню.

Боты, как выяснилось, есть и на Call of Duty 2, и имя им . Тамошний мультиплеер, хоть и лишен всякой прокачки, однако всё ещё весёлый и классово ориентирован. Боты там почти так же умны, как и в Modern Warfare, хотя к запускаются немного более туго.

Это - самые яркие и интересные примеры шутеров с ботами. Если ты знаешь что-то ещё, или у тебя есть мнение касательно темы или самой статьи, не забывай комментировать материал. И помни - мы не техподдержка, нам ДЕЙСТВИТЕЛЬНО важно твоё мнение!

Бот, созданный на основе нейронной сети, победил известного игрока в Dota 2 на сцене главного турнира The International (TI) 2017. Основные соревнования в Dota происходят между командами 5 на 5 человек, но существует и индивидуальный зачет. Open AI создали ИИ, который самообучился, играя сам с собой, 1 на 1. На сцене бот обыграл 2-0 популярного игрока Даниила Dendi Ишутина из NaVi.

До этого за кулисами соревнования бот сразился с SumaiL – лучшим игроком 1 на 1 – и с Arteezy – лучшим игроком в мире, его MMR больше 10000. Их бот тоже победил «всухую» – 2-0.

Забавный факт, после турнира всем желающим предложили попробовать свои силы против бота-победителя за вознаграждения. К вечеру того же дня бота победили игроки из интернета с MMR около 8000. Понадобилось несколько попыток, чтобы выявить слабое место. Тем не менее, на сцене турнира бот победил.

Почему это важное событие?

Турнир организован Valve, разработчиком игры, призовой пул почти 25 млн долларов. Это крупнейшее киберспортивное соревнование каждый год устанавливает новый рекорд по количеству просмотров и призовому пулу. International смотрят онлайн полмиллиона зрителей на Twitch, еще несколько сотен тысяч через игровой клиент и миллионы в записи.

Уровень 2. Как это работает?

Спускаемся на уровень глубже (или выше, у кого как работает воображение). Давайте разбираться!

Разработчики решили подойти к решению проблемы с чистого листа. Они поняли, что, если попытаться описать количество правил в открытой игре с тысячами переменных, на это уйдет несколько месяцев. Вместо этого они настроили бота, ввели его в игру и дали полную свободу действий.

Как выглядит эволюция:

1. Бот играл сам против себя, такого же бота. Они обменивались опытом.
2. Первые несколько игр бот стоял на месте и не двигался, после этого он начал совершать случайные действия или движения.
3. После тысяч попыток ИИ пришел к тому, что нужно идти к центру карты и сражаться с противником, чтобы победить.
4. А спустя неколько недель беспрерывных тренировок бот стал играть на уровне первоклассных игроков.

За время тренировок ИИ научился:

• совершать последний удар – это приносит бонусы в Dota;
• провоцировать мелких существ противника на атаку;
• тормозить своих существ, чтобы лучше их сгруппировать;
• держать противника на расстоянии от своих существ, лишая противника денег и опыта;
• отменять анимацию способностей для избегания получения урона;
• блефовать отмену анимации способностей, которая ведет к защитной реакции противника;
• адаптироваться к новым предметам, которые покупает противник;
• преследовать противника, предсказывая его возможное местоположение в тумане войны.

Наглядно процесс обучения нейронной сети посмотрите на видео:

Чем нейронная сеть отличается от игры против компьютера?

Игра против компьютера

Основное отличие бота Open AI от встроенных в игру противников заключается в технологии, на которой они основаны. Встроенные в игру противники построены на основе дерева решений. Решения находят перебором комбинаций входных параметров и решением оптимизационных задач. Такие деревья решений включают довольно большое количество параметров, таким образом игроку будет казаться, что он играет против живого или адаптирующегося противника.

Тем не менее все возможные вариации в поведении таких оппонентов заранее заданы создателями игры. Встроенные боты искусно имитируют интеллект, но не обладают им. Создание таких искусственных противников сравнительно проще и быстрее для разработчиков.

Игра против нейронной сети

Нейронные сети используют иной подход. Сеть, которую использовали Open AI, основана на принципе, который похож на эволюцию. Совершая случайные действия, сеть создает различные решения. Решения оцениваются функцией приспособленности (fitness function).

Удачные решения соединяются между собой, мутируют и создают новые поколения решений. Новые поколения сравнивают с их «родителями», чтобы понять появился ли прогресс. Если прогресса нет, решения-«родители» скрещиваются в новых пропорциях. Процесс похож на эволюцию организмов в живой природе. Такой алгоритм не всегда приводит к идеальному решению, но будет очень близок, пройдя через поколения ошибок.

На видео главный инженер проекта рассказывает о процессе обучения нейронной сети при подготовке бота к турниру:

Бот на основе нейронной сети требует значительно больше ресурсов, чем классическое дерево решений. Такие нейронные сети используют для проектирования двигателей реактивных самолетов и поиска лекарств от болезни Альцгеймера. Open AI использовали вычислительные мощности облачного сервера Microsoft Azure, так как Microsoft является одним из учредителей Open AI.

Твит Маска после победы бота на турнире:

Целиком процесс обучения нейронных сетей относительно функции приспособленности можно посмотреть на видео об игре Марио. Используя метод нейроэволюции дополняющих топологий или по-простому эволюции методом проб и ошибок, автор видео создал нейронную сеть, которая проходит уровень в Марио.

В начале обучения такой ИИ даже не умеет ходить, после 34 поколений и нескольких дней обучения ИИ смог закончить уровень без смертей:

Действительно ли победа в Доте так важна? Что говорят эксперты?

Я пробежался по форумам программистов, reddit, сообществам любителей нейронных сетей. Мнения участников разделились: встречались как восторги, так и сильная критика.

Восхищения

Перевод: Бот выигрывает за счет замедлений своих существ телом персонажа. Это офигенно.

Перевод: Как я понял, тест заключался в том, чтобы увидеть, как бот научится играть сам, без заданных правил и рамок. Он научился и выиграл у лучших. Поймите правильно, это большой прогресс.

Критика

Перевод: Бот, выигравший у профессионала в Доту, сравним с роботом, который кидает мячи в баскетбольную корзину с места. Это ненастоящий баскетбол и ненастоящая Дота.

Перевод: Звучит намного менее внушительно, когда понимаешь, что бот по определению снабжен инструментами, позволяющими иметь сверхчеловеческую реакцию и точное знание урона в цифрах. Это позволяет безошибочно рассчитывать урон и наносить последний удар. Будет действительно интересно, если они смогут научить бота играть в макростратегии, которых нет в игре 1 на 1. Если они смогут на равных выиграть у команды из 5 человек, это будет достижение.

Нашлись и совсем сомневающиеся:

В чем конспирология?

В связи с выходом API от Blizzard, в сети возникла конспирологическая версия. Технологические гиганты не просто так в один момент сфокусировались на компьютерных играх.

Спустя секунды после победы бота от Open AI Илон Маск написал в твиттере, что бот организация, инициатором которой стал сам Илон, победила в намного более сложной игре, чем шахматы или го:

Твит, вероятно, является хвастовством перед IBM и Google, которые освоили игры «попроще». Не стоит забывать, что Маск с коллегами вложили больше миллиарда долларов в некоммерческую исследовательскую организацию Open AI.

Как минимум они смогут привлечь лучших специалистов, которым впоследствии предложат работу в Tesla или других компаниях-спонсорах. На форумах и в твиттере Маска обвинили в кликбейте и преувеличении заслуг Open AI.

Недовольными остались разработчики ботов для Dota 2

Valve не пригласила на турнир программистов, которые работали над созданием сторонних решений для Dota 2. Существует несколько программ на основе деревьев решений и других технологий, которые способны играть даже в режиме 5 на 5. Тем не менее на сцене продемонстрировали ранний прототип для игры 1 на 1 от Open AI. Valve не комментировали данную претензию.

В заключение, хочу сказать: «I, for one, welcome our new robot overlords». Что касается меня, то я приветствую наших будущих роботов-надзирателей. И регулярно пишу о них в нашем Telegram-канале Robotics Channel. Присоединяйтесь!

31 октября 2017 года состоялся поединок между профессиональным игроком StarCraft Сонг Бьёнг-гу и четырьмя различными ИИ. Человек одержал победу в каждом из боёв. Один из ботов был разработан лабораторией Facebook FAIR, остальные - программистами из Австралии, Норвегии и Южной Кореи.

Человек против ИИ

Соревнование проходило в университете Седжона в Сеуле, Южная Корея, где с 2010 года проводятся ежегодные соревнования ИИ в дисциплине StarCraft. В предыдущие годы матчи проходили только между ботами и были организованы Институтом электротехники и электроники (Institute of Electrical and Electronics Engineers, IEEE).

Несмотря на то, что прошедшие в Сеуле поединки не привлекли такого внимания, как между AlphaGo и профессионалами по игре го, они всё же имеют большое значение в развитии ИИ. Исследовательское сообщество считает StarCraft особенно сложной игрой для ботов. После успехов AlphaGo в го и некоторых достижениях ИИ в шахматах и внимание учёных переключилось на идею обучения ИИ стратегиям реального времени, таким как StarCraft.

В отличие от всё того же го, в котором возможен постоянный контроль всего игрового поля, за счёт чего игроки могут на первом шаге разработать стратегию игры, StarCraft требует использовать память и на ходу разрабатывать тактику внутри ограниченного и виртуального игрового мира. В результате StarCraft становится эффективным инструментом, помогающим ИИ сделать шаг вперёд в развитии.

Прошедшие бои - только начало

Множество профессиональных игроков StarCraft сказали, что готовы провести поединки против ботов в режиме прямого эфира, наподобие матчей AlphaGo. Руководители проекта DeepMind уже выразили согласие на организацию подобных матчей в будущем.

Возвращаясь к прошедшим матчам, стоит отметить, что общее затраченное Сонгом на 4 матча время составило всего 27 минут. Самый долгий матч длился 10,5 минут, самый короткий - всего 4,5 минуты. И это несмотря на тот факт, что боты могли передвигать своих юнитов намного быстрее человека, а также одновременно управлять несколькими задачами.

Норвежский бот, например, в один момент времени достиг скорости в 19 тысяч действий в минуту. Это при том, что профессиональные игроки не могут совершать более нескольких сотен действий в минуту.

Человек-победитель отметил в послематчевом интервью:

Профессиональные игроки начинают бой только тогда, когда имеют достаточные для победы армию и навыки по управлению юнитами. Боты же, напротив, пытались сохранить свои юниты без принятия каких-либо смелых решений. Однако, то, как они отбивали мои атаки, иногда было просто ошеломляюще.

Ким Кюн-джонг, профессор компьютерных технологий университета Седжона, сказал, что действия ботов были ограничены, отчасти, из-за отсутствия доступных данных для подготовки. Он также добавил, что AlphaGo сумел победить чемпионов в го лишь благодаря изучению большого количества проведённых матчей профессионалами-людьми.

Перспектива развития

Отметим, что Google уже давно желание обучить ИИ игре в StarCraft. Также в этом стремлении к ней Facebook и Alibaba. В августе же 2017 года DeepMind и разработчик StarCraft компания Blizzard выпустили долгожданный набор инструментов разработки ИИ, совместимый с версией StarCraft II, наиболее популярной среди профессионалов.

Эксперты уже предсказывают полный крах человеческого доминирования в StarCraft. По словам Йунг Хан-мина, профессора компьютерных наук университета науки и техники Южной Кореи, когда боты ИИ будут оснащены системами принятия решений высокого уровня, такими как AlphaGo, люди перестанут быть способными их победить.

Искусственный интеллект (слабая его форма) постепенно становится все более умелым. Компьютер с успехом решает даже те задачи, которые всего несколько лет назад считались доступными для понимания лишь человеку. Один из примеров - игра го , где стать чемпионом может лишь тот, у кого хорошо развита интуиция и логическое мышление. Го для машины считалась недостижимым «потолком». Сейчас же мы видим, что на Земле уже нет людей, способных выиграть у машины.

Понятно, что ИИ не только в го играет, круг задач гораздо шире. Тем не менее, специалисты из разных сфер ИТ стараются обучить компьютер сражаться на равных с человеком и в компьютерных играх, с тем, чтобы проверить возможности своих программных платформ. В этом случае человек и бот находятся в одинаковых условиях. Обычно соперников сталкивают лбами на карте стратегии с «туманом войны» , так что оба противника не в курсе, какие объекты и где на этой карте находятся (в обычных условиях игровой «ИИ» знает, где что находится). Именно в таких условиях человек победил машину в StarCraft.

Речь идет о сражении профессионального игрока в StarCraft Сон Бён-гу (Song Byung-gu) с четырьмя различными StarCraft ботами. Один из них, «CherryPi» был разработан корпорацией Facebook. Другие боты созданы компаниями из Австралии, Норвегии и Кореи.

Игра проходила в Университете Sejong, Сеул, Корея. С 2010 здесь проходят соревнования по StarCraft с участием людей и машин. Мероприятие поддерживают различные организации (как коммерческого толка, так и научно-исследовательские и общественные). Конкретно это соревнование было поддержано, в частности, Institute of Electrical and Electronics Engineers (IEEE).

Понятно, что матчи по го и StarCraft нельзя сравнивать. В первом случае игрок видит всю доску и ему нужно найти выигрышную стратегию. В случае StarCraft тоже нужна выигрышная стратегия, но здесь приходится держать в уме многие объекты на карте, иметь неплохую реакцию и уметь действовать внезапно, непредсказуемо. Понимая все это, разработчики ИИ решили использовать среду StarCraft для тренировки машины.

Известные игроки в StarCraft ранее уже заявляли, что очень хотели бы сразиться с компьютерным противником. Компании, которые работают в сфере ИИ, например, DeepMind, приветствовали это желание, заявив о намерении провести подобные соревнования в будущем.

И это будущее наступило - люди смогли сразиться с ИИ. У компьютера не сложилось - человек победил всех четырех ботов за 27 минут в общем зачете. Максимальная продолжительность матча составила 10 минут и 30 секунд. Самый короткий матч продолжался 4 с половиной минуты. И это при том, что боты за единицу времени выполняли гораздо больше действий, чем человек. Например, система, созданная норвежскими специалистами, способна выполнять 19 000 действий в минуту. Киберчемпионы из мира людей в лучшем случае способны выполнять несколько сотен ходов-действий в минуту.

Сон заявил , что боты действуют не так, как люди, их стиль игры заметно отличается. «Мы, профессиональные игроки, начинаем битву только тогда, когда у нас есть шанс победить с нашей армией и прочими элементами», - заявил он. Люди начинают драку, когда уверены в своих силах. Но боты, с которыми сражался Сон, почему-то стремились сохранить своих юнитов живыми, не принимая особо смелых решений. По мнению киберспортсмена, единственное, что выгодно отличало ботов от людей в игре - это организация. В частности, боты управляли толпой своих юнитов весьма умело, стараясь защитить себя от нападок Сона.

По мнению Ким Кьюнг-Джунга, организатора соревнований, ботам, которые соревновались с человеком, попросту не хватило опыта. Проведенных ими матчей было слишком мало. Например, AlphaGo провел десятки тысяч матчей, как с противниками-людьми, так и со своими копиями, прежде, чем научился играть на высоком уровне. А вот у ботов, играющих в StarCraft такой возможности не было.

Впрочем, эта ситуация вскоре изменится. Еще в августе DeepMind и Blizzard Entertainment анонсировали инструменты по разработке ИИ, совместимые со StarCraft II. На данный момент именно эта версия игры наиболее популярна среди киберспортсменов. Некоторые эксперты считают, что ИИ вскоре будет «выносить» человека точно так же, как это случилось в го. «Как только ботов оснастят системами принятия решений высокого уровня, как у AlphaGo, люди больше не смогут выиграть», - заявил Юнг Хан-мин из Университета науки и технологий, Корея.

Представитель Facebook, занимающийся разработкой CherryPi, сообщил, что компания давно хотела видеть, как ИИ будет сражаться против киберспортсмена. После матча Facebook получила огромное количество полезной информации, которая будет использоваться для совершенствования бота.