BUGFIXES, BUGFIXES, BUGFIXES

and a few improvements

• [Image/Color/Text Search] Fixed “Task cancelled” exception being shown in UI
• [Text Search] Fixed crash that happened when trigger with running text recognition was disabled by enabling condition
• [C# Action/Trigger] Added few more options like automatic stop of the script if it is running for too long + few other UI/UX tweaks
• Done some documentation updates which are reflected in both the SDK and on a website. In the following weeks there will be a bunch of articles/examples focusing at beginner auditory

True Alpha-version

This version of EyeAuras contains dozens of different changes and tweaks in the very core of the system - image capture and processing pipeline.

This was all done to push as much performance as possible by removing things that are not needed at this point or proven to be not good in the long term. Tests are showing, that in most scenarios machine learning-based search is now about ~15% faster overall, with some extreme cases being twice as fast as they were before. But the main parameter which was improved is latency. So now the program reacts much-much faster on anything that happens on the screen - at each stage in the system (capturing the image, applying effects/resizing, preparing it for ML/image analysis and delivering analysis results (predictions and found bounding boxes) are now delivered to triggers much-much faster. In some cases latency has dropped from millisecond-range (i.e. 1+ millisecond) to less than 100 microseconds. This will be very noticeable in high-frequency scenarios, like trying to react on some object on the screen (e.g. item positions on the ground in Path of Exile or aimbot-like minigames where you have to track the object. This is not the latest iteration of improvements, I am planning at least two more large improvements (mainly in machine-learning areas), but they will be delivered later, probably even after the next large release to “Stable” channel at the end of Feb.

Scripts v3.0

Huge update to the scripting subsystem. This was all done as a part of work around Behaviour Trees - since the very beginning having fast and convenient way to prepare smaller bits of code embedded right into the tree itself was a major goal  and the current implementation is way too heavy for that - it is powerful, but too verbose and heavyweight.

Right now it is early testing phase and in the coming weeks there will be a bunch of scripting related updates, but if you want to start coding - do not hesitate to try out the newer system and, if you have any questions, contact me in Discord and ask anything. Me and linqse will do our best on writing documentation about the new API with examples and everything.

Few notes:

• Nuget packages - they are already supported, but are disabled for now. I want to cleanup all potential internal issues first and after that allow people to use external dependencies
• C# script Action and Trigger are already using v3, but WebUI is still on v2. Reason is that WebUI has several features that still require porting them from v2 to v3 to match the expected functionality, e.g. exporting/importing code as C# project. This will be implemented in the nearest weeks and released as a part of separate update

Behaviour Trees

Still in development, at this point the core is mostly done and is already functional, but not stable enough. This will be main focus for the next two weeks. Before releasing them the plan is to:

1. Release all things which are now in “alpha” stage and are disabled by default:

• scripts v3
• file-based storage: storing EyeAuras config in an explorer-like way, 1 aura = 1 file, with built-in version control support
• file references: this allows to store and distribute even large binary files as part of auras, e.g. neural networks

2. do exactly 1 release to “stable” branch which will include all of the above, but will not include trees. Lifecycle of stable versions is approximately 2-2.5 months, so this will give just enough time to test out trees in alpha

Here is an example of how behaviour tree looks like in action for Lineage 2 bot - this is a combination of WebUI (window in right part of the screen) and Behaviour Tree for the logic. This bot picks target, attacks using combination of skills, heals/resummons pet if needed and does a few other things.

Watch the video here

P.S. This was recorded not for public demo purposes, so there is some glitching going on with bot UI progress bars, the main thing there is the tree

ИСПРАВЛЕНИЯ ОШИБОК/УЛУЧШЕНИЯ

• [Исправление ошибок] Исправлена ошибка, из-за которой пользовательский интерфейс вылетал при переупорядочении элементов
• [Исправление ошибок] Исправлена ошибка в наложениях Replica - Сохранение пропорций неправильно рассчитывало ширину/высоту наложения при изменении размера источника
• [Пользовательский интерфейс] Когда у ауры есть только 1 действие/триггер/наложение, редактор для этого элемента будет расширен, чтобы занять все доступное пространство. Это должно сделать работу с такими аурами гораздо приятнее, особенно после того, как я адаптирую все редакторы для использования этого изменения.

Preview window redesign for image/color/ML/text search triggers

The area selection workflow and image preview have been significantly reworked.

• Gradual zoom — you can now use the mouse wheel to zoom in and out. Hold the left mouse button to pan the image.
• Selection rework — you can now select an area directly in the preview and use Ctrl+C or the toolbar button to copy part of the image to the clipboard or use it as a search template.
• Save screenshot / video — this has been available in the effects window for a long time, but the UI has changed and it is now available directly in the preview panel for easier access.
• Video playback — you can now load any video into the preview panel and use it to extract an image template or choose the correct capture area.
  • Note: the ability to fully replace the captured stream with video footage will be released a bit later. This will let you configure your auras without launching the actual game.

In addition, the UI for these trigger types is now slightly simplified by default, with an option to enable advanced mode, so it feels less intimidating for new users.

Replay functionality in image/color/ML/text search triggers (alpha)

Capturing animated images has always been a problem — blinking icons, short buffs/debuffs, and so on. That is no longer an issue: the new Replay button lets you record video and immediately play it back in the built-in video player. Zooming, area selection, clipboard copying — it is all available there, with more features still planned (for example, applying effects to video footage).

Network message broadcasting functionality (very early alpha)

The Send message / Network message action/trigger pair is a powerful tool that can help you build your own managed network of connected EyeAuras instances. This has been available for several years already and is mainly used for multiboxing across multiple PCs.

The main issue has always been latency — all messages had to go through one of the EyeAuras servers, which introduced delay. The new broadcast mode lets you use your local network to exchange messages between PCs. This almost completely eliminates latency.

This feature is still in very early alpha and the setup is still rough — you currently have to specify the IP range manually. In the final version, this will most likely be configured automatically by the program.

To use this new feature, set ChannelId to:

• On the Server EyeAuras instance (the one listening for messages) — set broadcast://255.255.255.255/anychannelname
• On the Client EyeAuras instance (the one sending messages) — set broadcast://192.168.1.255/anychannelname

Important! 192.168.1.255 is only an example — replace 192.168.1 with your actual subnet. You can leave the final "255" unchanged, because it tells the program to broadcast the message to the entire subnet rather than to a specific IP.

p.s. by default, the program uses port 53082 for communication. You can choose any other port if you want by adding it right after the IP in ChannelId (for example, broadcast://172.16.15.255:55055/mychannel)

Bugfixes / Improvements

• Added the Getting Started panel, which is shown for empty auras. It includes Import / Subscription buttons, which should make life easier for users who just want to use someone else's aura pack.
• [Search triggers] Fixed a bug with some capture sources (for example, Shared surface) that occurred when Borderless capture was selected.
• [Bugfix] Fixed a bug that, in some cases, caused the program to freeze on startup (a very old and nasty bug — hopefully it is finally dead).
• [WindowSelector] WindowSelector now captures the process name as the last argument. Previously, when selecting a window, the program captured “Window handle OR Window title”. Now it captures “Window handle OR Window title OR Process name”.
• [Bugfix] Fixed a rare crash in LegacyScriptReferencesResolver.
• [Bugfix] Fixed a bug in the aura selection window — in some cases, auras were hidden and unavailable for selection.
• A LOT of work has gone into behavior trees. The first version is planned for release at the end of February.

Bug Fixes / Improvements

• [PlaySound] Fixed an issue that prevented this action from being created through the user interface
• [PlaySound] Fixed an issue that could sometimes reset the selected notification back to Disabled

Отправка ввода и отправка текста больше не доступны в UI

Эти 2 действия заменены на Отправить последовательность. Его проще использовать и настраивать, особенно в простых сценариях. Функциональность записи макросов еще не полностью готова, но я посмотрю на это в одном из следующих релизов, я уже получил кучу отчетов об ошибках.

p.s. старые действия все еще полностью функциональны, поэтому ничего не сломается, будут затронуты только новые ауры

Новый поиск окон / выбор позиции клика

Полностью заменил старый селектор, который был слишком медленным и ненадежным. Новая версия должна быть намного-намного лучше. Пожалуйста, отправьте отзыв Контакты | EyeAuras Wiki.

ИСПРАВЛЕНИЯ ОШИБОК/УЛУЧШЕНИЯ

• [Общие] Исправлена ошибка, которая мешала клонированию и перемещению элементов вверх и вниз
• [Поиск изображений/цветов/ML] Изменено, как работает опция Захват без рамок. Все еще далеко от идеала, но теперь должно покрывать больше случаев, особенно если окна ничего не делают со своими рамками/заголовком
• [EventLog] Исправлена проблема с тем, что журнал событий отображается за пределами приложения.
• [Синхронизация] Исправлена ошибка с тем, что ауры не сохранялись после загрузки новой версии синхронизации
• [Эффекты] Исправлено, что статус IsEnabled не сохранялся в конфигурации (отключенные эффекты были включены при запуске)
• [Nuget в скриптах] Ссылки на пакеты теперь частично поддерживаются подсистемой сценариев
• [EventLog] Добавлена категория «Вводы», которая содержит вводы, сгенерированные программой
• [Сценарии] Сделано так, что если сценарий успешно компилируется, предыдущие ошибки очищаются
• [Условия включения] Исправлено, что свойства условий включения не сохранялись/загружались должным образом в некоторых обстоятельствах
• [Оверлеи] Исправлено «заикание» оверлеев, когда либо пользователь, либо сценарий изменял позицию/размер оверлея
• [SendInputs] Исправлена проблема с позиционированием «Отправить ввод бабушки» (мышь перемещалась неправильно на многомониторных установках
• Все вводы теперь должны быть более надежными в плане позиционирования мыши - изменен способ расчета координат

Последний патч 2023 года решает некоторые проблемы с сетевыми сообщениями и продвинутыми методами ввода (низкоуровневые NT*). На этом этапе я начну сосредотачиваться на следующей большой функции 2024 года - деревьях поведения, которые в основном переосмыслят способ работы с программой, делая автоматизацию намного проще.

С Новым годом, все!

Истинный альфа

Последние три недели были плодотворными, так как я внес множество улучшений, в основном в производительности. Время запуска, использование памяти при запуске и во время работы, использование ЦП и ГП для поиска, а также эффективность обработки конфигурации - все это было улучшено. В некоторых областях производительность увеличилась на десятки процентов. Не менее важно, что было добавлено несколько подсистем, которые позволят мне более эффективно определять и устранять проблемные области в будущем.

В настоящее время есть две заметные проблемы - потребление памяти при запуске (в диапазоне от 1 до 2 ГБ, но после некоторого времени снижается до 500 МБ) и общая отзывчивость интерфейса. Причины обоих явлений понятны, но поскольку быстрого и безболезненного исправления нет, мы будем постепенно двигаться к решениям в течение следующих шести месяцев.

Новый тип ввода - Ввод от бабушки

Ничего особенного, просто еще один метод ввода. Он полезен только в том случае, если по какой-то причине не работают другие методы.

Альфа-тестирование новых подсистем

Были добавлены три новые опции (Кэширование свойств, Хранение в файловой системе и Файловые ссылки), которые можно включить в настройках. Все они направлены на улучшение производительности различными способами. Эти опции все еще находятся в стадии тестирования, поэтому будьте готовы к возможным проблемам, если вы решите их включить, или подождите, пока системы не будут официально выпущены и включены по умолчанию. Ваше участие и отзывы были бы очень ценны.

ИСПРАВЛЕНИЕ ОШИБОК/УЛУЧШЕНИЯ

• Исправлен редкий сбой при импорте (ReplaceId NullReferenceException).
• [UI] Полностью переписана второстепенная панель с логом и переменными.
• [UI] Все окна и оверлеи теперь открываются быстрее.
• [UI] Диалог импорта теперь может выполнять также и синхронизацию.
• [Синхронизация] Исправлена ошибка, которая приводила к сбою программы, если синхронизация была добавлена внутри папки, которая уже была синхронизирована.
• [Скрипты] Множество улучшений в подсистеме скриптов - теперь она работает быстрее и более эффективно с точки зрения использования памяти.
• [Скрипты] В SDK добавлена библиотека ImageSharp. В некоторых аспектах она удобнее, чем OpenCV, и, вероятно, вокруг нее будут строиться будущие API.
• Улучшена точность всех ожиданий и задержек, теперь с погрешностью в пределах 1 мс.

Новый релиз!

Вот собранный список изменений, которые были сделаны в программе за последние 4 месяца.

Было проделано много работы - улучшенное C# скриптование (для Триггеров/Действий и Оверлеев), улучшенная Отправка последовательности (которая теперь полностью заменяет Отправку ввода по функциональности), улучшенная подсистема конфигурации, гораздо более быстрые и эффективные Эффекты изображения (которые теперь могут уменьшать изображения для лучшей производительности) и многое другое.

Также, чтобы удовлетворить потребности нового и чрезвычайно быстро растущего сообщества машинного обучения, я разработал отдельное приложение, чтобы облегчить создание и обучение моделей Yolo, которые полностью поддерживаются функцией ML Search. По моему опыту, это гораздо быстрее, чем подготовка данных вручную, даже учитывая, что это приложение все еще находится на ранней альфа-стадии. Для получения дополнительной информации посетите: Начало работы | EyeAuras Wiki.

Переход на новую технологию пользовательского интерфейса

Одной из основных текущих инициатив является переход на новую технологию пользовательского интерфейса. Это изменение направлено на решение текущих проблем с отзывчивостью программного обеспечения, таких как переключение аур или создание новых триггеров/действий. Хотя этот переход - медленный процесс, потенциально занимающий дополнительные 6-12 месяцев, ожидаемый результат обещает значительные улучшения. Это уже можно увидеть на примере новых улучшенных диалогов Импорт/Экспорт и Привязки, которые теперь используют эту технологию. В течение следующих месяцев вы увидите, как различные части приложения заменяются и переписываются по одной (дерево аур, я смотрю на вас).

Что дальше?

Производительность: основной акцент в следующем обновлении - я полностью переделал систему конфигурации, она в настоящее время находится на стадии тестирования и должна сделать загрузку и работу приложения гораздо быстрее, особенно на ПК с низкими характеристиками. Как я уже упоминал, я перепишу более медленные части приложения, такие как дерево аур, чтобы улучшить пользовательский опыт.

Деревья поведения: В настоящее время находятся в стадии разработки и тестирования, Деревья поведения - следующая важная функция, которую стоит ожидать. Они в основном полностью меняют то, как вы работаете с приложением. Кроме того, они используют новую технологию пользовательского интерфейса, поэтому они гораздо более отзывчивы :)

Оставайтесь на связи для обновлений, и спасибо за вашу постоянную поддержку и использование программного обеспечения!

Новые функции и улучшения

Отправка последовательности 2.0: Объединяет все типы действий для улучшенных входных последовательностей.

Новый движок C# Scripting: Теперь доступен в Триггерах/Действиях (альфа-стадия), расширяя возможности с новыми и улучшенными APIs

Улучшения привязок: Переписанный редактор привязок для лучшей производительности и удобства использования. Гораздо-гораздо-гораздо более отзывчивый и универсальный

Улучшенное скриптование с совместимостью Visual Studio/Rider: Экспортируйте и сохраняйте свой код как проект C# для более продвинутых функций разработки.

Переработка диалогов Импорт/Экспорт: Более отзывчивые, подробные и удобные для пользователя. Ожидается обновление диалога синхронизации в одном из ближайших обновлений

Улучшения производительности и удобства использования

Улучшения сетевых сообщений: Изменения инфраструктуры для лучшей производительности и снижения задержки.

Пользовательский интерфейс оверлея и производительность пользовательского интерфейса: Значительные изменения для лучшей производительности и отзывчивости.

Общие улучшения производительности: Сосредоточены на улучшении пользовательского опыта и отзывчивости программного обеспечения.

Отзывчивость дерева аур: Улучшения интерфейса дерева аур для более плавного взаимодействия.

Другие улучшения

Масштабирование изображений в эффекте пересчета изображения: Теперь поддерживает масштабирование по обеим осям X и Y. Также теперь вы можете уменьшать изображение с помощью эффектов, увеличивая производительность, и приложение все равно сможет вычислить действительные координаты найденного изображения и кликнуть по нему! Это работает для ВСЕХ типов триггеров (ML, Color, Image)

Новые эффекты изображения: Введение эффектов замены цветового диапазона и устранения шума для лучшего анализа изображений.

Улучшения ML Search: Значительные улучшения производительности и новые функции в ML Search. Это больше касается скриптов, так как только они открывают полный потенциал ML.

Исправления ошибок

• [Отправка последовательности/Ввод/Текст]: Исправлена проблема с аварийным завершением работы.
• [Триггер громкости]: Временно отключен из-за конфликтов.
• [Триггер изображения]: Добавлены новые функции для обработки шаблонов изображений.
• [Редактор кода C#]: Улучшения производительности и планы на будущее по переходу на редактор Monaco.
• [Привязки]: Множественные изменения UI/UX для лучшего пользовательского опыта.
• [Отправка ввода]: Исправлены проблемы со скриптами установки драйвера.
• [WebUI Overlay]: Исправлены редкие сбои, связанные с элементами управления пользовательского интерфейса.
• [Исправление ошибок]: Устранена проблема восстановления окна после сворачивания.
• [Поиск изображений/цвета/текста]: Исправлены различные ошибки, включая выбор области и интерфейс выбора FPS.
• [Оверлеи]: Исправлены проблемы с смещениями и сбоями в определенных сценариях.
• [Граф зависимостей/Просмотрщик]: Исправлены проблемы с отображением.
• [Сетевое сообщение]: Исправлен сбой из-за несоответствия версий сервера/клиента.
• [Поиск текста]: Устранен сбой, связанный с доступом к памяти Tesseract.

Пожалуйста, обратитесь к отдельным журналам изменений обновлений, доступных на сайте для получения более подробной информации.

Bug Fixes / Improvements

• [Send Sequence/Input/Text]: Fixed the crash "Attempt to delete something that was already deleted..."