New Windows OCR Text Recognition Method Added

What does this mean?

The TextSearch trigger now includes new options in the "Symbols" dropdown. These let you use Windows-based optical character recognition (OCR) to convert images into text. In testing, this approach proved to be more reliable and performant than the previous Tesseract-based OCR used in EyeAuras.

Please note: to use Windows OCR, you must install the required language pack in Windows. For example, if you want to recognize Spanish characters, the Spanish language pack must be installed on your system.

There is also one limitation that still needs to be addressed: Windows OCR does not support multilingual OCR. In practice, this means it cannot recognize Russian and English characters in the same sentence, for example. There are some well-known workarounds for this, but this method should first be tested as-is, without additional logic layered on top.

A few tips:

• Binary thresholding, which was widely used with Tesseract OCR, is much less effective with Windows OCR. This is one of the reasons the new method is both faster and more reliable.
• Size matters. If OCR returns empty text, try adding scaling through the UI settings. In many cases, even a small image size adjustment can noticeably improve results.
• If you installed a new language and it does not appear in the dropdown, simply restart the application.
• You can read more in the wiki.

Bug Fixes / Improvements

• [Image Effects] Improved the Eyedropper functionality — you can now specify a range that will be applied to the selected color. Exact selection creates an exact match, while narrow/wide applies scaling to create a region.

ИСПРАВЛЕНИЯ ОШИБОК/УЛУЧШЕНИЯ

• [SendInput] Исправлены и улучшены скрипты установки драйвера для виртуального драйвера и драйвера ввода. Они не работали правильно после последних изменений в области безопасности.
• [WebUI Overlay] Исправлен редкий сбой, который происходил при использовании определенной комбинации элементов управления пользовательского интерфейса.

ИСПРАВЛЕНИЯ ОШИБОК/УЛУЧШЕНИЯ

• [Исправление ошибки] Окно не восстанавливается после сворачивания
• [Производительность] Улучшена производительность ведения журнала - сокращено количество взаимодействий с использованием WinAPI
• Окна Настройки и Эффекты изображения теперь по умолчанию меньше, чтобы подходить для низких разрешений (1280x720)

Bug Fixes and Improvements

• [Speech Overlay] Fixed an issue with region selection when using "Select Region"
• [Image Overlay] Fixed a crash that occurred when the user selected an unsupported file. The overlay now displays a default image to indicate that something went wrong
• [Image Overlay] Added support for the TGA (Targa) format

Добавлено лицензионное соглашение

Чтобы учесть юридические аспекты, я включил обязательное лицензионное соглашение. В этом соглашении указано, что пользователь несет единоличную ответственность за соблюдение лицензионных соглашений любых приложений, которые они автоматизируют.

Как многие из вас знают, игры часто явно указывают, что автоматизация действий любым способом запрещена и может привести к бану. Пожалуйста, имейте это в виду.

Улучшения техники активации окна

Для эффективной работы EyeAuras окно, получающее ввод, обычно должно быть активным. Если это не так, у EyeAuras есть некоторые методы, чтобы автоматически вывести его на передний план.

На первый взгляд, это кажется простым вызовом API в одну строку. Однако из-за различных особенностей Windows это не так просто. В результате я реализовал несколько механизмов для увеличения вероятности успеха.

В этом релизе я ввел дополнительный код для улучшения производительности, особенно в крайних случаях и для приложений, устойчивых к автоматической активации.

Вкратце, если у вас возникают проблемы с активацией окна (например, окно не активируется, когда вы отправляете ввод), пожалуйста, свяжитесь со мной, так как в этой версии были сделаны корректировки.

YooKassa (бывшая YandexKassa) вернулась

Это может быть интересно для пользователей из РУ/СНГ - YooKassa теперь снова доступна и вы снова можете оплачивать картами.

ИСПРАВЛЕНИЕ ОШИБОК

• Исправлена проблема с тем, что якоря Conent/Position не сохранялись

Действия теперь можно включать/отключать

Теперь любое действие в Auras можно временно отключить, нажав на флажок рядом с его названием. Это может быть полезно для отладки и также доступно для доступа через систему скриптов, так что вы можете переключать, какие действия будут выполняться, если пользователь выбрал некоторый набор опций в вашем Пользовательском интерфейсе / файле конфигурации / и т.д.

И еще один пакет изменений системы якорей

В 5397 я уже внес некоторые изменения в работу якорей на разных экранах EyeAuras, но этого было недостаточно, чтобы охватить некоторые случаи, например, клик по центру изображения, найденного с помощью Поиска изображений

Так что теперь у нас есть два разных типа якорей - Позиция и Содержимое. Это должно обеспечить дополнительную гибкость системе, но также может добавить некоторую путаницу.

Вот основное правило:

• Если вы хотите вычислить координаты точки (т.е. X и Y), в большинстве случаев вам придется использовать якорь Содержимое. Клик SendInput по центру изображения, найденного с помощью Поиска изображений, является лучшим примером в этом случае.
• Если вы хотите расположить прямоугольник относительно другого прямоугольника (X, Y, Ширина, Высота) - вам следует обратить внимание на якорь Позиция. Это полезно, когда вы хотите создать своего рода "панель", например, разместить несколько наложений, показывающих время перезарядки, рядом друг с другом. Используя якоря, вы можете избежать указания координат каждого наложения и использовать Привязки для перемещения всей панели как единого наложения

Более подробная информация и примеры можно найти на https://wiki.eyeauras.net/en/coordinate-system

ИСПРАВЛЕНИЯ ОШИБОК / УЛУЧШЕНИЯ

• Исправлена проблема с тем, что Публичные Auras становились Неопубликованными после обновления пакета в Библиотеке Aura
• Панель Переменных Aura теперь должна быть снова видна, она была случайно скрыта с главного экрана
• Исправлена проблема с Привязками в SendInput - они были временно отключены некоторое время назад и теперь они снова в деле. Так что комбинация клавиш теперь снова настраивается через конфиг/скрипт.
• Исправлена проблема с недействительными координатами, определенными в Send Input, когда некоторая аура была Связана
• Улучшена скорость компиляции C# Script

Основной фокус

В июне основное внимание было уделено улучшению скриптов. Большинство результатов этой работы будут доступны в августе - деревья поведения, поиск пути, визуализация. Я активно работаю над проектом, связанным с Diablo 4, который объединит большинство функций EyeAuras, чтобы доказать, насколько он способен в своем текущем состоянии, поэтому большинство систем, которые я реализую для бота, будут доступны всем пользователям, как только их API стабилизируется. Я напишу подробный пост, как только они будут готовы к публичному использованию. Не стесняйтесь обращаться ко мне напрямую, если вы хотите попробовать некоторые из них раньше других.

Обновления Wiki

Много изменений в Wiki - https://wiki.eyeauras.net/en/home

• Добавлена информация по всем (почти) типам действий/триггеров и наложений, доступных в программе
• Добавлена информация о Системе координат, которая используется в некоторых действиях/триггерах для определения области захвата, области клонирования или координат клика: https://wiki.eyeauras.net/en/coordinate-system
• Добавлена информация о Выражениях совпадения текста, которые используются для оценки распознанного текста или полученного сетевого/телеграмм-сообщения: https://wiki.eyeauras.net/en/text-match-expressions
• Добавлена информация о Выражениях совпадения окон, которые используются для указания окна, которое должно быть выбрано как целевое окно: https://wiki.eyeauras.net/en/window-matching-expressions
• Взгляните на Просмотрщик зависимостей, который очень часто упускается из виду и позволяет очень легко отладить сложный набор аур: https://wiki.eyeauras.net/en/overlays/dependencies-viewer
• Добавлена некоторая техническая информация о Пользовательском интерфейсе: https://wiki.eyeauras.net/en/overlays/custom-ui
• Привязки: чрезвычайно мощный механизм, который позволяет связывать свойства триггеров/действий вместе - Привязки | EyeAuras Wiki
  • вы можете найти инвентарь с помощью Поиска изображений и привязать найденную область как исходную область для другого поиска изображений, который теперь будет искать только в области инвентаря
  • привязать координаты наложения к Поиску изображений/текста/цвета, связать статус блокировки наложения с HotkeyIsActive, и теперь пользователь может быстро изменить зону захвата, нажав на горячую клавишу и перетащив наложение куда-то на экран
• Синхронизация: механизм, который позволяет более легко делиться набором аур, над которыми вы постоянно работаете

Улучшения системы якорей СУЩЕСТВЕННОЕ ИЗМЕНЕНИЕ

Якоря - это система координат, которая используется везде, где вам нужно выбрать область чего-то - экрана, изображения и т.д. Идея заключается в том, что, указывая разные точки отсчета, вы можете легко выровнять зоны захвата или вывода относительно друг друга. Более подробная информация и примеры можно найти на https://wiki.eyeauras.net/en/coordinate-system

Улучшения перенаправления ввода

Довольно узкоспециализированная функция, доступная в настройках, которая позволяет перенаправлять все пользовательские вводы через определенный симулятор.

• Быстрое включение/отключение перенаправления из главного окна, этот режим доступен, если в настройках установлен симулятор для перенаправления

Улучшения поиска ML

• В окне Эффекты теперь можно настроить автоматический захват/запись скриншотов, что очень помогает в сборе набора данных для обучения

• Улучшения производительности, должны быть заметны особенно в режиме CPU
• Исправлен сбой, связанный с загрузкой несовместимой/сломанной модели
• Исправлена утечка памяти, которая происходила в режиме Сегментации
• Улучшения Сегментации и масок - введен новый режим "Группировка масок по классам", который позволяет склеивать все маски одного класса в одну, тем самым значительно упрощая их обработку.
  • например, нейронная сеть обнаружила 6 разных областей, помеченных как "Дорога". Если вы выберете "группировать по классу", все бинарные маски будут объединены вместе в 1 "Дорогу", а также их ограничивающие рамки
  • Сегментация - это процесс захвата не только ограничивающих рамок объектов, но и их точной формы

ИСПРАВЛЕНИЯ ОШИБОК / УЛУЧШЕНИЯ

• Улучшения захвата мыши - меньше задержек
• Добавлено отображение статуса
• Кнопка 'Новая реплика' удалена. Теперь, чтобы создать реплику, вам нужно перейти: Новая Аура -> Наложения -> Реплика и указать область для захвата/репликации
• Оптимизация скорости запуска
• Drag'n'Drop должен быть более отзывчивым
• Исправлена проблема в AuraTree, связанная с резкими толчками при прокрутке/выборе элементов

Main Feature: Enhanced Scripting with Visual Studio/Rider Compatibility

Two months ago, I introduced a major new feature: the CustomUI overlay. It gave developers the freedom to build custom interfaces using the dynamic duo of C# and Razor, greatly expanding the possibilities for bot/aura customization. It also made navigating the EyeAuras interface more user-friendly.

That said, I realized there was still room for improvement. Developers are used to the power of integrated development environments (IDEs) such as Visual Studio and Rider, but until now those tools could not be fully utilized in the EyeAuras workflow. To change that, I improved the CustomUI overlay so your code can now be exported and saved as a C# project.

The exported project, including EyeAuras.SDK, can be opened in any IDE and gives you access to full autocomplete, unit testing capabilities, and much more. Keep in mind, however, that you still need EyeAuras to actually run the code. I am also working on support for connecting external NuGet packages, which will be the main focus in July.

Another highlight is the new Live Development mode, which lets you push changes into EyeAuras in real time. Whether you are tweaking styles or adding new bot logic, your changes can be reflected within seconds. The potential here is huge, especially with access to triggers, captured images, input simulators, and more.

Please note that actions and triggers currently still run on the old scripting engine, but I am working on migrating them to the new scripting engine while preserving backward compatibility.

Color Search Trigger: Mathematical Similarity Calculation Method

In addition to the previous improvements, I added a new similarity calculation method based on Euclidean distance to the color search trigger. You can read more about it on the EyeAuras Wiki.

Bug Fixes and Improvements

• [Overlays] Performance has been improved by using separate CPU cores, which makes the UI more responsive.
• [Bug Fix] Fixed an issue that caused a crash when switching between auras while the editor was still in the loading phase.
• [Bug Fix] Resolved intermittent crashes in Window Selector, the component used to choose the target window.
• [Bug Fix] Fixed an inconsistency in Window Selector where the matching window was not always selected automatically.
• [Bug Fix] All dialog windows were optimized to open faster and no longer display visual artifacts.
• [Image/Color/Text Search] [Bug Fix] Fixed an issue where capturing unresponsive windows could cause the application to freeze.
• [Image/Color/Text Search] [Bug Fix] Removed a UI limitation that prevented selecting 0 FPS. This fix is especially useful for script-driven scenarios.

• [Denoise Effect] Should be more effective now in, well, removing noise
• [Effects Editor] UI changes - added Copy/Paste/Clear, made some performance optimizations
• [Bugfix] Fixed region selection when there were scaling image effects applied (Resize, Rescale)
• [Bugfix] [ImageSearchTrigger] “Save image to file” was not working correctly - it was saving Preview rather than the current image
• [Bugfix] *[Search] Window borders were not always correctly calculated causing image cropping
• [Bugfix] [SendSequence] Fixed crash that occurred when “Show notification” was enabled
• [Bugfix] [SendSequence] “Show notification” should not correctly show current sequence execution progress

• [Bugfix] Removed “Add to blacklist” button in Window Selector which is just a leftover of a functionality that was removed ages ago
• [Rescale Image Effect] Image can now be scaled by both axes - X and Y which will be useful for gathering a data set for machine-learning purposes