Полная переработка диалогов Импорта/Экспорта

Более отзывчивые, более подробные, более удобные для пользователя и, надеемся, менее ошибочные :)

P.S. Диалог синхронизации еще не готов, он будет частью блока изменений, связанных с механизмом публикации/синхронизации

Новый движок скриптов C# доступен в Триггерах/Действиях - альфа

В ближайшие дни я опубликую больше информации, но в общем и целом, движок C#, который уже использовался в WebUI для использования преимуществ Blazor, был портирован и теперь он также доступен в действиях и триггерах C#. Это означает, что ТЕПЕРЬ каждая функция, которую вы могли использовать в WebUI, доступна и в триггерах/действиях, таких как:

• использование новых и улучшенных API, таких как Interface IAuraTreeScriptingApi | EyeAuras Docs, Interface IVariablesScriptingApi | EyeAuras Docs, Interface IAuraAccessor | EyeAuras Docs и т.д.
  • Гарантируется, что эти API будут совместимы в будущих версиях, я буду прилагать усилия в этом направлении. Когда мне придется внести изменения, которые нарушат совместимость, будет создан специальный слой совместимости поверх старых API, чтобы избежать нарушения кода.
  • План заключается в том, чтобы позволить скриптам внедрять набор API (например, SendInputScriptingApi), которые обеспечат легкий доступ к анализу изображений, отправке ввода и всем другим функциям, которые в настоящее время присутствуют в EyeAuras
  • API триггеров/действий/оверлеев все еще могут изменяться, так как у меня еще нет хорошего решения для слоя совместимости
• использование нескольких файлов для структурированного хранения вашего исходного кода
• ссылка на другие ауры на основе C# для доступа к реализованным там классам/методам. То есть вы можете подготовить одну ауру со всеми вспомогательными функциями и использовать ее в своих проектах
• экспорт csproj и редактирование кода в Visual Studio / JetBrains Rider
• редактирование проекта в реальном времени через Monitor. Это не так полезно, как с WebUI.

Автозавершение на данный момент отключено, я еще не решил, стоит ли сразу переходить на редактор Monaco или внести некоторые улучшения в существующий текстовый редактор. Обновлю информацию как можно скорее.

Одно из лучших нововведений в этом - теперь, когда система скриптов однородна, любое улучшение будет мгновенно отражено везде - WebUI/C# действие/триггер и Behaviour Trees.

P.S. Behaviour trees, скорее всего, будут выпущены в декабре и будут основываться на том же движке. Оставайтесь с нами, это будет очень-очень круто, я вам обещаю :)

Новый сайт документации API

Новый сайт, на котором размещена документация API для EyeAuras, теперь доступен по адресу https://docs.eyeauras.net.

Это будет особенно полезно для тех, кто использует EyeAuras в качестве платформы для скриптов. Однако Wiki остается основным источником для неразработчиков.

В настоящее время в документации отсутствует раздел демонстраций и примеров, который является неотъемлемой частью любой документации. Усилия, которые я и linqse предпримем в декабре, будут направлены на обогащение этой области. Кроме того, большинство публичных интерфейсов и классов теперь включают комментарии XML.

Если какая-либо важная информация отсутствует, пожалуйста, сообщите нам об этом.

Улучшенный механизм отчетности об ошибках

Понимание специфики того, что пошло не так, критически важно при возникновении проблем. Наш новый механизм отчетности об ошибках собирает все ошибки в рамках Действия/Триггера или всей Ауры. Эти ошибки иерархические, то есть ошибки Ауры включают все ошибки из их действий/триггеров, подобно папкам. Пользователи могут отметить ошибки как прочитанные по своему усмотрению.

Улучшение производительности - Кэширование свойств (Альфа)

Введение новой функции, направленной на значительное сокращение количества чтений/записей на диск и незначительное снижение нагрузки на процессор. Эта функция все еще находится в стадии тестирования и может быть включена в настройках в опции Кэширование свойств.

ИСПРАВЛЕНИЕ ОШИБОК/УЛУЧШЕНИЯ

• [Триггер громкости]: Временно отключен из-за конфликтов с подсистемой.
• Безопасный режим: Улучшен механизм, который обнаруживает неправильные выходы из приложения.
• [Триггер изображения]: Добавлена функция копирования образца изображения в буфер обмена и вставки из него.
• [Редактор кода C#]: Улучшения производительности делают редактор более отзывчивым. Мы планируем в конечном итоге перейти на редактор Monaco.

CVATAAT Improvements (also known as YoloEase)

A collection of fixes and quality-of-life improvements. The biggest change is support for working with multiple projects at the same time — you can now save, load, and share configuration files, and train multiple models.

Oh, and yes — I renamed it to better reflect what the tool actually does.

Fixes and improvements

• Improved startup time, especially noticeable if you use scripts
• Added logging configuration options to minimize performance impact
• Multiple UX/UI improvements in the binding editor

Binding Improvements

Bindings | EyeAuras Wiki is a mechanism that lets you connect multiple action/trigger properties together. For example, you can take the coordinates of a detected image from Image Search and move the mouse there using Send Sequence.

I completely rewrote the Bindings Editor, where all of this is configured. It is now faster, more responsive, and generally easier to use.

CVATAAT Improvements

There are a LOT of different improvements and fixes here: performance, UX, and bug fixes. Listing every single one would not be very useful, so it is better to try it yourself: Getting Started | EyeAuras Wiki

I know there are already some successful use cases, so the technology does work, and training through CVATAAT is definitely easier than doing everything manually.

Bug Fixes / Improvements

• Fixed a memory leak that occurred in some cases when image effects were used

Send Sequence 2.0

Welcome to the improved Send Sequence action. It now combines all Send action types into one: it can send clicks, type text, move the mouse, and click the mouse, including support for links and anchors.

What’s all the fuss about?

For about 1.5 years, there were 3 separate Send action types: Send Input, Send Text, and Send Sequence.

Each one covered its own specific set of features:

• Send Input was mainly focused on clicking somewhere, such as an image location, anchors, and similar targets.
• Send Text supported several text input methods, such as typing character by character or using the clipboard.
• Send Sequence was always focused on “playing back” longer input sequences, but without the precision of Send Input.

That is now a thing of the past. The redesigned version has the same capabilities as all previous Send action types, and it is much easier to extend with new features and new blocks with any kind of functionality, for example:

• selecting a coordinate
• performing math operations
• using the result to move the mouse

What are the benefits?

The main benefit is that building input sequences is now much easier. For example, if you want to click a specific image, you no longer need to alternate between Send Sequence and Send Input.

I also plan to focus on improving Send Sequence going forward, making it more flexible instead of splitting time across 3 different Send action types.

What should I do with the old Send Input and Send Text actions?

From now on, Send Text and Send Input are effectively in maintenance mode. I will not be adding new options to them or actively working on them anymore.

At some point in the future, they will be fully deprecated and automatically converted into Send Sequence.

You can convert them manually at any time by clicking the Convert to Send Sequence button shown at the top of each Send action. For now, the conversion does not remove the original action, so you can verify that the new one behaves exactly as expected.

Improved image/color/text search: borderless mode

As the title suggests, I added a new option to all of these triggers that allows capturing any window without its border.

In addition, all actions that work by linking/anchoring to the position of a found image will take the missing border into account and adjust coordinates accordingly.

This makes tracking objects in applications that are not running in fullscreen mode easier than ever.

Improved color search

A new option has been added that allows searching for specific pixel blocks of a given color. There is a limited set of supported block sizes, such as 2x2, 4x4, and so on, and the code has been optimized for better overall performance.

Based on my tests, 4x4 blocks give the best results.

Keep in mind that under the hood, this mechanism is very similar to how image search works, so in some scenarios it may still be better to stick with image search. In other cases, though, this new color search mode really shines.

And of course, you can configure anchors/links to the found blocks as well.

Watch the video here

CVATAAT improvements

A fairly detailed documentation page has been added, and it should answer most of your configuration-related questions.

The tool is working and can already be very useful even with its current feature set.

Added support for training with Google Colab

Originally, the tool only allowed training models locally on your own PC using your own hardware. That has obvious limitations: you need to actually have the hardware.

Cloud training makes it possible to use enterprise-grade GPUs such as the A100 for faster and more efficient training in some cases.

It does come with its own limitations, but it can be very useful in many situations. Support is still somewhat limited for now—for example, auto-annotation is not yet available in this mode—but I will continue expanding it.

Bugfixes / Improvements

• [Changelog] Fixed a bug that caused changelogs to be displayed incorrectly, with the text getting “mixed” together
• [Offset, Anchors] Fixed a bug that caused crashes in some cases when adjusting Offset/Anchors in image/text/color search

Bug Fixes / Improvements

• [Overlays] Fixed how offsets work and resolved a crash that could occur in some cases when updating anchors/offsets.
• [Graph / Dependency Viewer] Fixed an issue that caused the graph to display incorrectly due to a missing JS file.

Improve Your Bot with Machine Learning-Based Image Analysis

Machine learning—especially object detection, classification, and segmentation—can dramatically expand what game bots are capable of. Imagine bots that can accurately identify in-game items, enemies, and terrain, or classify player behavior to make smarter and more effective decisions. The hard part is getting started: there is often a ton of information to sort through, and setup can be complicated.

Meet the CVAT auto-annotation tool — your new go-to tool for training ML models.

CVATAAT is here to make that process easier. Built for people who are new to botting, it helps you prepare and train your game data with minimal hassle. It’s free, runs on your own computer, and is focused specifically on gaming use cases. Just feed it your game images, label them, and CVATAAT does the heavy lifting by quickly training and delivering optimized models that you can then use in EyeAuras with the ML-Search trigger.

This is still an early alpha, so things may go wrong. Please report any issues so we can make the model preparation process as simple as possible together. I genuinely believe this is the future, and with this tool I want to clear some of the obstacles out of the way.

Bugfixes and Improvements

• [SendSequence] Added support for mouse wheel up/down. For now, this is available only in SendSequence.
• [Dependencies Viewer/Graph] Now uses a different method to render auras/dependencies. It should be much more responsive now.

ИСПРАВЛЕНИЯ ОШИБОК/УЛУЧШЕНИЯ

• [Сетевое сообщение] Исправлен сбой, который происходил из-за несоответствия версий сервера/клиента

Улучшения автообновления

В Настройках появилась новая опция: "Автоматическая загрузка обновлений". Это гарантирует, что новая версия будет загружена в фоновом режиме, как только она станет доступна, и вы сможете установить обновление гораздо быстрее, чем раньше.

• Вы сохраняете возможность отложить обновление, если сейчас не готовы к установке. Система будет ждать вашей команды!
• Интересно, что в обновлении? Просто нажмите на значок облака, чтобы получить доступ к всплывающему окну с подробной информацией.
• Я усовершенствовал поведение всплывающего окна, чтобы оно было менее навязчивым. Вместо того, чтобы получать уведомления о каждом незначительном обновлении или информации, теперь вы увидите дискретное уведомление рядом с маленьким значком облака в заголовке окна.
• Уведомления об ошибках также были оптимизированы. Короткие сообщения об ошибках появятся рядом с значком облака, а подробные сведения об ошибках будут отображаться во всплывающем окне.
• Журнал изменений также был переписан с нуля. Не стесняйтесь комментировать новый UX, ваше мнение важно!

ИСПРАВЛЕНИЕ ОШИБОК/УЛУЧШЕНИЯ

• [SendInput] [Usb2Kbd] Я ввел новую опцию "CharSet", позволяющую вам выбирать между ANSI и Unicode. Это улучшение направлено на обеспечение совместимости с различными версиями ОС. Настройка по умолчанию - ANSI, что должно быть достаточно для большинства пользователей.

Send Network Message Action / Network Message Trigger Improvements

Infrastructure changes have been rolled out that significantly improve the performance of sending and receiving network messages. This can be used to build a network of interconnected EyeAuras instances that perform actions together, such as remote control, multiboxing, and similar setups.

There are now multiple hubs in each region (RU/EU), and the system will try to choose the one closest to your physical location. This should noticeably reduce latency, especially for RU/CIS users, who previously sometimes used EU servers even for internal traffic. Select the hub closest to you, and the new routing rules will try to use the server in that region that provides the best latency.

As with any infrastructure change, there is always a chance that something might break. If you notice increased latency (or even just higher perceived latency), or something does not work as expected, please let me know.

Latency

In addition to deploying extra servers and adjusting routing, I also changed how network messages are processed, which should further improve overall latency. You can now see the latency for each message directly next to its timestamp. Latency is calculated using the sender's and receiver's local time (in UTC, so the time zone does not matter), which means the value may be somewhat inaccurate if the clocks are not synchronized.

In my own testing, latency dropped from ~100ms to ~20ms after the server-side changes.

US Servers

As far as I know, there are not many users in the US right now, so expanding the infrastructure into a US region is mostly a matter of financial viability. Everything is technically ready, though, so when the time comes, I will add US servers.

Actions / Overlays / Triggers Can Now Be Ignored

Every action, trigger, and overlay can now be Ignored. This is controlled by the checkbox to the left of its name and, effectively, makes the ignored entity behave as if it does not exist.

• For triggers, they are excluded from all evaluations.
• For actions, they are skipped even if the action block is executed.
• For overlays, the overlay is closed and unloaded.

This is especially useful when debugging or configuring something and you want to temporarily disable part of an aura.

P.S. This change does not affect C# scripting.

BUG FIXES / IMPROVEMENTS

• [Text Search] Fixed(?) a crash related to out-of-bounds memory access in Tesseract.