Send Input and Send Text are no longer available in UI

These 2 actions are replaced by Send Sequence. It is easier to use and configure, especially in simple scenarios. Macro recording functionality is not fully ready yet, but I will take a look in one of the following releases, I've already got a bunch of bug reports.

p.s. old actions are still fully functional, so nothing will break, only new auras will be affected

New window finder / click position selector

Fully replaced the old selector, which was way too laggy and unreliable. The new version should be much-much better. Please send feedback Contacts | EyeAuras Wiki.

BUGFIXES/IMPROVEMENTS

• [General] Fixed error which prevented Cloning and Moving items up and down
• [Image/Color/ML Search] Changed how Capture Borderless option works. Still far from ideal, but should cover more cases now, especially if windows does not do anything fancy with its borders/title bar
• [EventLog] Fixed problem with event log being displayed outside app bounds.
• [Synchronization] Fixed an bug with auras not being saved after downloading new version of a sync
• [Effects] Fixed IsEnabled status not being saved into config (disabled effects were re-enabled at startup)
• [Nuget in scritpts] Package references are now partially supported by scripting subsystem
• [EventLog] Added “Inputs” category, which contains inputs generated by the program
• [Scripting] Made it so if script compiles successfully previous errors are cleared
• [Enabling Conditions] Fixed enabling conditions properties not being saved/loaded properly under some circumstances
• [Overlays] Fixed overlays “stuttering” when either user or script changed position/size of an overlay
• [SendInputs] Fixed problem with “Granny's Send Input” positioning (mouse was moved incorrectly on multi-monitor setups
• All inputs should be more reliable now in terms of mouse positioning - changed the way how coordinates are calculated

The last patch of 2023 fixes several issues with network messages and advanced input methods (low-level NT*). At this stage, I’ll start focusing on the next major feature planned for 2024 — behavior trees, which will largely rethink how you work with the program and make automation much easier.

Happy New Year, everyone!

Истинный альфа

Последние три недели были плодотворными, так как я внес множество улучшений, в основном в производительности. Время запуска, использование памяти при запуске и во время работы, использование ЦП и ГП для поиска, а также эффективность обработки конфигурации - все это было улучшено. В некоторых областях производительность увеличилась на десятки процентов. Не менее важно, что было добавлено несколько подсистем, которые позволят мне более эффективно определять и устранять проблемные области в будущем.

В настоящее время есть две заметные проблемы - потребление памяти при запуске (в диапазоне от 1 до 2 ГБ, но после некоторого времени снижается до 500 МБ) и общая отзывчивость интерфейса. Причины обоих явлений понятны, но поскольку быстрого и безболезненного исправления нет, мы будем постепенно двигаться к решениям в течение следующих шести месяцев.

Новый тип ввода - Ввод от бабушки

Ничего особенного, просто еще один метод ввода. Он полезен только в том случае, если по какой-то причине не работают другие методы.

Альфа-тестирование новых подсистем

Были добавлены три новые опции (Кэширование свойств, Хранение в файловой системе и Файловые ссылки), которые можно включить в настройках. Все они направлены на улучшение производительности различными способами. Эти опции все еще находятся в стадии тестирования, поэтому будьте готовы к возможным проблемам, если вы решите их включить, или подождите, пока системы не будут официально выпущены и включены по умолчанию. Ваше участие и отзывы были бы очень ценны.

ИСПРАВЛЕНИЕ ОШИБОК/УЛУЧШЕНИЯ

• Исправлен редкий сбой при импорте (ReplaceId NullReferenceException).
• [UI] Полностью переписана второстепенная панель с логом и переменными.
• [UI] Все окна и оверлеи теперь открываются быстрее.
• [UI] Диалог импорта теперь может выполнять также и синхронизацию.
• [Синхронизация] Исправлена ошибка, которая приводила к сбою программы, если синхронизация была добавлена внутри папки, которая уже была синхронизирована.
• [Скрипты] Множество улучшений в подсистеме скриптов - теперь она работает быстрее и более эффективно с точки зрения использования памяти.
• [Скрипты] В SDK добавлена библиотека ImageSharp. В некоторых аспектах она удобнее, чем OpenCV, и, вероятно, вокруг нее будут строиться будущие API.
• Улучшена точность всех ожиданий и задержек, теперь с погрешностью в пределах 1 мс.

Новый релиз!

Вот собранный список изменений, которые были сделаны в программе за последние 4 месяца.

Было проделано много работы - улучшенное C# скриптование (для Триггеров/Действий и Оверлеев), улучшенная Отправка последовательности (которая теперь полностью заменяет Отправку ввода по функциональности), улучшенная подсистема конфигурации, гораздо более быстрые и эффективные Эффекты изображения (которые теперь могут уменьшать изображения для лучшей производительности) и многое другое.

Также, чтобы удовлетворить потребности нового и чрезвычайно быстро растущего сообщества машинного обучения, я разработал отдельное приложение, чтобы облегчить создание и обучение моделей Yolo, которые полностью поддерживаются функцией ML Search. По моему опыту, это гораздо быстрее, чем подготовка данных вручную, даже учитывая, что это приложение все еще находится на ранней альфа-стадии. Для получения дополнительной информации посетите: Начало работы | EyeAuras Wiki.

Переход на новую технологию пользовательского интерфейса

Одной из основных текущих инициатив является переход на новую технологию пользовательского интерфейса. Это изменение направлено на решение текущих проблем с отзывчивостью программного обеспечения, таких как переключение аур или создание новых триггеров/действий. Хотя этот переход - медленный процесс, потенциально занимающий дополнительные 6-12 месяцев, ожидаемый результат обещает значительные улучшения. Это уже можно увидеть на примере новых улучшенных диалогов Импорт/Экспорт и Привязки, которые теперь используют эту технологию. В течение следующих месяцев вы увидите, как различные части приложения заменяются и переписываются по одной (дерево аур, я смотрю на вас).

Что дальше?

Производительность: основной акцент в следующем обновлении - я полностью переделал систему конфигурации, она в настоящее время находится на стадии тестирования и должна сделать загрузку и работу приложения гораздо быстрее, особенно на ПК с низкими характеристиками. Как я уже упоминал, я перепишу более медленные части приложения, такие как дерево аур, чтобы улучшить пользовательский опыт.

Деревья поведения: В настоящее время находятся в стадии разработки и тестирования, Деревья поведения - следующая важная функция, которую стоит ожидать. Они в основном полностью меняют то, как вы работаете с приложением. Кроме того, они используют новую технологию пользовательского интерфейса, поэтому они гораздо более отзывчивы :)

Оставайтесь на связи для обновлений, и спасибо за вашу постоянную поддержку и использование программного обеспечения!

Новые функции и улучшения

Отправка последовательности 2.0: Объединяет все типы действий для улучшенных входных последовательностей.

Новый движок C# Scripting: Теперь доступен в Триггерах/Действиях (альфа-стадия), расширяя возможности с новыми и улучшенными APIs

Улучшения привязок: Переписанный редактор привязок для лучшей производительности и удобства использования. Гораздо-гораздо-гораздо более отзывчивый и универсальный

Улучшенное скриптование с совместимостью Visual Studio/Rider: Экспортируйте и сохраняйте свой код как проект C# для более продвинутых функций разработки.

Переработка диалогов Импорт/Экспорт: Более отзывчивые, подробные и удобные для пользователя. Ожидается обновление диалога синхронизации в одном из ближайших обновлений

Улучшения производительности и удобства использования

Улучшения сетевых сообщений: Изменения инфраструктуры для лучшей производительности и снижения задержки.

Пользовательский интерфейс оверлея и производительность пользовательского интерфейса: Значительные изменения для лучшей производительности и отзывчивости.

Общие улучшения производительности: Сосредоточены на улучшении пользовательского опыта и отзывчивости программного обеспечения.

Отзывчивость дерева аур: Улучшения интерфейса дерева аур для более плавного взаимодействия.

Другие улучшения

Масштабирование изображений в эффекте пересчета изображения: Теперь поддерживает масштабирование по обеим осям X и Y. Также теперь вы можете уменьшать изображение с помощью эффектов, увеличивая производительность, и приложение все равно сможет вычислить действительные координаты найденного изображения и кликнуть по нему! Это работает для ВСЕХ типов триггеров (ML, Color, Image)

Новые эффекты изображения: Введение эффектов замены цветового диапазона и устранения шума для лучшего анализа изображений.

Улучшения ML Search: Значительные улучшения производительности и новые функции в ML Search. Это больше касается скриптов, так как только они открывают полный потенциал ML.

Исправления ошибок

• [Отправка последовательности/Ввод/Текст]: Исправлена проблема с аварийным завершением работы.
• [Триггер громкости]: Временно отключен из-за конфликтов.
• [Триггер изображения]: Добавлены новые функции для обработки шаблонов изображений.
• [Редактор кода C#]: Улучшения производительности и планы на будущее по переходу на редактор Monaco.
• [Привязки]: Множественные изменения UI/UX для лучшего пользовательского опыта.
• [Отправка ввода]: Исправлены проблемы со скриптами установки драйвера.
• [WebUI Overlay]: Исправлены редкие сбои, связанные с элементами управления пользовательского интерфейса.
• [Исправление ошибок]: Устранена проблема восстановления окна после сворачивания.
• [Поиск изображений/цвета/текста]: Исправлены различные ошибки, включая выбор области и интерфейс выбора FPS.
• [Оверлеи]: Исправлены проблемы с смещениями и сбоями в определенных сценариях.
• [Граф зависимостей/Просмотрщик]: Исправлены проблемы с отображением.
• [Сетевое сообщение]: Исправлен сбой из-за несоответствия версий сервера/клиента.
• [Поиск текста]: Устранен сбой, связанный с доступом к памяти Tesseract.

Пожалуйста, обратитесь к отдельным журналам изменений обновлений, доступных на сайте для получения более подробной информации.

ИСПРАВЛЕНИЯ ОШИБОК/УЛУЧШЕНИЯ

• [Отправить последовательность/Ввод/Текст]: Исправлен сбой "Попытка удалить уже удаленное..."

Полная переработка диалогов Импорта/Экспорта

Более отзывчивые, более подробные, более удобные для пользователя и, надеемся, менее ошибочные :)

P.S. Диалог синхронизации еще не готов, он будет частью блока изменений, связанных с механизмом публикации/синхронизации

Новый движок скриптов C# доступен в Триггерах/Действиях - альфа

В ближайшие дни я опубликую больше информации, но в общем и целом, движок C#, который уже использовался в WebUI для использования преимуществ Blazor, был портирован и теперь он также доступен в действиях и триггерах C#. Это означает, что ТЕПЕРЬ каждая функция, которую вы могли использовать в WebUI, доступна и в триггерах/действиях, таких как:

• использование новых и улучшенных API, таких как Interface IAuraTreeScriptingApi | EyeAuras Docs, Interface IVariablesScriptingApi | EyeAuras Docs, Interface IAuraAccessor | EyeAuras Docs и т.д.
  • Гарантируется, что эти API будут совместимы в будущих версиях, я буду прилагать усилия в этом направлении. Когда мне придется внести изменения, которые нарушат совместимость, будет создан специальный слой совместимости поверх старых API, чтобы избежать нарушения кода.
  • План заключается в том, чтобы позволить скриптам внедрять набор API (например, SendInputScriptingApi), которые обеспечат легкий доступ к анализу изображений, отправке ввода и всем другим функциям, которые в настоящее время присутствуют в EyeAuras
  • API триггеров/действий/оверлеев все еще могут изменяться, так как у меня еще нет хорошего решения для слоя совместимости
• использование нескольких файлов для структурированного хранения вашего исходного кода
• ссылка на другие ауры на основе C# для доступа к реализованным там классам/методам. То есть вы можете подготовить одну ауру со всеми вспомогательными функциями и использовать ее в своих проектах
• экспорт csproj и редактирование кода в Visual Studio / JetBrains Rider
• редактирование проекта в реальном времени через Monitor. Это не так полезно, как с WebUI.

Автозавершение на данный момент отключено, я еще не решил, стоит ли сразу переходить на редактор Monaco или внести некоторые улучшения в существующий текстовый редактор. Обновлю информацию как можно скорее.

Одно из лучших нововведений в этом - теперь, когда система скриптов однородна, любое улучшение будет мгновенно отражено везде - WebUI/C# действие/триггер и Behaviour Trees.

P.S. Behaviour trees, скорее всего, будут выпущены в декабре и будут основываться на том же движке. Оставайтесь с нами, это будет очень-очень круто, я вам обещаю :)

Новый сайт документации API

Новый сайт, на котором размещена документация API для EyeAuras, теперь доступен по адресу https://docs.eyeauras.net.

Это будет особенно полезно для тех, кто использует EyeAuras в качестве платформы для скриптов. Однако Wiki остается основным источником для неразработчиков.

В настоящее время в документации отсутствует раздел демонстраций и примеров, который является неотъемлемой частью любой документации. Усилия, которые я и linqse предпримем в декабре, будут направлены на обогащение этой области. Кроме того, большинство публичных интерфейсов и классов теперь включают комментарии XML.

Если какая-либо важная информация отсутствует, пожалуйста, сообщите нам об этом.

Улучшенный механизм отчетности об ошибках

Понимание специфики того, что пошло не так, критически важно при возникновении проблем. Наш новый механизм отчетности об ошибках собирает все ошибки в рамках Действия/Триггера или всей Ауры. Эти ошибки иерархические, то есть ошибки Ауры включают все ошибки из их действий/триггеров, подобно папкам. Пользователи могут отметить ошибки как прочитанные по своему усмотрению.

Улучшение производительности - Кэширование свойств (Альфа)

Введение новой функции, направленной на значительное сокращение количества чтений/записей на диск и незначительное снижение нагрузки на процессор. Эта функция все еще находится в стадии тестирования и может быть включена в настройках в опции Кэширование свойств.

ИСПРАВЛЕНИЕ ОШИБОК/УЛУЧШЕНИЯ

• [Триггер громкости]: Временно отключен из-за конфликтов с подсистемой.
• Безопасный режим: Улучшен механизм, который обнаруживает неправильные выходы из приложения.
• [Триггер изображения]: Добавлена функция копирования образца изображения в буфер обмена и вставки из него.
• [Редактор кода C#]: Улучшения производительности делают редактор более отзывчивым. Мы планируем в конечном итоге перейти на редактор Monaco.

CVATAAT Improvements (also known as YoloEase)

A collection of fixes and quality-of-life improvements. The biggest change is support for working with multiple projects at the same time — you can now save, load, and share configuration files, and train multiple models.

Oh, and yes — I renamed it to better reflect what the tool actually does.

Fixes and improvements

• Improved startup time, especially noticeable if you use scripts
• Added logging configuration options to minimize performance impact
• Multiple UX/UI improvements in the binding editor

Binding Improvements

Bindings | EyeAuras Wiki is a mechanism that lets you connect multiple action/trigger properties together. For example, you can take the coordinates of a detected image from Image Search and move the mouse there using Send Sequence.

I completely rewrote the Bindings Editor, where all of this is configured. It is now faster, more responsive, and generally easier to use.

CVATAAT Improvements

There are a LOT of different improvements and fixes here: performance, UX, and bug fixes. Listing every single one would not be very useful, so it is better to try it yourself: Getting Started | EyeAuras Wiki

I know there are already some successful use cases, so the technology does work, and training through CVATAAT is definitely easier than doing everything manually.

Bug Fixes / Improvements

• Fixed a memory leak that occurred in some cases when image effects were used

Send Sequence 2.0

Welcome to the improved Send Sequence action. It now combines all Send action types into one: it can send clicks, type text, move the mouse, and click the mouse, including support for links and anchors.

What’s all the fuss about?

For about 1.5 years, there were 3 separate Send action types: Send Input, Send Text, and Send Sequence.

Each one covered its own specific set of features:

• Send Input was mainly focused on clicking somewhere, such as an image location, anchors, and similar targets.
• Send Text supported several text input methods, such as typing character by character or using the clipboard.
• Send Sequence was always focused on “playing back” longer input sequences, but without the precision of Send Input.

That is now a thing of the past. The redesigned version has the same capabilities as all previous Send action types, and it is much easier to extend with new features and new blocks with any kind of functionality, for example:

• selecting a coordinate
• performing math operations
• using the result to move the mouse

What are the benefits?

The main benefit is that building input sequences is now much easier. For example, if you want to click a specific image, you no longer need to alternate between Send Sequence and Send Input.

I also plan to focus on improving Send Sequence going forward, making it more flexible instead of splitting time across 3 different Send action types.

What should I do with the old Send Input and Send Text actions?

From now on, Send Text and Send Input are effectively in maintenance mode. I will not be adding new options to them or actively working on them anymore.

At some point in the future, they will be fully deprecated and automatically converted into Send Sequence.

You can convert them manually at any time by clicking the Convert to Send Sequence button shown at the top of each Send action. For now, the conversion does not remove the original action, so you can verify that the new one behaves exactly as expected.

Improved image/color/text search: borderless mode

As the title suggests, I added a new option to all of these triggers that allows capturing any window without its border.

In addition, all actions that work by linking/anchoring to the position of a found image will take the missing border into account and adjust coordinates accordingly.

This makes tracking objects in applications that are not running in fullscreen mode easier than ever.

Improved color search

A new option has been added that allows searching for specific pixel blocks of a given color. There is a limited set of supported block sizes, such as 2x2, 4x4, and so on, and the code has been optimized for better overall performance.

Based on my tests, 4x4 blocks give the best results.

Keep in mind that under the hood, this mechanism is very similar to how image search works, so in some scenarios it may still be better to stick with image search. In other cases, though, this new color search mode really shines.

And of course, you can configure anchors/links to the found blocks as well.

Watch the video here

CVATAAT improvements

A fairly detailed documentation page has been added, and it should answer most of your configuration-related questions.

The tool is working and can already be very useful even with its current feature set.

Added support for training with Google Colab

Originally, the tool only allowed training models locally on your own PC using your own hardware. That has obvious limitations: you need to actually have the hardware.

Cloud training makes it possible to use enterprise-grade GPUs such as the A100 for faster and more efficient training in some cases.

It does come with its own limitations, but it can be very useful in many situations. Support is still somewhat limited for now—for example, auto-annotation is not yet available in this mode—but I will continue expanding it.

Bugfixes / Improvements

• [Changelog] Fixed a bug that caused changelogs to be displayed incorrectly, with the text getting “mixed” together
• [Offset, Anchors] Fixed a bug that caused crashes in some cases when adjusting Offset/Anchors in image/text/color search