Sikuli — технология поиска и автоматизации работы с элементами GUI на основе изображений (скриншотов).

Sikuli — это API, позволяющее писать сценарии (на языке Python), автоматизирующие работу с пользовательским интерфейсом. Большим преимуществом является то, что нет необходимости иметь доступ к исходникам приложений, с которыми Вы собираетесь работать.
Для поиска конкретных элементов GUI Sikuli использует лишь их скриншоты, а для управления приложением — эмулирует такие действия пользователя, как нажатия кнопок мыши и клавиатурный ввод. Как следствие — Вы можете автоматизировать абсолютно любые приложения на любой операционной системе, на которой стоит Sikuli.



подробности на хабре