یکی از بزرگترین محدودیتهای نسل اول رباتهای RPA و ابزارهای کنترل صفحه، قفل شدن کامل سیستم در حین کار بود. هر بار که ربات ماوس یا کیبورد را در دست میگرفت، کاربر مجبور بود دست از کار بکشد و تماشا کند. در مستر هرمس، این رویه منسوخ با معرفی معماری نوین درایور CUA بازطراحی شده است.
هدایت در پسزمینه بدون سرقت کانون (No Focus Steal)
موتور computer_use در مستر هرمس طوری مهندسی شده که در سیستمعاملهای مک و لینوکس، تعاملات را بدون ربودن کرسر ماوس، فوکوس کیبورد یا تغییر میزکارهای مجازی (Spaces) به انجام میرساند:
- شناسایی از طریق درخت ساختاری (AX Tree): ایجنت به جای تکیه بر مختصات شکننده پیکسلی، مستقیماً نودهای گرافیکی سیستمعامل را خوانده و با شناسه مشخص کلیک میکند.
- پشتیبانی از فرمهای پیچیده و دراپداونها: با اکشن
set_valueنیازی به باز کردن منوهای کشویی و جابجایی فوکوس کاربر نیست؛ مقدار مستقیماً روی فیلد تزریق میشود. - همافزایی همزمان کاربر و ایجنت: شما میتوانید روی پروژههای خود کدنویسی کنید یا سند بنویسید، در حالی که مستر هرمس در همان لحظه در پنجرههای مخفی پشت سر شما در حال ثبت داده یا استخراج گزارش است.
# الگوی استاندارد عکسبرداری نامحسوس با نشانگرهای ساختاری
computer_use(action="capture", mode="som", app="Safari")
# اجرای کلیک مستقیم روی المان بدون تغییر موقعیت ماوس فیزیکی
computer_use(action="click", element=14)امنیت و خطوط قرمز
سیستم کنترل پسزمینه دارای محافظهای درونی قدرتمندی است. ایجنت اجازه کلیک روی پاپآپهای مجوز سیستمعامل، فیلدهای ورود رمز عبور یا تایپ اطلاعات بانکی را بدون تایید صریح ندارد و تمامی اقدامات در لاگ سیستم ثبت میشوند.
📌 مستندات فنی و راهنمای کامل:
راهنمای رسمی معماری درایورهای بکگراند در هرمس:
Hermes Background Computer Use Specs
Hermes Background Computer Use Specs
سلام و وقت بخیر. برای مدیریت پردازشهای روزانه روی سرور، میخواهم تسکهای گرافیکی دسکتاپ را در پسزمینه اجرا کنم تا حرکت ماوس مزاحم کار مداوم سرور نشود. سازوکار و نحوه اجرای دستورات خودکار با computer use در هرمس به چه صورت است و چطور میتوان آن را در یک سشن مجزا و بدون سرقت ماوس پیادهسازی کرد؟
درود بر شما کاربر گرامی مستر هرمس،
قابلیت Computer Use در پلتفرم هرمس دقیقاً برای حل همین چالش پیادهسازی شده است. در اتوماسیون سنتی، ربات نشانگر ماوس و کیبورد اصلی سیستم را اشغال میکند؛ اما در هرمس، دستورات در بستر یک بافر ویدیویی مجازی (مانند Xvfb در محیط لینوکس یا Desktop Session ایزوله در ویندوز) اجرا میشوند. این ساختار امکان اتوماسیون کامل GUI را بدون کوچکترین مداخله در ماوس فیزیکی فراهم میآورد.
برای پیادهسازی این سناریو، مراحل زیر را دنبال کنید:
۱. پیکربندی نمایشگر مجازی (Virtual Display):
در صورتی که روی لینوکس هستید، یک سشن بدون سرور فیزیکی را بالا بیاورید:
Xvfb :99 -screen 0 1920x1080x24 &
export DISPLAY=:99
۲. اتصال و مقداردهی عامل هوشمند هرمس:
از طریق SDK پایتون هرمس، کلاینت را روی حالت اجرای نامحسوس (Headless/Isolated) تنظیم کنید:
from hermes_ai import ComputerUseClient
client = ComputerUseClient(api_key=”YOUR_HERMES_API_KEY”)
task = client.tasks.create(
prompt=”نرمافزار مدیریت پایگاه داده را باز کن و فایل خروجی روزانه را ذخیره نما”,
execution_mode=”isolated_background”,
display_id=”:99″,
take_screenshots=True
)
response = task.run_until_complete()
print(“وضعیت تسک:”, response.status)
۳. مدیریت رویدادها و مانیتورینگ:
شما نیازی به تماشای زنده دسکتاپ ندارید. هرمس لاگ متنی کلیه اکشنها (مانند کلیک روی مختصات فرضی، تایپ رشتهها و فشردن کلیدها) را به همراه اسکرینشاتهای هر گام در قالب Webhook به شما بازمیگرداند.
نکته مهم: برای جلوگیری از تداخل برنامهها در ویندوز سرور، پیشنهاد میشود سرویس هرمس را در سطح یک کاربر سیستمی مجزا (Dedicated Service Account) اجرا کنید تا نیاز به سشن RDP فعال دائمی نیز از بین برود.
در صورت نیاز به نمونهکدهای پیشرفتهتر یا تنظیمات امنیتی خاص، تیم پشتیبانی فنی مستر هرمس به صورت ۲۴ ساعته آماده راهنمایی شماست.