Automatiser les jeux mobiles avec un bras de robot

Mes chants Monsters est l’un de ces titres mobiles qui ont des individus jouent des jeux faciles à faire des pièces de monnaie ainsi que des gemmes de manière typique. [Anyky] a découvert que son enfant était un fan du jeu, cependant que, dans certains cas, il ressentait un peu truqué. Ainsi, plutôt que de gaspiller de temps à jouer, il a mis en place un robot pour leur faire la tâche. (Vidéo super-ennuyeuse, intégrée ci-dessous.)

Le joueur doit totaliser une partie de mémoire fondamentale et fastidieuse. À la victoire, le joueur doit sélectionner un prix à partir de 17 cartes secrètes. Le premier prix de 1 000 diamants semblait toujours être caché sous une autre carte, conduisant à la frustration mentionnée précédemment.

Lors de l’achat pour tester si le jeu a été truqué, [Anyky] Configurez un UARM SWIFT Pro pour jouer au jeu, le bras du robot déplace un petit stylet sur l’iPad en jouant au jeu. La vidéo de l’iPad a été pipiée sur un PC via HDMI out dans une carte de capture CamLink. Un script Python utilisant OpenCV a ensuite été produit pour jouer au jeu automatiquement et loger les résultats des prix gagnés en cours de route. Tout le code est sur GitHub.

Après plus de 100 tentatives, le robot n’a jamais manipulé pour choisir la bonne carte pour marquer 1 000 diamants. À condition qu’il n’y ait que 17 cartes à sélectionner, on s’attendait à ce que le prix de 1 000 diamants puisse trouver un certain nombre de fois dans ces nombreuses sélections.

Il semble alors que le choix du prix pour compléter le jeu de mémoire ne soit pas vraiment en train de choisir la bonne carte. Au lieu de cela, le prix fourni est choisi par un autre calcul entièrement.

Nous aimons un robot jouant à des jeux à Hackaday, même si c’est aussi facile que TIC-TAC-TOE. Vidéo après la pause.