如何使用AccessibilityService在Android上执行拖动(基于X,Y鼠标坐标)?


39

我想知道如何在基于X,Y鼠标坐标的android上执行拖动吗?考虑两个简单的示例,Team Viewer / QuickSupport分别在远程智能手机和Windows Paint Pen上绘制“密码模式”。

在此处输入图片说明

在此处输入图片说明

我所能做的就是模拟触摸(使用dispatchGesture()和也AccessibilityNodeInfo.ACTION_CLICK)。

我找到了这些相关链接,但不知道它们是否有用:

以下是我的工作代码,该代码用于将鼠标坐标(在PictureBox控件内部)发送到远程电话并模拟触摸。

Windows窗体应用程序:

private void pictureBox1_MouseDown(object sender, MouseEventArgs e)
{
    foreach (ListViewItem item in lvConnections.SelectedItems)
    {
        // Remote screen resolution
        string[] tokens = item.SubItems[5].Text.Split('x'); // Ex: 1080x1920

        int xClick = (e.X * int.Parse(tokens[0].ToString())) / (pictureBox1.Size.Width);
        int yClick = (e.Y * int.Parse(tokens[1].ToString())) / (pictureBox1.Size.Height);

        Client client = (Client)item.Tag;

        if (e.Button == MouseButtons.Left)
            client.sock.Send(Encoding.UTF8.GetBytes("TOUCH" + xClick + "<|>" + yClick + Environment.NewLine));
    }
}

编辑:

我的最后一次尝试是分别使用鼠标坐标(“ C#Windows窗体应用程序”)和自定义android例程(参考上面链接的“滑动屏幕”的代码)进行“滑动屏幕”:

private Point mdownPoint = new Point();

private void pictureBox1_MouseDown(object sender, MouseEventArgs e)
{
    foreach (ListViewItem item in lvConnections.SelectedItems)
    {
        // Remote screen resolution
        string[] tokens = item.SubItems[5].Text.Split('x'); // Ex: 1080x1920

        Client client = (Client)item.Tag;

        if (e.Button == MouseButtons.Left)
        {
            xClick = (e.X * int.Parse(tokens[0].ToString())) / (pictureBox1.Size.Width); 
            yClick = (e.Y * int.Parse(tokens[1].ToString())) / (pictureBox1.Size.Height);

            // Saving start position:

            mdownPoint.X = xClick; 
            mdownPoint.Y = yClick; 

            client.sock.Send(Encoding.UTF8.GetBytes("TOUCH" + xClick + "<|>" + yClick + Environment.NewLine));
        }
    }
}

private void PictureBox1_MouseMove(object sender, MouseEventArgs e)
{
    foreach (ListViewItem item in lvConnections.SelectedItems)
    {
        // Remote screen resolution
        string[] tokens = item.SubItems[5].Text.Split('x'); // Ex: 1080x1920

        Client client = (Client)item.Tag;

        if (e.Button == MouseButtons.Left)
        {
            xClick = (e.X * int.Parse(tokens[0].ToString())) / (pictureBox1.Size.Width);
            yClick = (e.Y * int.Parse(tokens[1].ToString())) / (pictureBox1.Size.Height);

            client.sock.Send(Encoding.UTF8.GetBytes("MOUSESWIPESCREEN" + mdownPoint.X + "<|>" + mdownPoint.Y + "<|>" + xClick + "<|>" + yClick + Environment.NewLine));
        }
    }
}

android AccessibilityService

public void Swipe(int x1, int y1, int x2, int y2, int time) {

if (android.os.Build.VERSION.SDK_INT >= android.os.Build.VERSION_CODES.N) {
    System.out.println(" ======= Swipe =======");

    GestureDescription.Builder gestureBuilder = new GestureDescription.Builder();
    Path path = new Path();
    path.moveTo(x1, y1);
    path.lineTo(x2, y2);

    gestureBuilder.addStroke(new GestureDescription.StrokeDescription(path, 100, time));
    dispatchGesture(gestureBuilder.build(), new GestureResultCallback() {
        @Override
        public void onCompleted(GestureDescription gestureDescription) {
            System.out.println("SWIPE Gesture Completed :D");
            super.onCompleted(gestureDescription);
        }
    }, null);
}

}

会产生以下结果(但仍然无法绘制“图案密码”,例如TeamViewer)。但是,就像下面的评论中所说的那样,我认为使用类似的方法可能可以使用“ 继续”手势来实现。欢迎向这个方向提出任何建议。

在此处输入图片说明

在此处输入图片说明


编辑2:

肯定的,解决方案是继续手势,如先前的Edit所述。

下面是我在这里找到的假定的固定代码=>

android AccessibilityService:

// Simulates an L-shaped drag path: 200 pixels right, then 200 pixels down.
Path path = new Path();
path.moveTo(200,200);
path.lineTo(400,200);

final GestureDescription.StrokeDescription sd = new GestureDescription.StrokeDescription(path, 0, 500, true);

// The starting point of the second path must match
// the ending point of the first path.
Path path2 = new Path();
path2.moveTo(400,200);
path2.lineTo(400,400);

final GestureDescription.StrokeDescription sd2 = sd.continueStroke(path2, 0, 500, false); // 0.5 second

HongBaoService.mService.dispatchGesture(new GestureDescription.Builder().addStroke(sd).build(), new AccessibilityService.GestureResultCallback(){

@Override
public void onCompleted(GestureDescription gestureDescription){
super.onCompleted(gestureDescription);
HongBaoService.mService.dispatchGesture(new GestureDescription.Builder().addStroke(sd2).build(),null,null);
}

@Override
public void onCancelled(GestureDescription gestureDescription){
super.onCancelled(gestureDescription);
}
},null);

然后,我的疑问是:如何正确发送上面代码的鼠标坐标,以哪种方式可以向任何方向执行拖动?有想法吗


编辑3:

我发现了两个用于执行拖动的例程,但是它们使用的是UiAutomation + injectInputEvent()。AFAIK,事件注入仅在像此处此处所述的系统应用程序中有效,我不希望如此。

这是发现的例程:

然后要实现我的目标,我认为第二个例程更适合与Edit 2上显示的代码一起使用(遵循逻辑,不包括事件注入),并分别发送pictureBox1_MouseDownpictureBox1_MouseMove(C#Windows Forms Application)的所有点以Point[]动态填充和pictureBox1_MouseUp发送cmd执行例程并使用此数组填充。如果您对第一个例程有想法,请告诉我:D。

如果在阅读完此编辑后您有可能的解决方案,请在回答中告诉我,而我将尝试测试该想法。


1
TeamViewer最有可能没有使用可访问性框架。他们与设备制造商有特别优惠,这就是为什么他们的产品不适用于所有设备的原因。
CommonsWare

@CommonsWare谢谢。但是我认为这StrokeDescription.continueStroke()可能是一个可能的解决方案。请参阅此处的“ 继续手势” 部分。
BrowJr

2
关于你的第一个方法。pictureBox1_MouseDown不得发送坐标。它只应存储初始坐标,然后pictureBox1_MouseUp发送给您,因为这标志着鼠标移动的结束
Greggz

Answers:


1

这是一个基于问题Edit 3的解决方案示例。


C#Windows Froms应用程序“ formMain.cs ”:

using System.Net.Sockets;

private List<Point> lstPoints;

private void pictureBox1_MouseDown(object sender, MouseEventArgs e) 
{
    if (e.Button == MouseButtons.Left)
    {
        lstPoints = new List<Point>();
        lstPoints.Add(new Point(e.X, e.Y));
    }
}

private void PictureBox1_MouseMove(object sender, MouseEventArgs e)
{
    if (e.Button == MouseButtons.Left)
    {
        lstPoints.Add(new Point(e.X, e.Y));
    }
}

private void PictureBox1_MouseUp(object sender, MouseEventArgs e)
{
    lstPoints.Add(new Point(e.X, e.Y));

    StringBuilder sb = new StringBuilder();

    foreach (Point obj in lstPoints)
    {
        sb.Append(Convert.ToString(obj) + ":");
    }

    serverSocket.Send("MDRAWEVENT" + sb.ToString() + Environment.NewLine);
}

android服务“ SocketBackground.java ”:

import java.net.Socket;

String xline;

while (clientSocket.isConnected()) {

    BufferedReader xreader = new BufferedReader(new InputStreamReader(clientSocket.getInputStream(), StandardCharsets.UTF_8));

    if (xreader.ready()) {

        while ((xline = xreader.readLine()) != null) {
                xline = xline.trim();

            if (xline != null && !xline.trim().isEmpty()) {

                if (xline.contains("MDRAWEVENT")) {

                    String coordinates = xline.replace("MDRAWEVENT", "");
                    String[] tokens = coordinates.split(Pattern.quote(":"));
                    Point[] moviments = new Point[tokens.length];

                    for (int i = 0; i < tokens.length; i++) {
                       String[] coordinates = tokens[i].replace("{", "").replace("}", "").split(",");

                       int x = Integer.parseInt(coordinates[0].split("=")[1]);
                       int y = Integer.parseInt(coordinates[1].split("=")[1]);

                       moviments[i] = new Point(x, y);
                    }

                    MyAccessibilityService.instance.mouseDraw(moviments, 2000);
                }
            }
        }
    }
}

android AccessibilityServiceMyAccessibilityService.java ”:

public void mouseDraw(Point[] segments, int time) {
    if (android.os.Build.VERSION.SDK_INT >= Build.VERSION_CODES.N) {

        Path path = new Path();
        path.moveTo(segments[0].x, segments[0].y);

        for (int i = 1; i < segments.length; i++) {

            path.lineTo(segments[i].x, segments[i].y);

            GestureDescription.StrokeDescription sd = new GestureDescription.StrokeDescription(path, 0, time);

            dispatchGesture(new GestureDescription.Builder().addStroke(sd).build(), new AccessibilityService.GestureResultCallback() {

                @Override
                public void onCompleted(GestureDescription gestureDescription) {
                    super.onCompleted(gestureDescription);
                }

                @Override
                public void onCancelled(GestureDescription gestureDescription) {
                    super.onCancelled(gestureDescription);
                }
            }, null);
        }
    }
}

0

您是否尝试过使用AutoIt脚本?

您可以在特定的窗口/屏幕中保存坐标。绘制图案时,可以按住鼠标单击。

如果您愿意,我还会为您提供一些示例代码/脚本!


编辑:

根据本教程,您可以在C#上使用Auto-IT。

按着这些次序:

  1. 安装自动IT
  2. 在参考管理器(AutoItX3.dll)中将Auto-IT添加为参考
  3. 然后导入您添加的库: Using AutoItX3Lib;
  4. 新建一个名为“ auto”的AutoItX3对象: AutoItX3 auto = new AutoItX3();
  5. 您现在可以执行“自动执行”命令。

这是执行mouseclick的完整示例:

Using AutoItX3Lib;
AutoItX3 auto = new AutoItX3();
auto.MouseClick("left", 78, 1133, 1, 35)


使用,AutoIt Window Info Tool您可以检查要使用的坐标。

请注意,鼠标坐标模式之间存在差异:

例如:auto.AutoItSetOption("MouseCoordMode", 1)将使用绝对屏幕坐标。在此处查看源代码。


要按住mouseclick,可以检查MouseDown功能


1
这没有帮助。您的建议正是我的C#Windows窗体应用程序已经提出的。
BrowJr
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.