AdaptiPolish-Sys 是一个基于点云与深度学习的缺陷检测自动初磨系统,通过融合机械臂控制、计算机视觉和实时监控技术,实现自动化磨抛作业。系统支持工件轮廓识别、路径规划、打磨参数配置等功能,适用于3D打印件、木材等材料的表面处理的解决方案
cd MasterComputer
# Windows
python -m venv ap_env
ap_env\Scripts\activate
# Linux
python3 -m venv ap_env
source ap_env/bin/activate
pip install -r requirements-MasterComputer.txt
pip install -r requirements-Camera.txt
# Ubuntu
sudo apt-get install portaudio19-dev libopenblas-dev
通过串口或网口连接到MyCobot 280到电脑
通过网口连接到相机
打开CameraService.py 修改 python_path 的值为实际Python3.9的路径
启动CameraService服务
例:
C:\pointcloud_project\
├── data\
│ └── train\ ← 训练数据放到这里
└── src\ ← 运行文件放到这里
├── Dataset.py
├── build_dataloader.py (gpu版本)
└── build_dataloader2.py (cpu版本)
pip install --upgrade pip
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu
pip install numpy scikit-learn tqdm
(1)、创建一个pc_backend.cpp文件
(2)、创建一个CMakeLists.txt文件
命令行输入
cd ~/Desktop/cse/pointcloud_project/src(自定义路径)
rm -rf build
mkdir build
cd build
cmake ..
make -j4
输入完成后会自动生成一个so文件,然后python中调用即可使用c++点云库
启动系统
python main.py
系统主界面分为三个主要区域:
左侧区域:摄像头实时画面及检测控制
中间区域:示教点管理、打磨控制和运动控制
右侧区域:摄像头设置、机器人连接和辅助功能
-
机器人连接
-
在右侧"机器人连接"区域输入IP地址(默认:192.168.25.181)和端口(默认:9000)
-
点击"连接机器人"按钮
- 连接成功后状态指示灯变为绿色
-
在右侧"摄像头设置"区域:
o 选择摄像头类型(本地/网络)
o 输入网络摄像头的IP和端口(如使用网络摄像头)
o 加载ONNX模型文件(点击"加载"按钮)
-
点击"开始标定"按钮
-
将两个ArUco标记放置在相机视野内(相距220mm)
-
系统自动完成标定后显示"标定成功"
- 点击获取点云数据按钮,系统会自动调用3D相机扫描点云,与标准工件进行对比检测缺陷,返回缺陷点坐标信息
- 3D相机标定矩阵已集成在系统内部,返回缺陷点的坐标会自动转换
-
将机械臂移动到目标位置
-
在中间"示教点管理"区域:
o 输入示教点名称
o 点击"保存当前位置"按钮
-
在示教点列表中:
o 选择点位后点击"移动到选定点"进行定位
o 点击"删除选定点"移除不需要的点位
-
在左侧区域点击"启动检测"按钮
-
将工件放置在相机视野内
-
系统自动识别工件轮廓并显示在画面中
-
在中间"打磨控制"区域:
o 设置坐标偏移量(X/Y/Z方向)
o 配置打磨参数(循环次数、进深量、缩放比例)
o 点击"应用参数"确认设置
-
点击"启动打磨"开始自动磨抛流程
- 在右侧区域点击"手动控制"按钮
-
在弹出的对话框中:
o 使能/放松各关节
o 启用/禁用自由移动模式
o 保存当前位置为示教点
- 在右侧区域点击"电机控制"按钮
-
在弹出的对话框中:
o 点击"连接电机"建立连接
o 使用按钮控制电机启停、正反转
o 通过滑块设置电机转速(0-500)
-
在中间"执行控制"区域的"XYZ坐标移动"部分
-
输入目标坐标(X/Y/Z值)
-
勾选"启用角度修正"(推荐)
-
点击"移动"按钮执行定位
路径循环打磨
-
在"打磨参数"中设置循环次数>1
-
统将自动执行渐进式多层打磨
| 硬件名称 | 备注 |
|---|---|
| R-3650BLDC | 电机 |
| 无刷电机PWM调速控制器 | 485通讯或者直接使用USB通讯 |
| 485通讯转USB模块 | 无 |
| 电压转换器开关电源 | 220V转24V5A |
| USB麦克风 | USB连接就可以 |
| USB扬声器 | USB连接就可以 |
| 扩展坞 | 用来拓展接口,建议多口与USB3.0 |
| 嘲风 Pro 3D相机 | 3D相机 |
一直push不进仓库,所以放在网盘下了o(TヘTo)
通过网盘分享的文件:venvMasterComputer.7z
链接: https://pan.baidu.com/s/1NTiiQDvPTQGQCAXc88vbuA?pwd=1234 提取码: 1234