인공지능 기반 의료설비를 평가하기 위해서는 인공지능 학습에 사용된 데이터의 질과 정확성이 검증, 주관적인 판단으로 인한 데이터의 오염, 인간이 이해할 수 없는 알고리즘, 변화에 대응하기 어렵다는 점 등을 고려해야한다.
인공지능 기반 의료기기는 기존의 독립 기기 중심의 평가 방식을 그대로 적용하기에는 여러가지 고려해야할 사항들이 있다. 1) 네트워크와 클라우드를 이용해여 지속적으로 데이터를 쌓으며 학습을 통해 성능을 향상 시켰을 때, 사용한 데이터 및 학습 알고리즘의 기준 및 퀄리티 검증 이슈 2) 지식 데이터 또는 학습 데이터에 의료 종사인의 편견 또는 부정확한 판단이 개입되었는지 확인 이슈, 3) 머신러닝 알고리즘의 개발 과정, 작동 방식을 완벽하게 이해하거나 설명할 수 없다는 문제점 3) 머신러닝에 학습시 사용된 데이터와 많은 차이를 갖는 병원의 현장 데이터를 사용할 경우 정확률이 떨어질 수 있다는 점 4) 강화학습 기반 예측 모델과 같이 계속된 변화가 생기는 경우 기존의 평가 체계에 맞추기 어려운 문제 등과 같은 다양한 이슈들이 존재한다.