实测法的评分难度比较大。除了前文中有提到的，一些观念化的标准不好操作之外。实测法在评分的时候还有一些问题难以处理。
（1）评分信度问题
例如，在公文筐测试中，面对相同的文件，相同的文件背景，不仅每个应聘者的理解是不同的，面试官的理解也是有差异的。即使是面试官之间，他们对问题的处理意见可能也不一致。这样显然会影响面试官对应聘者的评分。
另外，我们也知道，实测法本来就需要动用大量的人力，组织面试官给应聘者评分。所以往往都是一个面试官给一个应聘者评分。在这种情况下，面试官个人因素带来的偏差很难发现，也很难纠正。面试官和应聘者的沟通交流非常有限，面试官很可能根据应聘者的一个动作就给应聘者的某一些项目打分，但是他未必了解应聘者这个动作的含义。
（2）甄选时的麻烦
即使保证了评分过程的标准无误，在最后评定的分数面前，如何确定最终人选也是一个麻烦的问题。一对一面试的情况下，每个面试官只了解他的应聘者，不知道其他的应聘者是如何操作的，由不同的面试官对不同的应聘者评分，这个评分实际上是不具有可比性的。因此，在公文筐测试时候，需要提供给面试官讨论的时间，面试官各自发表推荐或者淘汰应聘者的理由，其他面试官可能就是根据这个面试官的表述来进行投票。即使是这样，到最后面试官肯定还是会在一两个应聘者的决定上难以达成一致。
运用现场操作进行面试，最好是一些需要大批量招聘的职位。否则，仅仅通过一两个操作项目，可能会有一批应聘者得分差不多，没有办法分出优劣。如果操作项目比较复杂，如编写程序之类的，又会有一个问题，可能不存在最优方案，应聘者各自的方案都有自己的道理，但是实测法给应聘者解释和呈现的机会并不是特别多。如果出现这样的情况，最好的办法还是在面试的时候提供一个集中的时间让应聘者充分展示自己的思路。