自動採点ソフトが多くリリースされていますが、そのクオリティには差があるので気を付けましょう。これから導入しようと考えているなら、機能の良し悪しをチェックして候補を絞る必要があります。最も重要な機能は正確に採点できることです。当たり前のように感じるかもしれませんが、自動採点ソフトといえども絶対に正確とは限りません。
なぜなら、回答者が予測不能なアクションをすることもあるからです。開発側が想定してない回答の仕方をされると、エラーが発生して処理が止まりかねません。その問題を採点できないだけなら、スタッフに通知を出すだけで影響の拡大を防げます。しかしエラーのせいでアルゴリズムが大きく狂うと、ほかの部分の採点にまで影響が出かねません。
たとえば一問ずつずれる事もあり、そうなると点数が大幅に違ってきます。資格試験の採点などに使っていると、このような事態は取り返しのつかない状況を招きます。ですから、どのような回答に対しても柔軟に点数化できることは自動採点ソフトの根幹といえる条件です。また、マークシート型だけでなく、筆記型に対応できることも条件にするとよいでしょう。
以前はワークシート型の試験が多かったですが、思考によるアイデア出しが重視されるようになり、筆記型を取り入れるタイプが増えてきました。それに対応する自動採点ソフトも増えているので、導入の際にしっかり仕様を確かめることが必要です。それによってコストパフォーマンスが大きく変わります。