Jenaのバージョンをあげてみたら下のようなエラーが
java.lang.InstantiationError: com.hp.hpl.jena.sparql.engine.binding.BindingMap
ググってみたらどうやらarqのバージョンのせいらしい。
jena-arq-2.x.x.jarからバージョン2.5.5に同梱されていたarq.jarに戻してみるとエラーが消えた。
参考
java.lang.InstantiationError while running sparql query in jena