様子見の必要はありますが自己解決したと思います
トピックを消そうと思いましたが、同じ問題が起こった人のために
以下トピックでExKoder様から配布されているRawCapConvをデフォのものと入れ替えます
http://forum.exkode.com/index.php?topic=137.0これで、.rawcapファイルのサムネが表示されなくなります。起動してすぐに落ちる方はこれで直るのかもしれません。
そしてその後、
RawCapConv2.0のフォルダ
C:\Users\User\AppData\Local\Dxtory Software\RawCapConv2.0
のuser.configをメモ帳で開き、ShowBuildPreviewをfalseに変更します。
これで実行すると落ちずに動作しました
そうです。サムネ表示とプレビュー表示が問題です。
解像度2560x1440、コーデックDxtory Video Codec、フレームレート60fps、フォーマットYUV420、長さ30分、ファイルサイズ250GBで成功しました。
これ以上の解像度やフレームレートその他ではどうなるかわかりませんが、
基本的に処理画面で画像を表示させると怒られるようですね。
コーデックをDextory Video Codec以外にすると私の環境ではrawcap録画は使えません。
どなたかの力になれれば幸いです。