feat: #370 annotation less perception evaluator #373
Conversation
…sional threshold value.
| #### 以前のテスト結果ファイルから与える | ||
|
|
||
| こちらの方法をメインに使う想定。 | ||
| Autoware Evaluatorで、テストを実行し、出力されたresult.jsonlのファイルパスを指定すると、指定したファイルに記述されている最後のMetrics値を判定基準値として利用する。 | ||
|
|
||
| 利用のイメージを以下に示す。 | ||
|
|
||
|  |
There was a problem hiding this comment.
良いです！！ 👍
Evaluator上で以前の結果使ってあるスコアが一定以上下がった場合はfailとしたいです！
There was a problem hiding this comment.
あまりに値が変化した場合は計算がおかしいとか、そもそも認識した物体の母数が大きく変化しているとかそういうことがありえるから、弾きたいということでしょうか？
There was a problem hiding this comment.
弾くというかsuccess/failの意味でのfailにしたいです。
Autoware Evaluatorで、テストを実行し、出力されたresult.jsonlのファイルパスを指定すると、指定したファイルに記述されている最後のMetrics値を判定基準値として利用する。
これで前日の結果の閾値に使ってsuceess/failの判定が出来るという意味かと思うので、ひとまずやりたいこと出来ていると思います！
もう少し理想的ですと、毎回の実行で多少のスコアのぶれはあると思うので、少しでも閾値が下がったfailではなくて、
あるスコアが一定以上下がった場合
predicted_path_deviation_5.00 が前日と比べて、0.5下がった場合はfailとか閾値の差分を指定できたらいいかなと思いました。(あるいはrateにして前日と比べてスコアが0.95以下とか？)
There was a problem hiding this comment.
最新のコミットでlaunch argumentでレンジを変更出来る機能に対応させました。
もらったコメントから考えられることは全部やった想定
There was a problem hiding this comment.
typo in file name:
annotaitonless -> annotationless
There was a problem hiding this comment.
Thank you for reporting.
fixed a7972f3
| @@ -15,3 +15,4 @@ nav: | |||
| - perception.ja.md | |||
| - performance_diag.en.md | |||
| - performance_diag.ja.md | |||
| - annotationless_perception.ja.md | |||
There was a problem hiding this comment.
missing annotaitonless_percepiton.en.md
There was a problem hiding this comment.
I'll add the English document today.
There was a problem hiding this comment.
There was a problem hiding this comment.
could You please provide these images in english?
There was a problem hiding this comment.
I added English image
There was a problem hiding this comment.
could You please provide these images in english?
There was a problem hiding this comment.
I added English document.
Types of PR
Description
docs: https://github.com/tier4/driving_log_replayer/blob/feat/%23370-annotation-less-perception-evaluator/docs/use_case/annotation_less_perception.ja.md
How to review this PR
Others
closes: #370