Findbugs 標準的な Filter 定義 とは何かを調べてみる。

PMD 標準的な ruleset とは何かを調べてみる | Monotalk に続き、
Githubリポジトリから、PMD ルールセットを取得した実装を流用し、
Findbugsの Filterファイルを取得して集計してみました。
集計結果を元に、標準的な findbugs-excludes.xmlを作成してみます。

集計してからわかったこと

Findbugs は exclude 設定のみだと思い込んでいましたが、
include 設定もありました。 幸い集計対象に含めていなかったので、
除外設定としての誤りはないかと思いますので、そのまま結果を記載します。

計測の対象から、include ファイルが漏れているので、そちらのいつか集計したい。。

目次

• サンプルの抽出

• 集計方法

• 集計に使用するGithub API

• 集計結果

• Findbugsルールファイル

サンプルの抽出

• 対象プロジェクトはこちらと同様です。

• 上記のリポジトリからファイル名が、以下の名前と一致するものを抽出します。

  • findbugs-rules.xml
  • findbugs-exclude-filter.xml
  • findbugs.xml
  • findbugs-exclude.xml
  • findbugs-filter.xml
  • exclude.xml

集計方法

• 除外されたルール数をカウントします。
  Findbugs が PMD と違う点は、PMD は適用するルールを定義するのに対して、
  Findbugs は除外するルールを定義する作りになっています。
  このため、どれだけ除外されているかをカウントします。

• ルールは、patternと、category、 code により定義が可能です。
  pattern が最小単位であるため、category、 code でルールが記述されている場合は、
  関連 pattern を取得して、集計します。
  code、category と pattern の関係は、findbugs/findbugs.xml at master · findbugsproject/findbugs から、
  取得しました。

集計に使用するGithub API

• 集計に使用する Github APIはこちらと同様です。

集計結果

1. Findbugsのルールファイルを保持しているプロジェクト数

• 146/5419 プロジェクト Findbugs の定義ファイルだけなら、265個 ありました。
  1リポジトリに何個もファイルがあったりするので、その重複を排除すると、
  146リポジトリで使用されていました。
  少なくとも、PMDよりは多くのプロジェクトで使用されているようです。

2. 全体で、除外されているルールの TOP10

• 全体なので、指定なし[JAVAプロジェクト全体で除外している] ルールのTOP10になります。

• 感覚ベースでの話になりますが、Findbugsについては、行き当たりばったり(バグが検出されたのに応じて。)
  除外適用されるルールが多いように思われます。
  ※超ぱっと見の感覚での話です。

• 全体的に除外しているものは少なく、
  クラス指定、メソッド指定などした上で除外することが多いように思われます。

3. クラススコープで除外されているルールの TOP10

続けます。 Class スコープ(正規表現含む)場合の、除外対象 TOP10 になります。

• 全体で除外されているものと、傾向は違います。
  確かにクラスベースで発生するが、見逃したいバグが除外されているように思います。

• EI_EXPOSE_REP2 と EI_EXPOSE_REP は全体でも、クラスベースでも除外されています。
  問題となる場合は、ものすごいわかりにくいバグになると思うのですが、基本除外したい人が多い。 ということでしょうか?

• NM_SAME_SIMPLE_NAME_AS_INTERFACE 等は Class ならではの除外ルールかもしれません。

4. メソッドスコープで除外されているルールの TOP10

続けます。 Method スコープ(正規表現含む)場合の、除外対象 TOP10 になります。

• 確かにメソッドのスコープで除外設定したくなるルールに思われます。

• NP_BOOLEAN_RETURN_NULL をしたくなるケースってどのような時だろう？ と思いました。
  True (存在する) or False (存在しない) or Null (Unknown) みたいなケースでしょうか?
  RDB のような Null を表現するのに使うんですかね？

• EI_EXPOSE_REP、 と EI_EXPOSE_REP2 はジャンル問わず、よくExclude されていますwww。

5. フィールドスコープで除外されているルールの TOP10

更に続けます。 Field スコープ場合の、除外対象 TOP10 になります。

シリアライズ、や、同期化に関する警告の抑制が多いようです。

• IS2_INCONSISTENT_SYNC は同期化されていない Field の場合、出力される警告なので、
  問題がある場合と、ない場合があるのだと思います。

• EI_EXPOSE_REP2、 EI_EXPOSE_REP はここでも抑制の対象になっています。

Findbugsルールファイル

以下、ルールで作成しました。

• 各カテゴリの TOP10 を抽出し、重複をマージ

    <FindBugsFilter>
        <Match>
            <Or>
                <Bug pattern="BC_UNCONFIRMED_CAST" />
                <Bug pattern="CN_IDIOM_NO_SUPER_CALL" />
                <Bug pattern="DM_DEFAULT_ENCODING" />
                <Bug pattern="DM_EXIT" />
                <Bug pattern="DP_CREATE_CLASSLOADER_INSIDE_DO_PRIVILEGED" />
                <Bug pattern="EI_EXPOSE_REP" />
                <Bug pattern="EI_EXPOSE_REP2" />
                <Bug pattern="EQ_CHECK_FOR_OPERAND_NOT_COMPATIBLE_WITH_THIS" />
                <Bug pattern="EQ_UNUSUAL" />
                <Bug pattern="IS2_INCONSISTENT_SYNC" />
                <Bug pattern="JLM_JSR166_UTILCONCURRENT_MONITORENTER" />
                <Bug pattern="MS_MUTABLE_ARRAY" />
                <Bug pattern="MS_PKGPROTECT" />
                <Bug pattern="MS_SHOULD_BE_FINAL" />
                <Bug pattern="NM_SAME_SIMPLE_NAME_AS_INTERFACE" />
                <Bug pattern="NM_SAME_SIMPLE_NAME_AS_SUPERCLASS" />
                <Bug pattern="NP_BOOLEAN_RETURN_NULL" />
                <Bug pattern="NP_LOAD_OF_KNOWN_NULL_VALUE" />
                <Bug pattern="NP_NULL_ON_SOME_PATH_FROM_RETURN_VALUE" />
                <Bug pattern="OBL_UNSATISFIED_OBLIGATION" />
                <Bug pattern="REC_CATCH_EXCEPTION" />
                <Bug pattern="SE_BAD_FIELD" />
                <Bug pattern="SE_BAD_FIELD_INNER_CLASS" />
                <Bug pattern="SE_COMPARATOR_SHOULD_BE_SERIALIZABLE" />
                <Bug pattern="SE_NO_SUITABLE_CONSTRUCTOR" />
                <Bug pattern="SE_TRANSIENT_FIELD_NOT_RESTORED" />
                <Bug pattern="SF_SWITCH_FALLTHROUGH" />
                <Bug pattern="ST_WRITE_TO_STATIC_FROM_INSTANCE_METHOD" />
                <Bug pattern="URF_UNREAD_PUBLIC_OR_PROTECTED_FIELD" />
                <Bug pattern="UUF_UNUSED_PUBLIC_OR_PROTECTED_FIELD" />
            </Or>
        </Match>
    </FindBugsFilter>

• Findbugs の感覚的な使われ方を考えると、乱暴な気はします。
  最初かけていなかったけど、途中導入してやたら大量の警告にみまわれる場合で、
  ある程度、対象のバグを絞り込みたい場合は、上記のルールを適用しておけばいいのではと考えます。
  が、実プロジェクトでうまくいくかどうかは試していないので、わからないです!

• 集計詳細はこちらのスプレッドシートに記載しました。

PMD は集計しやすかった。
のに比べて、Findbugs は集計しにくかったのは、定義ファイルの具合にあるのだと思います。
解析のしやすい構造を人書いて設定してもらうのは、
実は設定しにくい? のかもしれません。
以上です。