5月24日(金)1コマ目

今日、やったこと

  • [確認テスト]ビットシフト
  • 誤差(オーバーフロー、アンダーフロー、丸め誤差)

今日のホワイトボード 

[誤差]オーバーフロー

コンピュータでデータを扱う際、データサイズに上限がある。計算することでデータサイズ内に収めるためにデータが消えることがある。これが誤差。

オーバーフローはデータサイズの上限値を超えることで発生する誤差で、上位ビットのデータが溢れていくからオーバーフロー。

図 [誤差]オーバーフロー


[誤差]アンダーフロー

アンダーフローは浮動小数点型でデータサイズの下限値より小さくなくことで発生する誤差。下位ビットからデータが溢れていくからアンダーフロー。

図 [誤差]アンダーフロー


[誤差]丸め誤差

”丸め”とはデータサイズ内に収めるために、データの一部を切り上げ/切り捨てること。四捨五入も丸め。

発生しやすいのは小数。10進数の小数を2進数に変換するさい、循環小数になる値がある(例えば0.05)。

循環小数は永遠に値が続くがfload型やdouble型に収めるにはデータを切り上げ/切り捨てる必要がある。丸め誤差が発生してしまう。

図 [誤差]丸め誤差


次回は

誤差の続き。

テストはしません。

このブログの人気の投稿

6月7日(金)1コマ目

6月14日(金)1コマ目

5月31日(金)1コマ目