5月24日(金)1コマ目
今日、やったこと
- [確認テスト]ビットシフト
- 誤差(オーバーフロー、アンダーフロー、丸め誤差)
今日のホワイトボード
[誤差]オーバーフロー
コンピュータでデータを扱う際、データサイズに上限がある。計算することでデータサイズ内に収めるためにデータが消えることがある。これが誤差。
オーバーフローはデータサイズの上限値を超えることで発生する誤差で、上位ビットのデータが溢れていくからオーバーフロー。
![]() |
| 図 [誤差]オーバーフロー |
[誤差]アンダーフロー
アンダーフローは浮動小数点型でデータサイズの下限値より小さくなくことで発生する誤差。下位ビットからデータが溢れていくからアンダーフロー。
![]() |
| 図 [誤差]アンダーフロー |
[誤差]丸め誤差
”丸め”とはデータサイズ内に収めるために、データの一部を切り上げ/切り捨てること。四捨五入も丸め。
発生しやすいのは小数。10進数の小数を2進数に変換するさい、循環小数になる値がある(例えば0.05)。
循環小数は永遠に値が続くがfload型やdouble型に収めるにはデータを切り上げ/切り捨てる必要がある。丸め誤差が発生してしまう。
![]() |
| 図 [誤差]丸め誤差 |
次回は
誤差の続き。
テストはしません。


