0065 Prismでの数値の取扱いについて

Prismでの数値取扱い形式は何ですか?
Prismでは、内部の格納に単精度浮動小数点形式を用います。
入力データ、計算結果も全て単精度浮動小数点形式となります。

Prismの計算精度について教えてください。
Prismでは計算は常に倍精度で行われ、有効桁数は7桁(場合によって6桁)です。

データ・シートで表示される数値で計算が行われるのですか?
Prismの計算では、全て単精度浮動小数点形式で格納されたデータが使用されます。
格納される数値と表示される数値は、必ずしも同じではありません。
また、データ・シートで表示される桁数の数値が使用されることはありません。
但し、単精度浮動小数点形式で取扱い可能な範囲を超えるような数値は入力できません。
この場合、データの単位系を変えるなどの変更が必要です。

データ・シートでの数値の表示で行われる数値のまるめはどのように行われているのですか?
Prismの内部のまるめには、Windows版では、C関数「sprintf()」が使用されています。

非線形回帰分析での結果数値の表示桁数とまるめを変更したいのですが。
数式選択のダイアログで、数式を選択し「出力」タブの「出力の桁数」で変更できます。
まるめについては、ユーザーが指定することはできません。

カテゴリー: Prism5, 統計関連 パーマリンク