#!
# coding: utf-8
# Copyright (C) 2017 TOPS SYSTEMS
### @file fltFormatter.py
### @brief FLT format data file Formatter
###
### FLTファイルのデータを再整形して出力する
###
### Contact: izumida@topscom.co.jp
###
### @author: M.Izumida
### @date: April 12, 2017
###
# Original: flt2pic.py v01r02 April 7, 2017 FLT FILE OUT FUNCTIONS
# Written for Python 2.7 (NOT FOR 3.x)
#=======================================================================
# インポート宣言
import sys
import re
import argparse
import os
import numpy as np
from datetime import datetime
#=======================================================================
# バージョン文字列
versionSTR = "fltFormatter.py v01r01 Tops Systems (pgm by mpi)"
#=======================================================================
# 共通サブルーチン
#-------------------------------------------------------------------
def errPrint(mes):
"""errPrint.
エラー出力へのメッセージ表示
後の始末はその後で別に書くこと
"""
sys.stderr.write(mes)
sys.stderr.write('\n')
#-------------------------------------------------------------------
def stdExceptionHandler(mes):
"""standard Exception Handler.
エラーメッセージを送出し、デバッグのための情報を出力する
"""
errPrint("Exception Captured: " + str(mes))
errPrint("0:" + str(sys.exc_info()[0]))
errPrint("1:" + str(sys.exc_info()[1]))
errPrint("2:" + str(sys.exc_info()[2]))
#-------------------------------------------------------------------
def tryIntParse(st, dval, radix=10):
"""try Parse string to Integer
文字列stをパースして整数化できれば値を返す、できなければデフォルト値dvalを返す
"""
try:
work = int(st, radix)
except:
return dval
return work
#=======================================================================
# 解析オプション クラス
class Options:
"""Options Class.
グローバルオプションを保持するクラス
"""
pass
#=======================================================================
# FLTファイルリーダクラス
[ドキュメント]class FltFileReader:
"""FltFile Reader Class.
FLTファイルを読みとり、ターゲットの配列であれば
Numpy ndarrayとして確保する。
"""
#--------------------------------------------------------------------
def __init__(self, inputFnam, targetArrayName):
"""FLT File Reader Constructor
コンストラクタ
"""
self.iFname = inputFnam #<<! 入力FLTファイル名
self.tName = targetArrayName #<<! 処理対象FLT配列名
# レコードヘッダ、トレイラの検索表現
self.headerRE = re.compile("^\@([a-zA-Z_][a-zA-Z0-9_]*)\<FLOAT\>\[([0-9]+)\,\s*([0-9]+)\]\s*\{")
self.trailerRE = re.compile("^}\s*nREC\=([0-9]+)\,\s*CONV_ERR_CODE\=([0-9]+)\,\s*CONV_ERR_COUNT\=([0-9]+)");
# 配列データ保持構造
self.clearArray()
self.inData = False
# debug
self.debug = False
self.verbose = False
#--------------------------------------------------------------------
[ドキュメント] def clearArray(self):
"""Clear Array method
配列の一時記憶構造を初期化する
"""
self.nArray = None #<<! Numpy 配列の格納用アンカー
self.iX = 0 #<<! FLT配列のXサイズ
self.iY = 0 #<<! FLT配列のYサイズ
self.nData = 0 #<<! FLT配列の要素カウント
self.nX = 0 #<<! Numpy配列の処理ロケーションX
self.nY = 0 #<<! Numpy配列の処理ロケーションY
self.readStatus = 0 #<<! 読み取りステータス 0=読み取り開始, 1=読み取り正常終了, 2=読み取りエラー
#--------------------------------------------------------------------
[ドキュメント] def read(self):
"""Read method
FLTファイルを読み込むメソッド。読み込み成功すれば真を返す。
"""
try:
with open(self.iFname, 'r') as f:
for line in f:
if self.rLine(line):
break
except:
stdExceptionHandler("Error: in file reading = " + self.iFname)
return False
if self.readStatus == 1:
return True
return False
#--------------------------------------------------------------------
[ドキュメント] def rLine(self, lin):
"""Read Line method
読み取った1行を処理するメソッド
inData フラグが立っていれば、
①レコード末尾行であればパラメータを読み取ってチェックする
チェック結果で問題あればエラー終了
問題なければ正常終了
inDataフラグを下す
②レコード末尾行でなければデータ行として、配列にため込む
inData フラグが立っていなければ
①配列ヘッダ行であればパラメータを読み取って該当か否か判断する。
該当データであれば inData フラグを立て、配列を初期化して処理に進む。
読み取りが必要な間、Falseを返す。読み取り完了またはエラー時にはTrueを返す
"""
if self.inData:
trailer = self.trailerRE.match(lin)
if trailer:
if self.nX != 0:
print "WARNING: X=", self.nX, " Y=", self.nY
nREC = tryIntParse(trailer.group(1), 0)
if self.nData != nREC:
errPrint("ERROR: " + lin )
errPrint("ERROR: Trailer size mismatch. Actual=" + str(self.nData) + " nREC=" + str(nREC))
self.readStatus = 2
else:
if self.verbose:
print "--> trailer, nREC=" + str(nREC)
self.readStatus = 1
self.inData = False
return True
else:
if self.nY >= self.iY:
errPrint("ERROR: Too much data, Y=" + str(self.nY) + ":" + str(self.iY))
self.readStatus = 2
return True
dlis = lin.split(",")
for item in dlis:
try:
fdata = float(item.strip())
except:
continue
self.nData += 1
self.nArray[self.nX][self.nY] = fdata
# nX, nYの更新
self.nX +=1
if self.nX >= self.iX:
if self.debug:
print "Y:" + str(self.nY) + " X:" + str(self.nX) + ":" + str(self.iX) + ":#=" + str(self.nData)
self.nY += 1
self.nX = 0
else:
header = self.headerRE.match(lin)
if header:
aname = header.group(1)
if self.verbose:
print "Find array header:" + aname
if aname.startswith(self.tName):
self.clearArray()
self.iX = tryIntParse(header.group(2), 0)
self.iY = tryIntParse(header.group(3), 0)
if (self.iX * self.iY) < 1:
errPrint("ERROR: Unexpected Array size ?=" + lin)
return True
self.inData = True
if self.verbose:
print "--> TARGET ARRAY, x:{0} y:{1}".format(self.iX, self.iY)
self.nArray = np.zeros((self.iX, self.iY), dtype=np.float) # Numpy Arrayを0初期化で生成
return False
#--------------------------------------------------------------------
[ドキュメント] def ipCalc(self, nd):
"""Inner Product Calculation
保持しているnArrayと外から与えられたndの間の内積を取って結果を出力する。
外から与えられたndは１次元化し、保持するnArrayのxと掛け合わせる。
xの数だけ繰り返す。
成功すれば真を返す。
"""
cmpX, cmpY = nd.shape
ndSize = cmpX * cmpY
if (cmpX < 1) or (cmpY < 1) or (self.iX != ndSize):
print "ERROR: ipCalc", cmpX, cmpY, self.iX
return False
work = np.zeros(ndSize)
for ay in range(0, cmpY):
for ax in range(0, cmpX):
work[ay * cmpX + ax] = nd[ax][ay]
for aLine in range(0, self.iY): #nArrayの行毎
if ((aLine % 16) == 0) and (not self.debug):
print "IP({0})=".format(aLine),
sum = 0
if self.debug and (aLine == 0):
sum = -0.00268042
for eX in range(0, self.iX): #xを舐める
sum += self.nArray[eX][aLine] * work[eX]
if self.debug and (aLine == 0):
print ">>>({0}) : {1: 05f} {2: 05f} = {3: 05f}".format(eX, self.nArray[eX][aLine], work[eX], sum)
if not self.debug:
print sum,
if ((aLine % 16) == 15) and (not self.debug):
print
print
return True
#=======================================================================
# FLTファイルライタクラス
[ドキュメント]class FltFileWriter:
"""FltFile Writer Class.
Numpy 配列をFLT形式ファイルとして出力する。
モードにより整形用の「フィルタ」を適用する。
"""
#--------------------------------------------------------------------
# 静的（クラス）変数
static_const_modeDic = dict()
static_const_modeDic['none'] = 0
static_const_modeDic['ip8'] = 1
#--------------------------------------------------------------------
# 静的（クラス）メソッド
@staticmethod
[ドキュメント] def getModeNumber(modeName):
"""get Mode Number.
モード文字列からモード番号を返す。
"""
if modeName in FltFileWriter.static_const_modeDic:
return FltFileWriter.static_const_modeDic[modeName]
else:
return 0
#--------------------------------------------------------------------
def __init__(self, nary, aName, md, padX):
"""FLT File Writer Constructor
コンストラクタ
"""
# 入力配列
self.IN_nArray = nary #<<! 入力Numpy配列
self.IN_arrayName = aName #<<! 入力FLT配列名
self.IN_iX = 0 #<<! 入力Numpy配列のXサイズ
self.IN_iY = 0 #<<! 入力Numpy配列のYサイズ
self.IN_iX, self.IN_iY = self.IN_nArray.shape
# 出力配列
self.nArray = None #<<! 出力するNumpy配列
self.arrayName = None #<<! 出力FLT配列名
self.iX = 0 #<<! 出力Numpy配列のXサイズ
self.iY = 0 #<<! 出力Numpy配列のYサイズ
self.fX = 0 #<<! 出力FLT配列のXサイズ
self.fY = 0 #<<! 出力FLT配列のYサイズ
# mode
self.mode = md #<<! モードフラグ
self.paddingX = padX #<<! 出力fX方向のパディングサイズ
# debug
self.debug = False
self.verbose = False
#--------------------------------------------------------------------
#--------------------------------------------------------------------
[ドキュメント] def makeIP8(self):
"""format IP8(inner product x 8 mode)
内積計算８並列モードとなるように入力Numpy配列の行８行を１行とした出力Numpy配列を準備する。
横幅８倍、縦幅８分の１
入力Numpy配列の行８行縦１列を横８要素として出力Numpy配列にコピー
(行が８行以下の場合は要素０フィルして８要素とする)
成功すれば真、そうでなければ偽。
"""
self.iX = self.IN_iX * 8
self.iY = (self.IN_iY + 7) / 8
if (self.iX > 0) and (self.iY > 0):
if self.verbose:
print "NEW ARRAY, x:{0} y:{1}".format(self.iX, self.iY)
self.nArray = np.zeros((self.iX, self.iY), dtype=np.float)
else:
return False
tempDat = np.zeros(8, dtype=np.float)
for oLine in range(0, self.iY): #出力側行番号で舐める
for iCol in range(0, self.IN_iX): #入力側列番号で舐める
self.nArray[iCol * 8 + 0, oLine] = self.IN_nArray[iCol, oLine * 8 + 0] if (oLine * 8 + 0) < self.IN_iY else 0.0
self.nArray[iCol * 8 + 1, oLine] = self.IN_nArray[iCol, oLine * 8 + 1] if (oLine * 8 + 1) < self.IN_iY else 0.0
self.nArray[iCol * 8 + 2, oLine] = self.IN_nArray[iCol, oLine * 8 + 2] if (oLine * 8 + 2) < self.IN_iY else 0.0
self.nArray[iCol * 8 + 3, oLine] = self.IN_nArray[iCol, oLine * 8 + 3] if (oLine * 8 + 3) < self.IN_iY else 0.0
self.nArray[iCol * 8 + 4, oLine] = self.IN_nArray[iCol, oLine * 8 + 4] if (oLine * 8 + 4) < self.IN_iY else 0.0
self.nArray[iCol * 8 + 5, oLine] = self.IN_nArray[iCol, oLine * 8 + 5] if (oLine * 8 + 5) < self.IN_iY else 0.0
self.nArray[iCol * 8 + 6, oLine] = self.IN_nArray[iCol, oLine * 8 + 6] if (oLine * 8 + 6) < self.IN_iY else 0.0
self.nArray[iCol * 8 + 7, oLine] = self.IN_nArray[iCol, oLine * 8 + 7] if (oLine * 8 + 7) < self.IN_iY else 0.0
return True
#--------------------------------------------------------------------
[ドキュメント] def writeFLT(self, fname):
"""write FLT file
出力Numpy配列をFLTファイルへ出力。
出力X方向がpaddingXの倍数でなければpaddingXの倍数になるまで0で埋める。
Numpy配列とFLTファイル上のxが異なることがある。
書き込み成功すれば真
"""
#self.fX = ((self.iX + 15) / 16) * 16
segLen = (self.iX + (self.paddingX - 1)) / self.paddingX
self.fX = segLen * self.paddingX
self.fY = self.iY
if self.debug:
print self.iX, self.fX, self.paddingX
try:
with open(fname, 'w') as f:
f.write('@{0}<FLOAT>[{1}, {2}] '.format(self.arrayName, self.fX, self.fY) + '{\n' )
lfNum = 0 #行送り用カウンタ
for ay in range(0, self.iY):
for ax in range(0, self.fX):
if ax < self.iX:
f.write(str(self.nArray[ax][ay])+", ")
else:
f.write("0, ")
lfNum += 1
if lfNum == 16: #FLTファイルは16要素毎に改行を入れる。
f.write('\n')
lfNum = 0
if lfNum != 0:
f.write('\n')
f.write('} ' + 'nREC={0}, CONV_ERR_CODE=0, CONV_ERR_COUNT=0\n'.format(self.fX*self.fY))
except:
stdExceptionHandler("ERROR: Unexpected Error in the writing dump file. ?=" + fname)
return False
return True
#=======================================================================
# メインプログラム
def main():
"""main.
メインプログラム
"""
#-----------------------------------------------------------------------
# コマンドラインオプション処理
#
parser = argparse.ArgumentParser(description='fltFormatter, FLT file format utility.')
parser.add_argument('--FLT1', nargs=1, help='1st. FLT file name.')
parser.add_argument('--ARRAY1', nargs=1, help='Array name, in 1st. FLT file.')
parser.add_argument('--FLT2', nargs=1, help='2nd. FLT file name, inner product calculation mode.')
parser.add_argument('--ARRAY2', nargs=1, help='Array name, in 2nd. FLT file.')
parser.add_argument('--FOUT', nargs=1, help='Output FLT file name.')
parser.add_argument('--FMT', nargs=1, help='Formatting mode, (ip8, ...).')
parser.add_argument('--PADX', nargs=1, help='X PADDING SIZE (default=256).')
parser.add_argument('-d', dest='debug', help='Debug mode, print debug information.', action='store_true', default=False)
parser.add_argument('-v', dest='verbose', help='Verbose mode.', action='store_true', default=False)
parser.add_argument('-V', dest='VERSION', help='Show Version, then exit', action='store_true', default=False)
args = parser.parse_args()
#-----------------------------------------------------------------------
# Version 表示
#
print versionSTR
if args.VERSION:
sys.exit(0)
#-----------------------------------------------------------------------
# ファイル名処理
#
if args.FLT1 is None:
errPrint('ERROR: NO FLT file!')
sys.exit(1)
else:
flt1Fname = args.FLT1[0]
if not os.path.isfile(flt1Fname):
errPrint('ERROR: FLT1 file, NOT EXIST. ?=' + flt1Fname)
sys.exit(1)
if args.ARRAY1 is None:
errPrint('ERROR: NO ARRAY1 specified!')
sys.exit(1)
else:
array1name = args.ARRAY1[0]
if args.FLT2 is None:
ipCalcMode = False
else:
ipCalcMode = True
flt2Fname = args.FLT2[0]
if not os.path.isfile(flt2Fname):
errPrint('ERROR: FLT2 file, NOT EXIST. ?=' + flt2Fname)
sys.exit(1)
if args.ARRAY2 is None:
errPrint('ERROR: NO ARRAY2 specified!')
sys.exit(1)
else:
array2name = args.ARRAY2[0]
if args.FOUT is None:
errPrint('ERROR: NO OUTPUT FLT file!')
sys.exit(1)
else:
foutFname = args.FOUT[0]
#-----------------------------------------------------------------------
# パラメータ処理
if args.FMT is None:
fmtMode = 0
else:
fmtMode = FltFileWriter.getModeNumber(args.FMT[0])
if fmtMode == 0:
errPrint('ERROR: Unknown Format mode.')
sys.exit(1)
if args.PADX is None:
paddingX = 256
else:
paddingX = tryIntParse(args.PADX[0], 256)
#-----------------------------------------------------------------------
# 実処理
#
print "-"*50
#元ファイルを読み込み
flt1 = FltFileReader(flt1Fname, array1name)
flt1.debug = args.debug
flt1.verbose = args.verbose
if not flt1.read():
sys.exit(1)
# IP計算モードのとき
if ipCalcMode:
flt2 = FltFileReader(flt2Fname, array2name)
flt2.debug = args.debug
flt2.verbose = args.verbose
if not flt2.read():
sys.exit(1)
if not flt1.ipCalc(flt2.nArray):
sys.exit(1)
fout = FltFileWriter(flt1.nArray, flt1.tName, fmtMode, paddingX)
fout.debug = args.debug
fout.verbose = args.verbose
if fout.formatArray():
if not fout.writeFLT(foutFname):
errPrint("ERROR: Writing FLT file. ?=" + foutFname)
sys.exit(1)
else:
errPrint("ERROR: FLT file Preparation.")
sys.exit(1)
today = datetime.today()
print today.strftime("FINISH: %Y/%m/%d %H:%M:%S")
#-----------------------------------------------------------------------
# 正常終了
#
sys.exit(0)
#=======================================================================
# メインプログラムの起動
if __name__ == "__main__":
main()