dtype を指定したほうが、データの読み込みが早い気もします。 また、とりあえず最初は全てobjectで読んでおいて、後から必要な個所のみ変更することもできます。 # 最初はすべてobjectで読む df = pd.read_csv('data_1.txt', header = 0, sep = '\t', na_values = 'na', dtype = ...
列数が異なるデータの行も利用したい場合は、 一度区切りを使わずに読み込んでからstr.splitで処理する sample.tsv AA\tAA\tAA\tAA BB\tBB\tBB\tBB CC\tCC\tCC DD\tDD\tDD\tDD EE\tEE\tEE\tEE importpandasaspddf=pd.read_csv('data/src/sample.tsv',header=None)print(df)# 0 AA\tAA\tAA\...
読み込み importpandasimportpathlibimportIPython.displaycsv_path=pathlib.Path('./test.csv')csv=pandas.read_csv(csv_path,dtype=str,encoding='utf8')display(csv) xlsx_path=pathlib.Path('./test.xlsx')xlsx=pandas.read_excel(xlsx_path,dtype=str,encoding='utf8')display(xlsx) json_path=pathlib.Pa...
freeze_supportfrompandasguiimportshownow=datetime.datetime.now()f=0#ファイルが読み込まれたかのフラグ(0:未読み込み 1:読み込み済み)#アプリケーション本体classSearchWindow(tk.Frame):def__init
先日こんな記事を書いてGeoParquetの書き込み・読み込みがいかに早いか、という紹介をしました。 GeoPandasをやるならFlatGeobufより10倍早いGeoParquetを使おう! 結果としてはこんな感じになりました。 write GeoParquet:31.5 s FlatGeobuf:8min 6s ...
今回はLangChainを使って自分が用意したデータに対して質疑応答タスクを実装する方法について解説しました。回答の質と量を上げて、回答の精度を上げてあげれば、実用的になりそうですね! 19 Register as a new user and use Qiita more conveniently ...