SBI証券の外国株式配当金支払通知書からデータを抜き出す

 確定申告の季節になりましたね。メインの証券会社としてSBI証券を使っています。暫く前から「My資産」というサマリーページが出来て、便利になりましたが、外国株式の配当金から引かれた外国の源泉徴収税の一覧が得られませんでした。

このページに説明されているのですが、特定口座（源泉徴収あり、配当受け入れ）以外の場合には、都度発行の様です。同じ日に支払われた場合には一つの支払い通知書に複数の支払が記載されています。

外国で支払った源泉徴収税を取り戻したり、分離課税にするか、総合課税にするか、申告不要にするかの検討をする際にspreadsheetにまとまっていると便利ですよね。ネットで検索しつつpythonのプログラムでSBIの支払通知書を読んで、データを取り出すことに成功したので、記事にしました。試したのは米国で外貨決済のものだけです。他国のADR等で別の処理が必要なものもあるかもしれません。

PDFファイルからテーブルを読み出すのにはcamelotというライブラリを使います。pip3でインストール出来ますが、ghostscriptを使いますので、必要なら別途homebrew等でインストールします。

取り敢えず一つ読んでみたら、(1) 日本語が読めない、(2) テーブルがうまく読めない、という状況でこれは駄目そうか、と諦めかけたのですが、line_scaleというパラメタを大きな値に設定したところうまく読めました。

以下にプログラムを示します。まずは必要なモジュールをインポートします。

import camelot
import pandas as pd
from pathlib import Path

次はpandasのDataFrameを作る準備をします。

cols = ["配当金等支払日", "国内支払日", "現地基準日", "銘柄コード",
        "1単位あたり金額", "数量", "配当金等金額", "外国源泉徴収税額",
        "外国精算金額", "国内源泉徴収税額", "受取金額",
        "申告レート基準日","申告レート", "為替レート基準日", "為替レート",
        "配当金等金額(円）", "外国源泉徴収税額(円）", "国内課税所得額(円）",
        "所得税（外貨）", "地方税（外貨）", 
        "所得税（円貨）", "地方税（円貨）"]
df = pd.DataFrame(index=[], columns=cols)
year = 2023
file_dir = Path.home() / "Documents" / "金融" / "投資記録" / str(year) / "SBI" / "SBI外貨建支払い通知書"

このディレクトリにある全てのPDFファイルを順番に読んで処理します。

for file in file_dir.glob("*.pdf"):
    print(file)
    tables = camelot.read_pdf(str(file), split_text=True, layout_kwargs = {'char_margin': 0.25}, line_scale=40)
    for i in range(0, tables.n, 2):
        s = pd.DataFrame([[pd.to_datetime(tables[0+i].df.loc[1,0], format='%Y/%m/%d'),
                           pd.to_datetime(tables[0+i].df.loc[1,1], format='%Y/%m/%d'),
                           pd.to_datetime(tables[0+i].df.loc[1,2], format='%Y/%m/%d'),
                           tables[0+i].df.loc[1,4],
                           float(tables[0+i].df.loc[3,2]),
                           int(tables[0+i].df.loc[5,0]),
                           float(tables[0+i].df.loc[5,1]),
                           float(tables[0+i].df.loc[5,2]),
                           #tables[0+i].df.loc[5,3],                   
                           float(tables[0+i].df.loc[5,6]),
                           float(tables[0+i].df.loc[5,8]),
                           float(tables[0+i].df.loc[5,14]),
                           pd.to_datetime(tables[1+i].df.loc[2,0], format='%Y/%m/%d'),
                           float(tables[1+i].df.loc[2,1]),
                           pd.to_datetime(tables[1+i].df.loc[3,0], format='%Y/%m/%d'),
                           float(tables[1+i].df.loc[3,1]),
                           int(tables[1+i].df.loc[2,2].replace(",","")),
                           int(tables[1+i].df.loc[2,3].replace(",","")),
                           int(tables[1+i].df.loc[2,4].replace(",","")),
                           float(tables[1+i].df.loc[2,6]),
                           float(tables[1+i].df.loc[2,7]),
                           int(tables[1+i].df.loc[3,6].replace(",","")),
                           int(tables[1+i].df.loc[3,7].replace(",",""))],],
                         columns = cols,
                         index = [pd.to_datetime(tables[0+i].df.loc[1,1], format='%Y/%m/%d')])
        df = pd.concat([df if not df.empty else None, s])

最後の部分だけ少し注釈を入れます。

  • read_pdfのところで、str(file)としているのは、何故かPathオブジェクトが受け入れられなかったからです。
  • 同じくread_pdfで、line_scale = 40が肝でした。char_marginオプションは不要かもしれません。試行錯誤の名残です。
  • うまく読めると一つの支払いについて二つのテーブルが作られます。一つ目がメインのテーブルで、二つ目が「国内源泉徴収税の明細」のテーブルです。メインのテーブルからcolsのうちの受取金額までを、国内源泉徴収税の明細のテーブルから残りを読み取ります。
  • 一つの支払い毎にDataFrameを作って、それをconcatしています。別のやり方ももちろんあると思います。
  • for i in range(0, tables.n, 2):で、一つのPDFファイルで複数の支払いがあった日に対応しています。
  • read_pdfが作るDataFrameのセルは全部文字列の様なので、新しいDataFrameには日付・float・intに変換して入れています。locで指定している場所は、一旦読んでみてPDFと照らし合わせあせながら指定しています。
最後にxlsxファイルに書き出します。


df.to_excel("sbi_shiharai.xlsx")

以上です。

コメント

コメントを投稿

このブログの人気の投稿

建築士さんと家を建てよう

 permanentの職を取ったら、とか、子供が小学生になる前に、とか理由はいくつかあると思いますが、住まいを賃貸から所有へ、と考えますよね。ここではどちらが得か、という議論はしません。単に、家を建てるのは面白い、という話です。小学校の時の卒業文集を見ると、将来建築家になる、と書いていた私なので、バイアスがかかっているかも知れませんが。 もし、職場に近くて、あるいは配偶者の職場とあなたの職場の中間点あたりに住環境の良い地域があって、将来的にもそれほど値段の下がりそうにない所で土地が買えたら、あるいは、ご（義）両親が土地を提供されて二世帯住宅の提案をされたら、建築士さんに設計・監理を依頼して家を建てましょう。 もし、我々研究者の様な変わった人間の言うことを聞いてくれる建築士さんに巡り合って依頼出来れば、当然ながら設計監理費として、建築費の10%程度取られますが、良い工務店を選んでくれる、こちらの希望を徹底的に叶えてくれる、施主支給などのやり方でなるべく安く建てる様に努力してくれる、などのメリットがあり、結果として満足の出来る家が出来上がると思います。 最近自宅と両親の家を売却する機会があり、インターネットのロング・テール効果を実感しました。2軒とも、普通の家からは3シグマ位離れた感じの築20年以上の家だったのですが、それぞれ「まさにこういう家を探していた」と言う買い手が比較的すぐ現れて思っていたよりもずっと高い値段で買ってくれました。なお、家と庭は注意してできる限り良い状態に保つ様にはしていました。ので、皆さんが趣向を凝らしたこだわりの家もそのせいで売れないと言うことはないと思います。 家に求めるもの まずは家に何を求めるか、を考えます。例えば、今なら耐震性能とゼロ・エネルギーでしょうか。高い耐震性能の家は、建築士さんは建てた事があると思いますが、ゼロ・エネルギーは殆どないと思います。そこで、研究者である貴方の出番です。貴方が計算すれば良いのです。 耐震性能を高くするには、一階の窓を減らして壁を増やすのが大事なので、一階に寝室や浴室を配置します。二階にリビングとキッチンを配置して、窓を大きくして明るくします。あとは建築士さんの出番です。 紙で物を見るのが好きな方はこの段階でA3がプリント出来るプリンタを購入する事をお勧めします。少なくとも数年前はちょっと探すと...
続きを読む

資産の記録を自動化してみた

イメージ
 Seleniumって知ってますか？これを使って、以前書いた ブログ記事 の自動化を試みました。証券会社や銀行のページにログインして、残高等の数値を読み出してGoogle spreadsheetに書き込む一連の動作をPythonのコードで記述しました。prism.jsを使って、コードの右上からcopyもできる様にしましたので、簡単に応用可能かと思います。 以前からWeb操作の自動化が出来る事は知っていましたし、プログラムからGoogle spreadsheetへの書き込みはやっていましたが、金融機関口座情報へのログインパスワードを平文でコード内に埋め込んだり、ファイルから読み取ったりするつもりもなく、かと言って自分で暗号化したりするのも面倒くさいので、読み出すのは手動で満足していました。 パスワード管理ソフト 1 passwordのCLI 私はパスワード管理ソフトとして、1 passwordというソフトウェアを20年近く使っています。1 passwordが出来たばっかりの頃に95ドルで買い切りのファミリーライセンスを購入して長い事使っていたのですが、これ以上新しいバージョンが使えないということで、数年前にサブスクに移行しました。非常に便利だし、5アカウントで年額$66ドルなので、満足して使っています。その 1 passwordが、いつの頃からか、CLIを準備したようです。これにPythonのラッパーが準備されていて、Pypiで取れるようになっています。 1passwordの日本語ホームページ です。 これを使えば、原理的には 1 passwordから読み出したパスワードはメモリ上にキープされるだけで、Pythonの変数をdelしてしまえば永続的には保存されない事になります。実際には、jupyterなどでやると、自動的にworkspaceが保存されたりしているのかも知れません。 準備の仕方は ここ に記述されています。その後、 op = OnePassword(account = "アカウントID") item = op.get_item("ID") とすれば、op.get_item()などの関数がすぐに使えます。IDは下のget_password関数に書かれているように、各項目(item)の名称を比較して、一致しているite...
続きを読む

米国の年金の受給申請をした

 受給資格ができたので、米国のソーシャルセキュリティとTIAAのアニュイティの受給申請をしました。 大学院を修了してから米国でポスドク〜終身雇用の研究員をやっていました。1985年に渡米して、1996年に帰日するまでずっと米国の大学に雇用されていました。11年いたわけですが、最初の3年はJビザだったので、２年間は免税だったかわりに年金には加入できませんでした。4年目からはH-1ビザになり、比較的すぐにグリーンカードをもらいました。 最初に着任した時の年俸は、田舎町だったので、多分低い方だったと思いますが、23,000ドルでした。アパート代が4-600ドル位だった様に思います。ホンダ・アコードの中古車を買ったのですが、これが9000ドルで、自分では買えずに、祖母に助けて貰った記憶があります。職種も昇進したのですが、給与もいい感じでどんどん上がって、帰国直前には5万数千ドルだったと思います。ドル円は80円から150円まで（今と同じように）乱高下していました。 米国のソーシャルセキュリティ ルールも変わっていると思うので、詳細は書きませんが、私のソーシャルセキュリティは36クレジットです。通常なら40クレジットないと年金が貰えないのですが、日米間の協定によって、36クレジットが無駄になることなく、米国から老齢年金が貰える様です。 40クレジット未満の人は、日本の年金機構に申請を出して、年金機構が、日米の受給期間を通算すると受給資格がある旨の証明書を添付して申請書を米国大使館に送ってくれます。1957年生まれは66歳6ヶ月になったら年金が貰え、その3ヶ月前から申請出来る、との事でしたので先日予約をして年金事務所に申請に行きました。 予め大使館や年金機構のwebページで調べて、申請書と添付すべき書類を揃えて行ったのでスムーズに話が進んだのですが、対応してくれた職員さんがやり方を良く知っていたので驚きました。普通の年金事務所で米国の年金を申請する人は滅多にいないと思うのですが。。。 日本の銀行に円で振り込む事も可能、との事なので、こちらはそうしようかと思っています。大使館から本人確認の連絡が来るはずですが、まだ来ていないし、その後もかなり時間がかかりそうです。実際に振り込まれたら記事をアップデートします。 ちなみにソーシャルセキュリティは、日本の老齢基礎年金に相当すると...
続きを読む