こここブログ

機械学習, 統計分析, 競技プログラミング, CTF, VR, ……テクノロジーへの憧憬に身を焼かれている人のメモ帳です

機械学習における多重共線性(マルチコ)と多重共線性のメカニズムについてのリンク先メモ

2019-10-28-公開 機械学習における多重共線性(マルチコ)について調べた際、参考にさせていただいた記事をメモしておきます。 ただのメモですので、より詳細な説明等はリンク先の記事を御覧ください。 機械学習における多重共線性 心理統計学の分野では、重…

AWS EC2インスタンスにローカルのファイルをセキュアにアップロード(scp使用・ポート指定)

AWS

2019-10-21 公開 AWS EC2インスタンスにローカルのファイルをアップロードしたいとき、Git Bashでscpを使ってセキュアにアップするという方法がある*1。 しかし、アクセスできるインスタンスのポート番号が指定されていたので、spcコマンド内でのポートの指…

AWS入門時に参考にした記事(概要・コマンドラインからの実行・Jupyter Notebookの使用)

2019-10-15 公開 遅ればせながらAWS(Amazon Web Services)を触り始めたので、その際に参考にさせていただいた記事やドキュメントをメモしておく。 データ分析に使用するので、ひとまずの目的は以下の4つ。 概要・全体像把握 インスタンス立ち上げ・GPUを用い…

UnderSamplingで抽出したデータ以外の(使用しなかったindexの)データを取得

2019-10-04 公開 機械学習を行う際、正例(y = 1)と負例(y = 0)との割合が極端に偏っているケースがある。 割合が偏っていると、データの多い方を優先して予測してしまうことが多く、予測結果がすべてy = 0なんてことも。悲惨である。 そういう場合 多すぎる…

優先度付きキューと貪欲法(AtCoder Beginner Contest 137 D問題復習)

2019-08-13 公開 / 2019-09-08 更新 方針は立ったものの実装ができず、悔しい想いをしたAtCoder Beginner Contest 137(ABC137)のD問題。 「優先度付きキュー(priority queue)」という便利なデータ構造について知ったのでメモ。 「貪欲法」という考え方の理解…

統計検定1級に向けて

2019-07-21 公開 発達心理学やアルバイト、フリーランスのお仕事でデータ分析をやっていた関係で、2012年ごろからかれこれ5年ほど統計分析に関わってきた(ブランクあるので-2年)。 データ分析、これからも重要そうなので改めて知識を補充しておきたい。 そ…

ネットワークスペシャリスト試験に向けて

2019-07-20 公開 2019年4月の応用情報技術者試験 (AP) に合格したため、次は2019年10月のネットワークスペシャリスト試験(ネスペ試験)を受ける。 ネスペ試験の基本情報から対策まで、自分用にまとめておく。 基本的内容 試験構成 試験 時間 出題形式 回答…

Pythonで横向きのツリー図(樹形図)を描写

2019-07-19 公開 / 2019-07-20 更新 階層的なデータを可視化する際、ツリー図(樹形図)をPythonで描きたいこともある。 そんなとき、graphvizを使うと便利。 今回はデモとして東京都の区市町村名をツリー図で描写してみる。 入力と出力 入力 出力 環境構築 …

Jupyter Notebook保存時にpyファイルも一緒に保存・更新できるとgitでの差分管理が楽

2019-07-19 公開 / 2019-07-30 更新 Jupyter好きなんだけどgitでの差分管理がつらい。 pyファイルを保存すれば差分が見られるようになるが、Jupyter Notebookのメニューからpyファイルを保存すると、いらない情報も一緒に保存されて差分管理の邪魔。 そんな…

ウィンドウを閉じる(Alt+F4)・タブを閉じる(Ctrl+w)ショートカットキー

2019-07-19 公開 タイトルの通り。 特にウィンドウを閉じるショートカットキーは忘れがちなのでメモ。 ウィンドウを閉じるショートカットキー(Windows): Alt + F4キーボードから手を離さなくてもウィンドウを閉じられるの、めちゃ便利— こここ (@kokokococo…

読書記録

2019-06-18-公開/2019-10-22-更新 読書記録 Twitterに投稿した読書メモをまとめた 大雑把な分野別に掲載 分野内では最近読んだ本が上に来ている 2018年8月15日~現在までの読書記録 読書記録 データ分析・Python・R 現場のプロがやさしく書いたWebサイトの分…

Harekaze CTF 2019 ひとり反省会[CTF6戦目]

CTF

2019-06-06-公開 Harekaze CTF 2019 [*1] にチーム「Xplosion」 の1人として参加した。Xplosionは私とCTFに誘ってくれた友人kangetsu121さんの2人編成。CTF6戦目。 RCTF 2019にも同時参加。 www.kokokocococo555.com 将来の振り返りのために取り組みをメモし…

RCTF 2019 ひとり反省会[CTF5戦目]

CTF

2019-06-06-公開 RCTF 2019 [*1] にチーム「Xplosion」 の1人として参加した。Xplosionは私とCTFに誘ってくれた友人kangetsu121さんの2人編成。CTF5戦目。 Harekaze CTF 2019にも同時参加。 www.kokokocococo555.com 将来の振り返りのために取り組みをメモし…

ヤマノススメ(アニメ)で登った山一覧(google map 埋め込み版)

www.kokokocococo555.com ※上の記事のgoogle map 埋め込み版です。山の位置を確認したい場合にどうぞ。 表示スピードが遅いので、「地図はいいや」という方は元の記事をどうぞ。 目次 ヤマノススメ(アニメ)であおいたちが登った山と話数一覧 天覧山 高尾山…

pandasデータフレームのforループ処理高速化ーPythonのmultiprocessingによる並列処理

2019-05-10-公開, 2019-09-26-公開 前提 <2019-09-26追記> forループはできるだけ避けること。groupbyを使って同様の実装を行うだけで想像以上に高速になる。 pandasのgroupbyを使えば、2つ以上のDataFrameを結合した後の行数のカウントや集計も可能 処理速…

Pythonのpandasデータフレームの要素の値が変更される場合と変更されない場合+行名ではなく行番号で指定する方法

2019-05-08-公開 2019-05-10-更新 困りごと Pythonのpandasでデータフレームの値を変更しようとした際、代入できず困った pandasをソートして一番最初の行を取ってこようとした際、行番号ではなく行名?での指定が行われて困った 解決策 ※1.の原因と対策は以…

SwampCTF 2019 ひとり反省会[CTF4戦目]

CTF

2019-04-08-公開 2019-04-11-更新 SwampCTF 2019 [*1] [*2] にチーム「Xplosion」 [*3] の1人として参加した。Xplosionは私とCTFに誘ってくれた友人kangetsu121さんの2人編成。CTF4戦目。 将来の振り返りのために取り組みをメモしておく [*4] 。 ※取り組んだ…

AceBear Security Contest 2019 ひとり反省会[CTF3戦目]

CTF

2019-04-07 公開 AceBear Security Contest 2019 [*1] [*2] にチーム「Xplosion」 [*3] の1人として参加した。Xplosionは私とCTFに誘ってくれた友人kangetsu121さんの2人編成。CTF3戦目。 将来の振り返りのために取り組みをメモしておく [*4] 。 ※取り組んだ…

Midnightsun CTF 2019 ひとり反省会[CTF2戦目]

CTF

2019-04-07 公開 Midnight Sun CTF 2019 [*1] [*2] にチーム「Xplosion」 [*3] の1人として参加した。Xplosionは私とCTFに誘ってくれた友人kangetsu121さんの2人編成。CTF2戦目。 将来の振り返りのために取り組みをメモしておく [*4] 。 ※取り組んだ問題は後…

Jupyter Notebookに目次を出したり変数一覧を表示したり

2019-03-10 公開 / 2019-07-21 更新 目次と変数一覧はとても便利。自分用の設定手順メモ。 やりたいこと 方法 変数一覧も出せる やりたいこと 以下のリンク先のように、Jupyter Notebookに目次を出したい。 サイドバーから任意の見出しに飛べるようになるた…

半年から1年ほどの経験を積んだライターに武器を授けてくれる『新しい文章力の教室』

(公開:2018-11-06) 『新しい文章力の教室―苦手を得意に変えるナタリー式トレーニング』インプレス を読みました。 良いですね、これは良い。ライターを始めて半年~1年経った方には特におすすめします。これまでの体験を振り返りながら読むことで、本書が…

「Oculus Quest」の登場はVRが一般家庭に広がる契機になる

VR

(投稿:2018-10-14|更新:2019-05-02) (画像:Pixabayより) 最近流行りのVRですが、これほんとうにすごいですよね。頭を動かすと視界も上下左右に動き、本当に別世界に入り込んだかのような没入感。 今年は、手を出しやすい価格かつPCやスマホとの接続が…

【Python】Webスクレイピング周りのスキルセットとデモスクリプトまとめ【Qiita投稿】

(投稿:2018/09/20|更新:) コンサルティング業務を行う企業でアルバイトをしていたことがあるのですが、その際Pythonプログラミングの業務を担当していました。 そのとき、Web上のデータを収集することになりまして。 やっているうちにWebスクレイピング…

kaggle超初心者が第一歩を踏み出すために参考にした7つの記事・動画

(投稿:2018/08/30|更新:) 画像:広島県の大久野島で撮影。うさぎ。 前から興味のあった「kaggle」。 以下の記事を目にして改めて「始めねば」と思い立ち、まずはネットで情報収集をしました。 wired.jp kaggle、前々から興味あるんやけど一歩が踏み出せ…

kaggle初心者はどのコンペに参加すべき?コンペの7分類を紹介

(投稿:2018-08-29|更新:2018-12-23) 画像出典:Pixabayの無料写真 機械学習の訓練に良いと聞くkaggle、興味はあるものの一歩を踏み出すにはハードルがありますよね。特に困るのが 「kaggleのコンペティション、どれに参加すれば良いのか問題」 困ったの…

お金の不安があった「駆け出しフリーランス」のころの自分に教えてあげたい副業事情-[PR記事]

(投稿:2018/08/15|更新:) (画像出典:ノート パソコン ノートブック 仕事 · Pixabayの無料写真) こんにちは。こここ(@kokokocococo555)です。 公務員を辞め、フリーランスのWebライター・エンジニア・データ分析家となってから4ヶ月ほどが経過しま…

「小説家になろう」作品をPythonでWebスクレイピングする記事をQiitaに投稿しました

(投稿:2018/08/08|更新:2018/08/15) ついにQiitaデビューしました! qiita.com エンジニアを名乗っていくからには「Qiita見る専」から脱したいと考えていたので、ようやくといった感じです。 嬉しくなったので記事にしました。 目次 【2018-08-09追記】…

【ノートPC】HDDからSSDへの換装時に大変だったポイント2点を共有

(投稿:2018/08/04|更新:2019/08/18) 「PCが超重くてストレス!!」 ということでタスクマネージャーを見ると、「ディスク」が常に100%になっています……。 対策をググっていろいろ試しましたが、結局改善は見られず。 そこで、「ディスクが100%で重いな…

ヤマノススメ(アニメ)で登った山を制覇したい!【出てくる山の一覧】―聖地巡礼もしたい!―

(投稿:2018/08/04|更新:2019/05/12) 「登山がしたい!でもどの山に登ればいいか分からない…。」 「じゃあいっそ、大好きなヤマノススメを参考にしよう!」 ということで、超超大好きなアニメ「ヤマノススメ」に出てくる山をまとめました。 あおいたちが…

「軽い死にたさ」が薄まってつまんない人間になったなと思うけど、元からつまんない人間だっただけ

(投稿:2018/06/08|更新:) こんばんは。こここ(@kokokocococo555)です。 今回の記事、完全にひとりごとです。エッセイですね。ところでエッセイって何ですかね。頭に浮かんだこと、最近考えたことをただ書きなぐっています。 よく耳にする「抑圧」と「…