未分類」カテゴリーアーカイブ

Anacondaが起動できなくなった件

普段Pythonを使うのに使っていたAnacondaが、突然起動できなくなってしまいました。なんで?

ダウンロードしてインストールからやり直してみます。

Download Success

 

Anacondaが正しく動作しない場合、再インストールが最も簡単な解決策です。

再インストール手順

  1. 公式サイトからダウンロード:
  2. インストール時の注意:
    • 「Add Anaconda to my PATH environment variable」にチェックを入れる(推奨)。
    • 管理者権限でインストーラーを実行する。
  3. 確認:
    • インストール後、コマンドプロンプトで以下を実行して動作確認:
      conda --version

チャットGPTでは 「Add Anaconda to my PATH environment variable」にチェックを入れる(推奨)。

といってきたのですが、アナコンダのインストーラーは、非推奨というので、アナコンダのインストーラーに従ってしまいました。

しかしなぜ突然、動かなくなったんだろう。ソフトが起動しないというトラブルはたまに起きますが自力で解決できた試しがありません。

 

やっぱり、改善せず。今インストールしたバージョンと、もともとあったバージョンどちらもまずアンインストールすることにします。

  1. 古いAnaconda3をアンインストール
  2. 新たにインストールしたAnaconda3woアンインストール
  3. 新たにAnaconda3を管理者権限でインストール

これでめでたく起動できるようになりました。アンインストールとインストールはたいした手間ではないので、これが何も悩まなくてよかったです。

CNN(convolutional neural network)の特徴抽出で、線分や角、口、鼻、さらには顔が抽出されるという説明に関して

深層学習による画像処理の教科書を読んでいると、CNN(convolutional neural network)の特徴抽出で、線分や角が抽出される層、さらにその次の層では口、鼻の特徴が抽出され、さらにその次の層では顔が抽出されるという説明をよく見かけて、各層にはそれぞれその特徴的なパターンを示す画像が描かれています。例えば、顔の特徴を抽出するレイヤーでは顔写真が載せられています。あの顔写真は一体何でしょうか?そのレイヤーには「顔」の画像情報が存在しているということなのか、それとも入力画像に「顔」が含まれていた場合にそのレイヤーのニューロンが発火するという意味なのか、どっちでしょう。まあ後者だとは思うのですが、どうもしっくりこないので、ChatGPTに訊いてみました。

あなた: CNNで画像処理するとき、隠れそうで盗聴抽出されるって、教科書に書いていたけど、例えば、角とか輪郭が最初に抽出されて、そのあとのレイヤーでは顔が抽出されるとか。その場合の「顔」というのは、そのレイヤーの個々のニューロンが、「顔」に反応するという意味なの?それとも、そのレイヤーは「顔」の画素情報を持っているの?

ChatGPT: これは深層学習の畳み込みニューラルネットワーク(CNN)の内部表現に関する質問ですね。以下に、CNNのレイヤーが「顔」をどのように扱うのかを説明します。


1. レイヤーごとの抽出プロセス

CNNでは、各レイヤーが異なる特徴を抽出します:

  • 初期のレイヤー:
    • 簡単な特徴(エッジや角)を検出。
    • フィルタ(カーネル)がエッジの方向やコントラストのような基本的なパターンを抽出します。
  • 中間のレイヤー:
    • 簡単な特徴を組み合わせて、より複雑な形(目、鼻、口など)を認識。
  • 後半のレイヤー:
    • 中間レイヤーの出力を統合して、顔全体などの高度な特徴を認識。

2. 「顔」とはどういう意味か?

後半のレイヤーで「顔が抽出される」と言われる場合、次の2つの観点で説明できます。

(1) 個々のニューロンが「顔」に反応する

  • 意味: そのレイヤーの特定のニューロン(ユニット)は「顔」または「顔の一部」に特化して反応します。
    • 例: あるニューロンは「目」に反応し、別のニューロンは「鼻」に反応。
    • このニューロンの活性化(出力値)が大きいほど、その特徴が画像内に強く存在していることを示します。

(2) レイヤー全体が「顔」の情報を持つ

  • 意味: そのレイヤーの出力全体(ニューロンの集合)は「顔」に関する情報をエンコードしています。
    • 各ニューロンが「顔の特定の特徴」に反応し、それらが組み合わさって「顔」の表現を構成。

3. 実際にはどちらが正しいのか?

両方が正しいですが、CNNの構造の解釈に応じて視点が変わります:

  • 個々のニューロンの視点:
    • 特定のニューロンは、特定の「顔のパーツ」や「顔の特定のパターン」に特化して反応します。
    • ニューロンの出力値が高ければ、その特徴が画像内で強く表れていることを意味します。
  • レイヤー全体の視点:
    • レイヤー全体の出力は、「顔」に関する複雑な表現(特徴のマップ)を含んでいます。
    • この表現は次のレイヤーで利用され、さらなる統合や分類が行われます。

4. 「顔の画素情報」について

CNNでは、元の「画素情報」を直接持つわけではありません。その代わり:

  • 各レイヤーの出力は、元の画素情報を変換した「特徴マップ」です。
  • この特徴マップは、特定の特徴(顔の輪郭や構造など)を強調し、他の不要な情報を抑えます。

5. 具体例

例えば、「顔」を分類するCNNで、以下のような動作が行われます:

  1. 初期レイヤー: エッジやコーナーを検出。
  2. 中間レイヤー: 「目」や「口」などの顔のパーツを検出。
  3. 後半のレイヤー: 「目・鼻・口」の相対配置を統合して「顔」と認識。

6. 結論

  • 後半のレイヤーでは、「顔」は個々のニューロンの反応としても、「レイヤー全体の情報」としても表現される。
  • そのレイヤーが直接「画素情報」を持っているわけではなく、「顔」の特徴をエンコードした抽象的な表現を持っています。

 

 

あなた:「「顔」の特徴をエンコードした抽象的な表現」というけど、そのレイヤーの値を2次元に並べたら顔になっているという意味じゃないよね?あくまで入力データが顔だったときに、そのレイヤーのニューロンが「発火」するということだよね?

ChatGPT: おっしゃる通りです!CNNの「顔の特徴をエンコードした抽象的な表現」というのは、レイヤーの値を2次元に並べたら顔そのものが再現されるわけではありません。以下に詳細を説明します。


1. CNNのレイヤー出力は「抽象的な特徴表現」

  • CNNの各レイヤーは、入力画像(例えば顔)の生の画素情報を直接再現しているわけではありません。
  • 「特徴マップ」 と呼ばれる出力を生成しており、これは特定の特徴(エッジ、目、鼻、口、配置など)を強調してエンコードしたデータです。

2. レイヤーの値を「2次元」に並べても顔にはならない

  • CNNの中間レイヤーのニューロンの値(特徴マップ)を視覚化すると、以下のような結果が得られます:
    • 顔の「特定のパーツ」や「形状」などが強調された抽象的なパターン。
    • これらは顔そのものを再現しているのではなく、顔を識別するための重要な情報をエンコードしています。

3. 「発火する」という意味

  • 特定のレイヤーのニューロンが「発火する」というのは、そのニューロンが入力データの中で「顔の特徴」に強く反応していることを意味します。
    • ニューロンA: 目の形に強く反応。
    • ニューロンB: 鼻の輪郭に反応。
    • これらのニューロンの出力値が高い(活性化している)場合、入力画像には目や鼻が含まれている可能性が高いと解釈されます。

4. 視覚化の例

もし中間レイヤーの出力を2次元で視覚化した場合:

  • 初期レイヤー:
    • エッジや単純なパターン(水平線、垂直線、斜線など)が見える。
  • 中間レイヤー:
    • 目や鼻のようなパーツが強調される。
  • 後半レイヤー:
    • 顔全体の配置や形状の抽象的な情報が表現される。

これらの視覚化は「顔そのもの」ではなく、「顔を構成する特徴がどこにあるか」を示すものです。


5. 結論

  • CNNのレイヤーは、顔の画素情報そのものを持っているわけではなく、「顔」の特徴をエンコードした抽象的な表現を持っています。
  • この表現に基づき、レイヤーのニューロンが「顔の特徴」に反応(発火)していることを示します。

 

 

あなた: なぜこんなことを聞いたかというと、良く教科書にはレイヤーがいくつも描かれていて、先の方のレイヤーでは顔が抽出されますと説明があり、実際にそのレイヤーの部分にたくさんの顔写真が掲載されているからなんだけど?

ChatGPT: 確かに、多くの教科書や資料では「CNNのレイヤーが顔を抽出する」といった説明とともに、実際に顔写真が掲載されていることがありますね。そのため、実際に「顔そのもの」がそのレイヤーに表現されていると誤解しやすいです。

ここで重要なのは、その「顔写真」がどのように生成されたのか、という背景です。以下に詳しく説明します。


1. 教科書に「顔写真」が掲載される理由

  • 「顔写真」は実際のレイヤー出力ではない:
    • CNNの各レイヤーの出力は「顔の特徴を抽象的にエンコードしたマップ」です。
    • 教科書で掲載される顔写真は、そのレイヤーがどのような特徴に敏感なのかを視覚化した結果であり、実際の出力そのものではありません。

どうやって「顔写真」が生成されるのか?

  • 逆投影(Deconvolution)や勾配可視化を使って、「どの入力画像がそのニューロンを最大限活性化するか」を特定します。
  • つまり、そのニューロンが「どのようなパターンを好むのか」を示す画像を人工的に生成しているのです。

2. 顔写真が掲載される場合の具体的なプロセス

以下のような手法が使われることがあります:

(1) Feature Visualization(特徴視覚化)

  • ニューロンが「顔」に特化して反応していることを示すために、人工的に「顔のような画像」を生成します。
  • これには勾配情報を逆伝播させる手法(例えば、Gradient Ascent)を用います。
    • ニューロンの出力を最大化する入力画像を探索し、結果として「顔のような画像」を得ます。

(2) Activation Maps(活性化マップ)

  • レイヤーの出力を入力画像にオーバーレイして、「どの部分に強く反応したか」を視覚化します。
  • これにより、特定の顔のパーツ(目、鼻、口など)がどの位置で強調されたかがわかります。

(3) Deconvolution(逆畳み込み)

  • CNNのフィルタが画像のどの部分に反応しているかを示すために、入力空間に変換する技術です。
  • これにより、元の画像に似た「顔の形」が見えることがありますが、これは「推測された結果」であり、レイヤーそのものの出力ではありません。

3. 教科書の「顔写真」とレイヤー出力の違い

教科書に載っている顔写真は、以下を表しています:

  1. そのレイヤーが何に反応しているかを示すデータの「視覚化」。
  2. 実際のレイヤー出力ではなく、「そのレイヤーが顔を特徴として捉えている」という証拠。

つまり、その「顔写真」は 「このレイヤーが顔に強く反応することを示すための視覚的説明」 であり、レイヤーの実際の値ではありません。


4. なぜ教科書に顔写真が使われるのか?

  • 教科書の目的は「視覚的にわかりやすく説明する」ことにあります。
  • レイヤーの出力そのもの(特徴マップ)は抽象的で理解しづらい場合が多いため、「顔写真」を再構築して「顔に反応している」という事実を直感的に伝えているのです。

5. 結論

  • CNNのレイヤーは顔そのものの画素情報を保持しているわけではありません。
  • 教科書に掲載される顔写真は、「そのレイヤーが顔に反応することを視覚的に示すための人工的な結果」です。
  • 実際には「顔に関する特徴を抽象化した情報(特徴マップ)」がエンコードされています。

 

以上、ChatGPTとの会話でした。なるほど、そのニューロンがどんな入力画像に一番強く反応するかを逆にたどって「合成」していたんですね。そういった説明は省略されているので、どうも誤解しやすくなっているんじゃないかと思いました。

ニューラルネットのクロスエントロピーの式

今読んでいる深層学習の本でわかりにくいところがあったので、ChatGPTに補足してもらいました。コピペしたらすこしフォーマットが崩れましたが、数式は表示できているようです。

質問:What would be the equation of E(W,b) = croos-entropy error across all the training examples (n).

The equation for the cross-entropy error across all training examples (

nn

) is given by:

E(W,b)=1ni=1nj=1Cyijlog(y^ij)E(W, b) = -\frac{1}{n} \sum_{i=1}^{n} \sum_{j=1}^{C} y_{ij} \log(\hat{y}_{ij})

 

Explanation of the terms:


  1. n:
     

    • The total number of training examples.

  2. C:
     

    • The number of classes in the classification task.

  3. yij:
     

    • A binary indicator (1 or 0) that indicates whether the
      ii
       

      -th example belongs to class j (from the ground truth/label).

    • This corresponds to a one-hot encoding of the true label.

  4. y^ij\hat{y}_{ij}
     

    :

    • The predicted probability that the
      ii
       

      -th example belongs to class

      jj, as computed by the model (often after applying a softmax activation function).


  5. 1ni=1n-\frac{1}{n} \sum_{i=1}^{n}
     

    :

    • The average of the loss across all training examples, ensuring that the error is normalized.

  6. j=1Cyijlog(y^ij)-\sum_{j=1}^{C} y_{ij} \log(\hat{y}_{ij})
     

    :

    • The cross-entropy loss for a single training example
      ii
       

      .

Key Points:

  • The equation computes the average cross-entropy loss across all training examples in the dataset.
  • If there is only one correct class for each training example, the term
    yijlog(y^ij)y_{ij} \log(\hat{y}_{ij})
     

    simplifies to only the correct class, because

    yij=1y_{ij} = 1 

    for the correct class and

    yij=0y_{ij} = 0 

    for all other classes.

Simplified Version (if yiy_i

 

 

 

 

is a scalar class label):

If the ground truth

yiy_i

is not one-hot encoded but instead directly represents the class index (e.g.,

yi{1,2,...,C}y_i \in \{1, 2, …, C\}

), the equation becomes:

E(W,b)=1ni=1nlog(y^i,yi)E(W, b) = -\frac{1}{n} \sum_{i=1}^{n} \log(\hat{y}_{i, y_i})

 

where:


  • y^i,yi\hat{y}_{i, y_i}
     

    is the predicted probability for the true class

    yiy_i 

    of the

    ii 

    -th training example.

This is commonly used in implementations where the true labels are given as class indices (e.g., PyTorch’s CrossEntropyLoss).

 

template matching テンプレートマッチング

動く物体を追跡するためにテンプレートマッチングをやりたいのですが、なかなか完璧な方法というものが見つかりません。今まで、いろいろやってきてムービーの90%程度のフレームに関しては追跡可能であっても、物体の動きが急すぎてピントがぼけてブレたようになったフレームがあったりすると、うまくいかなくなります。

完全なものを模索中です。

FAsT-Match: Fast Affine Template Matching https://www.eng.tau.ac.il/~simonk/FastMatch/

というものを見かけました。よさげに見えます。MATLABコードが公開されていました。

FastMatch_demo.mをさっそく実行してみるとエラーになりました。

ADDING PATHS (2 subfolders to path)…

COMPILING MEX FILES…
==> compiling ‘Configs2Affine_mex.cpp’ (1 out of 3)
次を使用中のエラー: mex
サポートされているコンパイラが検出されません。無償提供されている MinGW-w64 C/C++ コンパイラをインストールできます。「Install MinGW-w64 Compiler」を参照してください。その他のオプションについては、https://www.mathworks.com/support/compilers を参照してください。

エラー: CompileMex (行 6)
mex Configs2Affine_mex.cpp

エラー: FastMatch_demo (行 13)
CompileMex

6 mex Configs2Affine_mex.cpp
K>>

コンパイラが必要らしい。

MinGW-w64 コンパイラのインストール

コンパイラをインストールするには、[アドオン] メニューを使用します。

  • MATLAB[ホーム]タブの[環境]セクションで、[アドオン]、[アドオンの入手]をクリックします。
  • MinGW を検索するか、[機能]から選択します。

MATLABのメニューから探してみました。

MATLAB Support for MinGW-w64 C/C++/Fortran Compiler

というのをインストールしてみます。ダウンロードにはMathworksへのログインが必要でした。パスワードを完全に忘れていましたが、メモが見つかってよかった。無事、デモファイルが実行できました。

 

 

PyCharmを実行しようとしたらNo interpreterのエラー

今までJupyter notebookを使っていましたが、新しいウインドウでGUIをつくろうとしたら、ChatGPTいわく、jupyterよりもPycharmなどほかのがいいよというので、PyCharmをインストーㇽしました。学校関係者は無料ライセンスみたいです。

How to Select Python Interpreter in Pycharm Wonderful Things チャンネル登録者数 2250人

この動画の説明に従ったら、interpreterの指定ができました。

CSVをpandasで読もうとしたらエラー:UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0x8f in position 0: invalid start byte

CSVをpandasで読もうとしたら

UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0x8f in position 0: invalid start byte

というエラーになりました。エクセルファイルを開く分には問題なさそうなので、CSVでなくエクセルで処理しようと思います。

エクセルをpandasで読もうとしたらエラー ValueError: Max value is 14 

エクセルファイルをpandasで読もうとしたら、

ValueError: Max value is 14

というエラーになりました。これは一体何でしょうか。

  1. Openpyxl: ‘ValueError: Max value is 14’ when using load_workbook

自分で過去に同じエラーに遭遇して、付け焼刃的に解決していました。

  1. 【解決】ValueError: Max value is 14 pythonでエクセルを開こうとして出たエラー

目に見えない余計なものを除去するために、一度CSVで保存して、それをエクセルで保存しなおしたら直るようです。

pygameモジュールをインストールしようとしたらエラーメッセージfailed with initial frozen solve. Retrying with flexible solve.

UnsatisfiableError: The following specifications were found
to be incompatible with the existing python installation in your environment:

Specifications:

– pygame -> python[version=’2.7.*|3.5.*’]

Your python: python=3.7

If python is on the left-most side of the chain, that’s the version you’ve asked for.
When python appears to the right, that indicates that the thing on the left is somehow
not available for the python version you are constrained to. Note that conda will not
change your python version to a different minor version unless you explicitly specify
that.

という説明がありました。pygameはpython3.7には対応していないようです。

Anaconda NavigatorでCreateで新しい環境Environmentを作ることにします。ここでpyton3.5を指定。この環境にpython35と名付けておきます。で、jupyterをインストールするところから。結構時間がかかりますね。

で、jupyterノートブック上で、

!conda install -c cogsci pygame

を実行してみます。

うまくいきませんでした。状況はむしろ悪化して、普通にjupyterをつかうことすらできなくなりました。カーネルエラーというのになります。こまった。。

あれこれためして(Environmentsで使っていないものを削除したり)、base(root), Anaconda3, python35の3つの環境にまで減らしておいてpython35でjupyterノートブックを開き、そのノート上で、

!pip install -U pygame –user

としてRUNしました。すると、

  Downloading pygame-2.5.2-cp37-cp37m-win_amd64.whl (10.7 MB)
Installing collected packages: pygame
Successfully installed pygame-2.5.2

ぶじ終了のメッセージがでました。さっきと何が違ったのかわかりませんが。