チェス研究論文のデータの扱いについて/pompomさんへのお返事

2007年10月15日 - 10:46 PM | このエントリーをブックマーク このエントリーを含むはてなブックマーク | Tweet This

昨年末に書いたエントリ「『日本将棋連盟から女流棋士会が独立』報道を巡って」のコメント欄に、将棋好きな物理屋さんを名乗る pompom さんのコメントをいただいた。古いエントリで誰も見ていなさそうだし、回答が長くなりそうなので、新しいエントリでお応えします。
pompom さんが疑問を持っているのは、わたしの「データの扱いに関して」だという。具体的には、Psychological Science(ジャーナル名間違えました)に掲載された論文から引用したグラフを提示し、「このグラフ見れば、視覚的にも女子の割合が5割を越えると男女の成績の差がなくなることが分かる」と書いたことについて、そのグラフからそうとは言えないのではないか、という指摘だった。とりあえずそのグラフを以下に再掲しておく。
Graph
pompom さんいわく、

男性が女性よりもチェスが強い理由は生物学的に説明つかない理由としてJournal of Psychological Science?のグラフを挙げて、「このグラフを見れば、視覚的にも女子の割合が5割を越えると男女の成績の差がなくなることが分かる。」とおっしゃっていますが、研究者の立場からするとこのグラフからそのような結論は出せないのですが、本当にそう論文に書いてありましたでしょうか? それとも、ご自分でそう思われただけでしょうか?
グラフを見ると、横軸が端の方のデータ(例えば0.2とか0.7付近)についてはエラーバーが大きいことが分かると思います。これは、データ数が少ないためです。縦軸に95%c.lと書いてありますので、2σですよね。2σでこのエラーバーですから、相当少ないことが予想されます。ですから、このグラフから言えることは、男女比0.3~0.4あたりのエラーが小さい領域のプロットは男性の方が強いことを示していますが、それ以外の領域についてはエラーを考慮すると男性or女性どちらかが強いのかもしれないし、男女の差が無いのかもしれない、つまりこのデータだけでは結論が出せないということです。
また、女性の割合が5割を越えている部分は2プロットだけですよね。(0.7の方は相当エラーが大きいですし。) したがって、このデータから女性の割合が増えれば、男女の実力差がなくなるのだという結論を導くには、もっとサンプル数が必要です。

まず第一に、この論文もわたしも「男性が女性よりもチェスが強い理由は生物学的に説明つかない」とは主張していない。論文が示唆するのは、「男性が女性よりチェスが強い理由を説明するのに、生物学的要素を持ち出す必要はないかもしれないこと」だけだ。わたしは生物学的な要素がチェスの能力に関連している可能性を否定していないので、その点は誤解しないで欲しい。
さて本題にうつると、「このグラフからそのような結論は出せない」というのは全くその通り。こういうグラフというのは結論を出すためのものではなく、何らかの傾向を視覚的に表現して理解を助けるのが目的で、グラフを見て漠然と結論を導き出すことなんてできるわけがない。だから、わたしはまず論文の結論を説明して、それを「視覚的に」理解するためにグラフを引用した。それなのに、わたしが論文を要約して「この調査によれば〜という」と書いた部分を読み飛ばして、「このグラフから結論は出せない」などと言われても、困ってしまう。
「本当にそう論文に書いてありましたでしょうか?」と言うけれども、アブストラクトに「… in locales where at least 50% of the new young players are girls, their initial ratings are not lower than those of boys」と書いてある。だいたい、わたしのエントリを普通に読めばわかるはずなのだけれど、明らかに「この調査によれば〜という」という部分はわたしの個人的な解釈ではなくて、当該論文の内容を要約したものなのだから、わたしが勝手にそう思っただけの事が含まれるわけがないじゃないの。悪意がないのは分かるけど、「ご自分でそう思われただけでしょうか?」ってのはわたしに対する侮辱だよ。
次に、グラフの端の方に行くとサンプルが少ない(従ってエラーバーが大きい)ことについてだけど、実はわたしもその点は不安に感じた。それでもわたしがこの研究を紹介したのは、それがアメリカ心理科学学会というまともな学会の発行しているジャーナルに、他の研究者による査読を経て掲載されていたから、とりあえずよほどの理由がない限り一定の信頼は寄せて良いものだと判断したのね。もし pompom さんの判断がわたしとは違うのであれば、pompom さん自身がいくらでも検証すれば良いのだし。
でも、pompom さんはこう言う。

素人相手ならこれでも信用してもらえるかもしれませんが、統計に関する知識を持った人にそんな主張をすれば笑われるだけでしょう。データというのは、説得力を持たせる有力な手段ですが、それだけに扱い方はきちんとすべきです。

上の「本当にそう論文に書いてありましたでしょうか? それとも、ご自分でそう思われただけでしょうか?」という部分に続いて、失礼なことを言うなぁ。これは、その統計に関する知識を持った人が書いて、統計に関する知識を持った人が査読したうえで出版された論文で、わたしはその要約をしているだけなんだけど。っていうか、そもそも「わたしが論文に書いていないことを勝手に思いつきで言った」という話がいつの間にか前提となってしまているのかな。もしそれが事実であったならば、確かに笑いものだ。しかしデータの扱いはきちんとすべきというのは当たり前として、なんでこう自然科学の人は、社会科学の人は統計学を知らないと思い込みがちなんだろうか。
さらに、これ。

それから、データ引用する時には、出版雑誌名だけでなく、巻号やページ数を載せてくれると嬉しかったです。

えーとですね、ジャーナル名は間違っていたのでごめんなさい。調べたら、著者の大学が出したプレスリリースが間違えていたのを、そのまま伝えてしまいました。それはともかく、学術誌なんかに出版する論文ならば、データを引用する際に「出版雑誌名だけでなく、巻号やページ数を載せる」のは当然だけれど、ここはブログなのよ。ブログで他の人が書いたものを参照するときにどうするかと言えば、ハイパーリンクするのがスタンダードでしょ。そして現に、わたしは直接論文のPDFがダウンロードできるようにハイパーリンクしたんだから、「本当にそう論文に書いてあるのか?」と思ったなら自分でダウンロードして読めばいいと思うのだけれど。まあ、せっかくなので教えると、Psychological Science の December2006 ;17(12):1040-1046. にあります。
お返事は以上。ところで論文が掲載されたページ数を調べていて偶然新しい論文を発見。以下はそのアブストラクト。

Women are surprisingly underrepresented in the chess world, representing less that 5% of registered tournament players worldwide and only 1% of the world’s grand masters. In this paper it is argued that gender stereotypes are mainly responsible for the underperformance of women in chess. Forty-two male-female pairs, matched for ability, played two chess games via Internet. When players were unaware of the sex of opponent (control condition), females played approximately as well as males. When the gender stereotype was activated (experimental condition), women showed a drastic performance drop, but only when they were aware that they were playing against a male opponent. When they (falsely) believed to be playing against a woman, they performed as well as their male opponents. In addition, our findings suggest that women show lower chess-specific self-esteem and a weaker promotion focus, which are predictive of poorer chess performance.
Maass A, D’Ettole C, Cadinu M. 2007. “Checkmate? The role of gender stereotypes in the ultimate intellectual sport.” European Journal of Social Psychology. Epub ahead of print.

この研究では、実力が伯仲した男性と女性のペアを42組作り、インターネットを通してチェスの対戦を行なった。相手の性別が分からない状態でプレイしたグループでは、実力通り男性プレイヤーと女性プレイヤーは対等な試合をした。しかし相手が男性だと知らされた女性プレイヤーは、実力を十分に発揮できなくなってしまった。実際には男性を相手としてプレーしていても、相手は女性だと伝えられた場合は実力どおりの試合をした。
この論文はまだオンライン版だけしか出版されておらず、うちの大学では(お金を払って買わないと)本文は読めないけど、面白そう。将棋でも誰か実験してくれないだろうか。

8 Responses - “チェス研究論文のデータの扱いについて/pompomさんへのお返事”

  1. pompom Says:

    macskaさん、こんにちは。かなり昔の文章だったので、コメント頂けると思っていませんでした。コメントして頂きありがとうございます。
    さて、本題に入りますが、
    「このグラフからそのような結論は出せない」というのは全くその通り。こういうグラフというのは結論を出すためのものではなく、何らかの傾向を視覚的に表現して理解を助けるのが目的で、グラフを見て漠然と結論を導き出すことなんてできるわけがない。だから、わたしはまず論文の結論を説明して、それを「視覚的に」理解するためにグラフを引用した。それなのに、わたしが論文を要約して「この調査によれば〜という」と書いた部分を読み飛ばして、「このグラフから結論は出せない」などと言われても、困ってしまう。
    としていますが、このグラフだけから論文の結論が導き出されたとは私も思っていませんし、そんなこと書いていませんよね。別に、読み飛ばしてもいません。私が指摘しているのは、macskaさんが掲載したデータに関してです。端的にいえば、「このグラフを見れば、視覚的にも女子の割合が5割を越えると男女の成績の差がなくなることが分かる。」と書いているけど、このグラフを見ても、confidense level等(前書いたことなので詳細は省きます)考慮すれば、女子の割合が5割を越えると男女の成績の差がなくなっているようには見えませんけど?と言っているのです。ですから、このグラフに対して本当にそんな説明がついていたのか確認したのです。abstractに書いてあることは、全部のデータを加味しての結論ですから、今の場合答えになっていません。また、ソースの著者の意見と自分自身の意見を混同して書く人もいて、おかしい点を指摘すると、実はソースにはそのようなことは書かれていなかったということも世の中ではよくあります。よって、主張の出処をはっきりさせておくことは重要だと思い聞いたのですが、侮辱とまで言われると・・・ね。。(失笑) で、実際そう書いてあったのでしょうか? この現象が生物学的要素によるかどうかの議論は、その次の話です。
    それから、論文の査読や権威は、論文の主張の正しさを証明するものではありません。大体、厳しさも査読者に依りますしね。この解析方法はどうなのか、この解釈を裏付けるのにこのデータは十分なのかといった議論は、査読を通っている通っていないに関わらず、議論になり得ます。反論を見てますと、その辺をだいぶ誤解しているような気がしますね。
    論文のPDFがdownload可能になっていた件ですが、気づいていませんでした、すみません。(ちなみに、今もう一度見てみましたが、やはりリンクになっていません。ただ、これはこちらのブラウザの問題だと思うので違うPCから確認してみようと思います。) 「データ引用する時には、出版雑誌名だけでなく、巻号やページ数を載せてくれると嬉しかったです。」 と書いたのは、そのためです。論文執筆者に対する礼儀の面もあります。ただ、ハイパーリンクになっていようとなかろうと、ブログレベルでそこまで記載する必要があるのかという意見はあると予想していました。確かに、それも一理あると思います。なので、「そうしてくれると嬉しい」と表現をぼかしたつもりなのですが、そのニュアンスは伝わらなかったようです。
    最後に少し気になったのですが、データに対する解釈や反論の一部から、何といいますか、恣意的なねじ曲げを感じとれるのは気のせいでしょうか? 最初は、単なる間違えか、統計の知識を持っていないだけなのかとも思っていたのですが、どうもそうではないようですね。自分の主張が科学的な根拠に基づいていると思わせるために、例えそれが不十分なデータであり根拠であったとしても、ねじ曲げて使おうとする。それって、科学でも何でもないですよ。最近、エセ科学が流行っていますが、同じようなものだと思います。自然科学では、実験・館則データが非常にものを言う世界です。それだけに、データ解析や解釈は慎重に行い、その過程においてblind analysisのような恣意性を排除する努力を普通します。なぜなら、研究者なら誰しもこうなって欲しい、あるいはこうなるべきだといった考えがありますが、それによって結果が左右されてはならないからです。無論自然科学の世界でも、なかにはいい加減な解析を行ったり、恣意的な解釈をしたりする某実験グループなどもありますが、そういう人たちは信頼を失います。データを真直に捉えることが大事です。私は社会科学の世界を知りませんが、科学とつく以上、同じような雰囲気を持っていると思いますし、大半の人はきちんとされていることと思います。ですが、macskaさんの文章からは、そういう姿勢とは相反するものを感じました。自分自身、科学に誇りを持って取り組んでいるので、そういう人を見ると、正直不快です。いっそのこと、科学も根拠も全くありませんが、私はこうこう思います!と主張している人の方がよっぽど共感できます。まぁmacskaさんに限らず、世の中には同じような人がたくさんいますけどね。(経験的には、何らかの偏った意見を持った集団に属する人が多いかな・・?)こんなこと書いたらまた侮辱だのなんだの書かれてしまうかもしれませんが、以上、正直な感想でした。

  2. 田中 Says:

    >男女の成績の差がなくなる
     これは記述的な言明ととればそれほど問題ないのでは
    >男女比0.3~0.4あたりのエラーが小さい領域のプロットは男性の方が強いことを示しています
     それに該当するのは2つしかないようにみえます。推測統計学的なことについて全体的にいえば、「ほとんどの地域について男女差があるとはいえない」が正解であるように思えます。
    >縦軸に95%c.lと書いてありますので、2σ
     私にはCIに見えますが……。
     SE を σ と表記する流儀ははじめてみましたが、「データ数が少ない」のであれば、95% CI は 4×SE をかなり上回るはず。というか、「データ数が少ない」という根拠は? SDは不明だし、一定だとも書いていないのでは?
    以上、原文読まないでグラフ見ただけでの正直な感想を書いてみました。
     

  3. macska Says:

    pompom さん:

    「このグラフを見れば、視覚的にも女子の割合が5割を越えると男女の成績の差がなくなることが分かる。」と書いているけど、このグラフを見ても、confidense level等(前書いたことなので詳細は省きます)考慮すれば、女子の割合が5割を越えると男女の成績の差がなくなっているようには見えませんけど?と言っているのです。ですから、このグラフに対して本当にそんな説明がついていたのか確認したのです。abstractに書いてあることは、全部のデータを加味しての結論ですから、今の場合答えになっていません。

    あー、そういう読み方をなさったのですか。わたしはそのグラフを出す前に、「全部のデータを加味しての結論」を順を追って(アブストラクトより詳しめに)説明したうえで、その結論がグラフから「視覚的に」分かる、と書いたのです。だからアブストラクトに書いてあるなら、「著者がそう書いている」と言っていいと思います。
    が、そこまで言うのであれば、あのグラフがある部分の記述を紹介しましょう。
    Combining all zip code areas where the proportion of girls is at least 50%, the sex difference is only 35.2 point in favor of males, which is not significant (p=.589). This conclusion also holds in an age-adjusted analysis, where the sex difference is 40.8 points (p=.532).
    わたしが紹介した通りですね。

    ソースの著者の意見と自分自身の意見を混同して書く人もいて、おかしい点を指摘すると、実はソースにはそのようなことは書かれていなかったということも世の中ではよくあります。よって、主張の出処をはっきりさせておくことは重要だと思い聞いたのですが、侮辱とまで言われると・・・ね。。(失笑)

    おっしゃるようなパターンは確かに世の中にはありますね。しかしわたしは自分のエントリにおいて「どこが著者の意見で、どこが自分の意見か」はっきり区別した書き方をしています。もちろん、どこまでが著者の意見なのか、わたしが混同している可能性はあります。しかし、少なくとも「どこまでが著者の意見だとわたしが思っているのか」は分かるように書いています。また、わたしの読解に疑問がある人は元の論文を調べられるよう、論文そのものにリンクを張っておきました。これ以上何をしろというのか疑問です。
    あなたの言うのは、「世の中にはソースの著者の意見と自分自身の意見を混同して書く人もいるのだから、お前もそういった混同をしていないと証明しろ」と迫っていることになります。しかしそれは順序が逆です。まず先にあなたがソースの著者の意見とわたしの記述を読み比べて、おかしいと感じる部分があれば「ここを混同しているのではないか」と言うべきでしょう。
    いいですか、わたしは論文をちゃんと読んで、正確に解釈して、正確に紹介しているのに、あなたは直感的にあのグラフだけを見て自分だけが統計を分かっているみたいにエラそうにイチャモンをつけているんですよ。だから、あなたの発言は失礼であり侮辱だと言っているのです。

    それから、論文の査読や権威は、論文の主張の正しさを証明するものではありません。

    当たり前ですし、そんな事誰も言っていません。しかしあなたの頭の中では、わたしが「その辺をだいぶ誤解している」ことになっている。まったく他人を見下すのが好きな人ですね。
    文脈をきちんと理解して欲しいのですが、わたしがこの研究を紹介したのは、チェスの実力の性差は競技者における男女の比率によると言いたいからではありません。もともとわたしが何を言おうとしていたかというと、将棋において男女の実力差があまりに大きいので、何の検証もしないまま「脳の性差」に結びつけて実力差を説明しようとする主張に対して、異論を述べようとしたのです。すなわち、将棋の実力差の原因が何かを論じているのではなく、「ただ単に大きな差があるというだけで、生物学的な説明を取るのはおかしい」という例として、将棋によく似たチェスというゲームの研究を取り上げたわけです。
    つまり、わたしの論旨のためには論文が「チェスの実力の性差は競技者における男女の比率による」と完璧に証明しているかどうかとか、その結論が正しいかどうかは、それほど重要ではないのです。「見かけ上大きな性差があっても、競技人口の差や比率といった要素によって十分に説明がつくことがある」ということが、そこそこ妥当な主張として成り立つことさえ示せればそれでいい。わたしがあのエントリで何と言っているかというと、「研究もせずに生物学的な差異だと決めつけるな」ということですから。
    あなたが「この解析方法はどうなのか、この解釈を裏付けるのにこのデータは十分なのかといった議論は、査読を通っている通っていないに関わらず、議論になり得ます」というのは、それ自体もっともです。しかし、わたしは掲載誌の権威を持ち出してそうした議論を否定しているわけではありません。わたしは単に、そうした議論にわたし自身が深入りしなかった理由として、上記のような論旨においてあの論文を紹介するうえで、この掲載誌ならばソースとして問題ないだろうと判断した、ということを述べているだけです。
    もしあなたが「この解析方法はどうなのか、この解釈を裏付けるのにこのデータは十分なのか」という議論をしたいのであればそれで構いませんが、まず論文を読むことからはじめてください。印象論であれこれ的外れな事を言われてもこまりますから。ダウンロードに苦労しているようですのが、macska AT macska DOT org までメールくだされば、PDF をメールでお送りします。

    ただ、ハイパーリンクになっていようとなかろうと、ブログレベルでそこまで記載する必要があるのかという意見はあると予想していました。確かに、それも一理あると思います。なので、「そうしてくれると嬉しい」と表現をぼかしたつもりなのですが、そのニュアンスは伝わらなかったようです。

    ニュアンスは分かりましたが、「何故?」と思いました。だって、論文を参照するときに何故巻号やページ数を記入するかというと、ソースをたどって確認できるようにするためでしょう。ハイパーテキストにおいては、リンクをすることで全く同じ目的が満たされるわけで、別にブログの方がレベルが低いからとか(そりゃ確かに低いけど)、そういうことじゃないと思いますが…
    さらに言うと、ハイパーリンクがあるのとないのとでは、ソースをたどることができるかどうかという大きな違いがあります。ブログであっても、個人の日記とかでなく公の問題について議論しているのであれば、何らかの形で読者がソースをたどることができるようにしておくべきだとわたしは思います。今回の件でも、もしリンクがなければ巻号やページ数を書いていたでしょう。 pompom さんは、「巻号やページ数が書いてあったら嬉しいけど、ブログレベルではソースをたどるための情報は一切なくてもいい」と思っているようなので、わたしの考えとは違います。(まぁ、なくてもいいけど、ソース不明な情報は信頼性ないですね。)
    とりあえず、「何故巻号やページ数を求めたのか?」という疑問については、「pompom さんが、論文がダウンロード可能な状態になっていたと気付かなかったので、ソースをたどるために必要だと思った」ということで説明がつきました。

    最後に少し気になったのですが、データに対する解釈や反論の一部から、何といいますか、恣意的なねじ曲げを感じとれるのは気のせいでしょうか?

    気のせいだと思います。が、もしわたしが恣意的なねじ曲げを行なうような悪質な論者であるなら、自分でそのことを認めたりはしないでしょう。従って、それが事実でも事実でなくても「いいえ」と答えるに決まっており、あなたの質問は無意味です。

    自分の主張が科学的な根拠に基づいていると思わせるために、例えそれが不十分なデータであり根拠であったとしても、ねじ曲げて使おうとする。

    あのエントリにおけるわたしの主張がどの部分だか、あなたは分かっていますか? チェスの実力差は競技人口や比率の差に由来する、というのはわたしではなく論文の著者の主張ですよ。
    わたしの主張は、最後の方に書いた「このことの示唆はかなり大きい」にはじまる段落にまとめてある部分です。以下に再掲します。
    『このことの示唆はかなり大きい。まず第一に、チェスや将棋における実力差のように男女のあいだにあまりに大きな差異が発見されたとき、わたしたちは「これほどの差はさすがに社会的・文化的に説明できるはずがない、生物学的な差があるに違いない」と思いがちだけれど、そういった直感はあまり頼りにならない。たしかなことを言うためには、データをきちんと分析しなければいけないのだ(金井淑子さん、頼みますよ)。第二に、仮にある能力について集団間に生物学的な差がなかったとしても、単純にその分野に参入する人数の差によって集団間に大きな実力差が生まれてしまう可能性があるということ。』
    このことの根拠として、あの論文は十分に有効ではないかと思うのですが、どこかねじ曲げて利用しているところがあるでしょうか?

  4. 田中 Says:

    macska さん:
    >…the sex difference is only 35.2 point in favor of males, which is not significant (p=.589)…
     この部分を書き抜いても意味はないと思います。検定力 (power) がわからないので。

  5. macska Says:

    田中さん

    この部分を書き抜いても意味はないと思います。検定力 (power) がわからないので。

    pompom さんは「論文にそう書いてあるのか、それとも macska が自分の意見と著者の意見を混同して、論文に書いてもいないことを書いてあるかのように主張しているのか」を問題とされているので、それに答えているのですけど。

  6. 田中 Says:

    つまり、論文には「not significant」としか書いてないにもかかわらず、それをもって「差がなくなっている」と書いてあるかのように macska さんが主張している、という理解でよい、ということですよね?

  7. macska Says:

    そう来ましたか。厳密に言えば確かに「差が有意でない」と「差がない」は違いますが、わたしの書いたものを読んで、「なるほど、男子と女子の実力は寸分の違いもなく全く同じなんだな」と解釈した人はいないでしょう。また、アブストラクトの方には their initial ratings are not lower than those of boys と書いてあるので、女子の成績は男子より低くない、すなわち「差がない」と書いてあるというのも事実です。わたしが勝手に言ったことではありません。

  8. 田中 Says:

    論文読んでみました。といっても macska さんがリンクしたのとは別のファイル http://hdl.handle.net/10.1111/j.1467-9280.2006.01828.x で、該当の箇所 (p. 1044 の右段) だけですが。
     たしかに「差はない」といってますね: 「However, in the four ZIP codes with at least 50% girls (areas in Oakland, CA; Bakersfield, CA; Lexington,KY; and Pierre, SD), boys did not have higher ratings」。この部分を引用すればよかったと思います。
     pompom さんの疑問、「人数少ないのでは」について。これらの4つの地域のうち、Oakland に関しては女性比率68%とあります。この「68%」が丸めていない数値であれば、68/100 を約分すると 17/25 なので、最低25人ですね。残り3地域についてはそういう記述はないのですが、その前に「excluding ZIP codes with fewer than 10 players」とあるので、最低10人ずつです。また、そのうちひとつは、Fig.4 上では女性比率54%くらいにみえるので、10人ってことはないですね。6/11=0.5454… なので、これを採用することにします。というわけで、最悪の場合でも、25+11+10+10 = 56人いるはずという推測が成り立ちます。男女比率から換算すると、女性は 17+6+5+5 = 33人、男性は 8+5+5+5 = 23人になります。
     あとは、「女性33人、男性23人のデータで男女差を検出できなかった」を日常用語でどう表現するのが適当か、という問題です。

コメントを残す

XHTML: You can use these tags: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>