スクリプトメモ
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
単語検索
|
最終更新
|
ヘルプ
]
開始行:
[[最近のRのメモ]]
*Shell script [#x5932abf]
-『英語学習者コーパス活用ハンドブック』 授業用の付属メモ...
-Linux, Mac の terminal 標準
-Windows 10 で動かすには Windows Subsystem for Linux(WSL...
--[[こちらを参照>https://www.atmarkit.co.jp/ait/articles/...
**NICEのデータ処理(第5章) [#of5e4cb1]
***学習者データのみのファイルを自動作成 [#je5658e4]
#!/bin/sh # これは bash のみ。zsh などでは不要
cd `dirname $0` # どこに移しても実行可能
for file_name in `ls *.txt` #ディレクトリ内のすべての ...
do
# *JPN(日本人学習者)の行を取り出して、*JPNを削除した行...
grep \*JPN $file_name | perl -pe 's/^\*JPN[0-9]+:\t//g;'...
done
killall Terminal # 終了したらターミナルを閉じる
***学習者の各テキストの発話文数と単語数を一括集計 [#re0e7...
for file_name in `ls *.out`
do
wc -lw $file_name >> count.list.text
done
-学習者データだけを *.outファイルで抜き出したディレクトリ...
-wc コマンドでファイルの行数と単語数をカウントしたら、cou...
--出力はこんな感じ:
30 319 JPN501.txt.out
29 365 JPN502.txt.out
13 201 JPN503.txt.out
27 260 JPN504.txt.out
25 418 JPN505.txt.out
20 260 JPN506.txt.out
26 355 JPN507.txt.out
20 195 JPN508.txt.out
19 260 JPN509.txt.out
14 183 JPN510.txt.out
-第1コラムが行数、第2コラムが単語数なので、こちらを Exc...
***Lexical diversity measure を一括で計算する R パッケー...
-いろいろなやり方があるが、R の package "koRpus" (Meik Mi...
--Webpage: https://reaktanz.de/?c=hacking&s=koRpus
--Shiny app: https://ripley.psycho.hhu.de/R/koRpus/
---Descriptive statistics/Lexical diversity/Readability/L...
-具体的な使用方法はこちらを参照:
--私が NICE3.3 のデータで練習した R markdown ファイルのPD...
--TreeTagger のインストールが前提
--multiple files の扱いは tm という別モジュールを使いこな...
***諸注意 [#p3e0823e]
-Mac の場合は .sh ファイルとしたら、terminal で実行
-または .command ファイルにして実行権限を付与すれば Finde...
chmod u+x filename.command
終了行:
[[最近のRのメモ]]
*Shell script [#x5932abf]
-『英語学習者コーパス活用ハンドブック』 授業用の付属メモ...
-Linux, Mac の terminal 標準
-Windows 10 で動かすには Windows Subsystem for Linux(WSL...
--[[こちらを参照>https://www.atmarkit.co.jp/ait/articles/...
**NICEのデータ処理(第5章) [#of5e4cb1]
***学習者データのみのファイルを自動作成 [#je5658e4]
#!/bin/sh # これは bash のみ。zsh などでは不要
cd `dirname $0` # どこに移しても実行可能
for file_name in `ls *.txt` #ディレクトリ内のすべての ...
do
# *JPN(日本人学習者)の行を取り出して、*JPNを削除した行...
grep \*JPN $file_name | perl -pe 's/^\*JPN[0-9]+:\t//g;'...
done
killall Terminal # 終了したらターミナルを閉じる
***学習者の各テキストの発話文数と単語数を一括集計 [#re0e7...
for file_name in `ls *.out`
do
wc -lw $file_name >> count.list.text
done
-学習者データだけを *.outファイルで抜き出したディレクトリ...
-wc コマンドでファイルの行数と単語数をカウントしたら、cou...
--出力はこんな感じ:
30 319 JPN501.txt.out
29 365 JPN502.txt.out
13 201 JPN503.txt.out
27 260 JPN504.txt.out
25 418 JPN505.txt.out
20 260 JPN506.txt.out
26 355 JPN507.txt.out
20 195 JPN508.txt.out
19 260 JPN509.txt.out
14 183 JPN510.txt.out
-第1コラムが行数、第2コラムが単語数なので、こちらを Exc...
***Lexical diversity measure を一括で計算する R パッケー...
-いろいろなやり方があるが、R の package "koRpus" (Meik Mi...
--Webpage: https://reaktanz.de/?c=hacking&s=koRpus
--Shiny app: https://ripley.psycho.hhu.de/R/koRpus/
---Descriptive statistics/Lexical diversity/Readability/L...
-具体的な使用方法はこちらを参照:
--私が NICE3.3 のデータで練習した R markdown ファイルのPD...
--TreeTagger のインストールが前提
--multiple files の扱いは tm という別モジュールを使いこな...
***諸注意 [#p3e0823e]
-Mac の場合は .sh ファイルとしたら、terminal で実行
-または .command ファイルにして実行権限を付与すれば Finde...
chmod u+x filename.command
ページ名: