Commit 8301e375 authored by Nathalia Moraes do Nascimento's avatar Nathalia Moraes do Nascimento
Browse files

readme

parent a1e18531
# document-similarity-framework
A set of notebooks for document similarity.
We developed a configurable software based on the main steps of the Document Similarity process: data retrieval, data pre-processing, distance/similarity computation and visualization.
\ No newline at end of file
We developed a configurable software based on the main steps of the Document Similarity process: data retrieval, data pre-processing, distance/similarity computation and visualization.
# AMBIENTE DE DESENVOLVIMENTO - PARTE ANÁLISE - WINDOWS
Para rodar localmente:
* Instalar o Docker (disponível em https://docs.docker.com/get-docker/)
Baixar a imagem do docker com tensorflow + python 3 + jupyter (que é a ferramenta de notebook). Para baixar e instalar a imagem, pode seguir o seguinte link: https://www.tensorflow.org/install/docker
Resumo do que está no link: Abrir o TERMINAL e executar o seguinte comando para fazer download e instalar a última versão da imagem da configuração sugerida (python3+jupyter): docker pull tensorflow/tensorflow:latest
Se quiser a versão com gpu (Essa versão é sugerida para Linux. No Windows não funciona. Windows, sugere-se a versão sem gpu), executar o seguinte comando: docker pull tensorflow/tensorflow:1.15.2-gpu-py3-jupyter
Se precisar se conectar a um banco de dados Oracle as opções a. e b. não fornecem suporte para esse tipo de conexão, então sugere-se usar o docker disponível no docker hub:
docker pull ytorres/tensorflow_jupyter_oracle:latest que estende o docker da opção a.
* Abrir o Docker. A ferramenta fica disponível na setinha de ícones ocultos do windows. Após abrir, adicionar suas credenciais (logar) na ferramenta docker (se vc nao logar, pode perder a configuração feita pra instância atual)
## Salvar os notebooks que executam através do Jupyter no Docker em uma pasta local :
* Para iniciar a imagem definindo uma pasta destino, crie uma pasta D:\tensorFlow\notebooks
e lembre-se de compartilhar no docker o driver em que essa pasta foi criada, da seguinte forma:
Agora, entrar no terminal e executar a seguinte linha de comando (de acordo com a versão de imagem que você baixou):
docker run -it -p 8888:8888 --rm -v D:\tensorFlow\notebooks:/tf/notebooks tensorflow/tensorflow:2.1.1-jupyter
tensorflow/tensorflow: 2.1.1-jupyter
Caso tenha baixado a versão gpu:
docker run -it -p 8888:8888 --rm -v D:\tensorFlow\notebooks:/tf/notebooks tensorflow/tensorflow:1.15.2-gpu-py3-jupyter
(O -it faz com que fique executando na linha de comando e você veja o log da execução. Pode trocar o ‘-it’ por ‘-d’ para que execute independente da linha de comando. O ‘--rm -v’ são os comandos para salvar os arquivos)
Em seguida, no terminal será mostrado um link para acessar o notebook Jupyter, algo como... http://127.0.0.1:8888/?token=...
Observe que toda vez que você executar o comando ‘docker run..’, uma nova instância será criada, e, por isso, o que foi salvo para a instância anterior não fica disponível para essa nova execução. Para recuperar, o melhor é, ao invés de executar o comando run, abrir o dashboard do docker e executar novamente a instância anterior. Porém, se as instâncias apontarem para a mesma pasta, não terá esse problema, pois os arquivos não apagam.
# Modificar memória - caso precise de mais memória RAM para executar os notebooks, é possível liberar mais memória para o docker através do seguinte painel de configuração:
* Docker -> Resources
\ No newline at end of file
Supports Markdown
0% or .
You are about to add 0 people to the discussion. Proceed with caution.
Finish editing this message first!
Please register or to comment